# القواعد العامة في "robots.txt" لا يتم التقاطها بواسطة Googlebot

**URL:** <https://meta.discourse.org/t/generic-rules-in-robots-txt-not-picked-up-by-googlebot/219706>\
**Category:** Product Support\
**Created:** [1 مارس 2022، 2:07م UTC](https://meta.discourse.org/t/generic-rules-in-robots-txt-not-picked-up-by-googlebot/219706 "2022-03-01T14:07:02Z")\
**Posts on this page:** 1\
**Showing post:** 1

<div class="post-metadata">

**Author:** ![amotl](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/amotl/32/109873_2.png) [@amotl](https://meta.discourse.org/u/amotl)\
**Post date:** [1 مارس 2022، 2:07م UTC](https://meta.discourse.org/t/generic-rules-in-robots-txt-not-picked-up-by-googlebot/219706/1 "2022-03-01T14:07:02Z")

</div>

عزيزي فريق Discourse،

أولاً وقبل كل شيء: نود أن نحييكم على الروح والمثابرة في ابتكار وصيانة Discourse. إنه لمن دواعي سرورنا دائمًا استخدامه لنا ولأعضاء مجتمعنا.

لقد لخصنا بعض الملاحظات الطفيفة التي تم إجراؤها اليوم ونأمل أن تجدوها مفيدة. من ناحية أخرى، سنكون سعداء أيضًا بسماع أي سوء فهم من جانبنا.

مع خالص التقدير،  
أندرياس.

* * *

### مقدمة

أثناء التحقيق في سلوك مثيل Discourse المستضاف لدينا على [https://community.crate.io/](https://community.crate.io/) فيما يتعلق بملف تعريف `robots.txt` الخاص به \[1\]، اكتشفنا أن Googlebot قد لا يحترم الإعدادات كما هو مقصود.

### تقييم

> [@codinghorror](#):
>
> تم منع ملفات تعريف المستخدمين من الفهرسة افتراضيًا.

دعنا نمارسها نيابة عن `robots.txt` على Meta \[2\]، مع عنوان URL لملفي الشخصي `https://meta.discourse.org/u/amotl/`.

يمكن ملاحظة الفرق بسرعة من خلال مقارنة النتائج من هذا المدقق المجاني لـ `robots.txt`:

 ![image](https://global.discourse-cdn.com/meta/original/3X/e/6/e6b8ab45dc6e58924e61f81e89046e3ea8bd3a7d.png)  
– [التقييم باستخدام Googlebot](https://en.ryte.com/free-tools/robots-txt/?refresh=1&url=https%3A%2F%2Fmeta.discourse.org%2Fu%2Famotl%2F&useragent=Googlebot&submit=Evaluate)

 ![image](https://global.discourse-cdn.com/meta/original/3X/1/c/1c0ecb55ddf33b64a25f4b719226094a77c1ea76.png)  
– [التقييم باستخدام MSNBot](https://en.ryte.com/free-tools/robots-txt/?refresh=1&url=https%3A%2F%2Fmeta.discourse.org%2Fu%2Famotl%2F&useragent=MSNBot&submit=Evaluate)

### بحث

في هذا الموضوع بالذات، نعتقد أننا وجدنا الإجابة بالفعل:

> [@](#):
>
> سيجد الزاحف المجموعة ذات اسم وكيل المستخدم الأكثر تحديدًا وسيتم تجاهل كل شيء آخر.
> 
> – [An SEO's Guide to Robots.txt, Wildcards, the X-Robots-Tag and Noindex](https://builtvisible.com/wildcards-in-robots-txt/#robots.txt)

### أفكار

لذلك، نميل إلى الاعتقاد بأن Googlebot قد يتجاهل حاليًا القواعد المحددة ضمن قسم `User-agent: *` \[3\] تمامًا ويكرم _فقط_ القواعد الموجودة ضمن قسم `User-agent: Googlebot` \[4\].

* * *

1. [https://community.crate.io/robots.txt](https://community.crate.io/robots.txt) 

2. [https://meta.discourse.org/robots.txt](https://meta.discourse.org/robots.txt) 

3. `robots.txt`، قسم `User-agent: *`

4. `robots.txt`، قسم `User-agent: Googlebot`

---

_[View the full topic](https://meta.discourse.org/t/generic-rules-in-robots-txt-not-picked-up-by-googlebot/219706)._