# القواعد العامة في "robots.txt" لا يتم التقاطها بواسطة Googlebot **URL:** \ **Category:** Product Support\ **Created:** [1 مارس 2022، 2:07م UTC](https://meta.discourse.org/t/generic-rules-in-robots-txt-not-picked-up-by-googlebot/219706 "2022-03-01T14:07:02Z")\ **Posts on this page:** 1\ **Showing post:** 3
**Author:** ![rrit](https://avatars.discourse-cdn.com/v4/letter/r/b5ac83/32.png) [@rrit](https://meta.discourse.org/u/rrit)\ **Post date:** [1 مارس 2022، 3:43م UTC](https://meta.discourse.org/t/generic-rules-in-robots-txt-not-picked-up-by-googlebot/219706/3 "2022-03-01T15:43:48Z")
> [@amotl](#): > > ### أفكار > > إذن، نميل إلى الاعتقاد بأن Googlebot قد يتجاهل حاليًا القواعد المحددة ضمن قسم `User-agent: *` [[3]](#footnote-1066966-3) > تمامًا و_فقط_ يلتزم بالقواعد ضمن قسم `User-agent: Googlebot` [[4]](#footnote-1066966-4). هذا صحيح وتم تنفيذه عن قصد بهذه الطريقة. > [@Jagster](#): > > مرة أخرى - robots.txt هو مجرد طلب. لذلك يتلقى Googlebot ترويسة http إضافية `X-Robots-Tag: noindex` للصفحات التي لا ينبغي فهرستها حقًا. انظر: > > > Googlebot handles no-index headers very elegantly. It advises to leave as many r…outes as possible open and uses headers for high fidelity rules regarding indexes. > > Discourse adds special \`x-robot-tags\` noindex headers to users, badges, groups, search and tag routes. > > Following up on b52143feff8c32f2 we now have it so Googlebot gets special handling. > > Rest of the crawlers get a far more aggressive disallow list to protect against excessive crawling. * * * لنطاقاتك الخاصة، يمكنك استخدام Google Search Console → [Inspect URL](https://search.google.com/search-console/inspect) ثم حاول إضافة عنوان URL لملف تعريف المستخدم للفهرسة - على سبيل المثال `https://www.example.com/u/jacob` ![grafik](https://global.discourse-cdn.com/meta/original/3X/c/0/c039f1e8e1a36fafa479038827c37ae4bd8f0223.png) --- _[View the full topic](https://meta.discourse.org/t/generic-rules-in-robots-txt-not-picked-up-by-googlebot/219706)._