Discourse Meta
How to disable indexing by crawlers
الدعم
codinghorror
(Jeff Atwood)
9 فبراير 2016، 11:14ص
3
There is a boolean site setting for this, search for “index” or “robots”.
7 إعجابات
MegaIndex bot did about 4,000 pageviews on one day
إظهار المنشور في الموضوع
الموضوعات ذات الصلة
الموضوع
الردود
مرات العرض
النشاط
Robots.txt to completely block all indexing of private site
Support
5
847
5 أبريل 2020
Why there are lots of Disallow rule in robots.txt?
Support
34
4527
22 ديسمبر 2020
Temporarily block Google crawler while setting up live site?
Support
4
464
5 فبراير 2020
Pages listed in the robots.txt are crawled and indexed by Google
Support
19
3251
30 يوليو 2019
Option to index topics
Support
8
538
31 ديسمبر 2022