فقط للتوضيح، هل لا توجد طريقة لإلغاء حظر Semrushbot و SEO Spider؟ نحن بحاجة إليهما لأغراض التدقيق في تحسين محركات البحث (SEO). جربنا إزالة كليهما من /admin/customize/robots (كما جربنا Allow: )، لكننا نحصل على خطأ 429 في Screaming Frog. أو هل خطأ 429 هذا مشكلة منفصلة؟ نقدر جدًا رؤيتكم.
trying2survive
(John)
10
الموضوعات ذات الصلة
| الموضوع | الردود | مرات العرض | النشاط | |
|---|---|---|---|---|
| Handling Bingbot | 28 | 7764 | 20 نوفمبر 2020 | |
| MegaIndex bot did about 4,000 pageviews on one day | 40 | 5064 | 2 ديسمبر 2023 | |
| Issues Google Search Console is throwing at me for wrong discourse structure (or some for wrong administration of my site) | 18 | 404 | 18 ديسمبر 2024 | |
| Why there are lots of Disallow rule in robots.txt? | 34 | 4964 | 22 ديسمبر 2020 | |
| How to protect myself from bots crawling my Discourse instance? | 4 | 1719 | 21 يناير 2019 |