תודה על ההצעות שלך!
- בדקתי את /admin/reports/web_crawlers, ו-Googlebot נמצא ברשימה, ולכן הוא מייבא את הפורום.
- רשימת allowed_crawler_user_agents הייתה ריקה, לכן הוספתי:
Googlebot
bingbot
DuckDuckBot
גם הגשתי מחדש את מפת האתר ב-Google Search Console ואעקוב אם האינדקס משתפר בימים הקרובים.