תודה שהסבת את תשומת ליבי לכך! לא ידעתי ש-Google משתמש במנועי סריקה אחרים שאינם מצהירים בבירור על Googlebot.
אקצה את הרשימת ה-allowed_crawler_user_agents כדי למנוע חסימות בשוגג של משהו.
תודה שהסבת את תשומת ליבי לכך! לא ידעתי ש-Google משתמש במנועי סריקה אחרים שאינם מצהירים בבירור על Googlebot.
אקצה את הרשימת ה-allowed_crawler_user_agents כדי למנוע חסימות בשוגג של משהו.