Es sollte nichts Weiteres erforderlich sein… Dieser Crawler-Verkehr stammt wahrscheinlich von Crawlern, die auf community.yoursite.com/login zugreifen. Wenn Sie community.example.com/admin/reports/web_crawlers überprüfen, können Sie sehen, wie häufig bestimmte Crawler auf Ihre Seite zugreifen.
Es gibt ein paar Dinge, die Sie tun können, um den Crawler-Verkehr zu reduzieren…
-
Versuchen Sie,
/loginin der robots.txt-Datei für Crawler zu sperren (community.example.com/admin/customize/robots)… Sie würden wahrscheinlich einen Rückgang des Crawler-Verkehrs feststellen (allerdings wahrscheinlich nicht vollständig, da es Crawler gibt, die die robots.txt-Datei nicht einhalten) -
Schauen Sie sich die schlimmsten Übeltäter unter
/admin/reports/web_crawlersan und fügen Sie deren User-Agents zur Site-Einstellung „blockierte Crawler-User-Agents“ hinzu