Hallo, in unserem Forum haben wir zu viele Crawler, im Durchschnitt etwa 81.000 bis 90.000! Wird das Probleme verursachen? Wenn ja, wie kann ich schlechte Crawler vom Crawlen abhalten?
Ich habe folgende Crawler-User-Agents auf die schwarze Liste gesetzt:
und die folgenden Crawler-User-Agents gedrosselt:
Vielen Dank.
Sie können detaillierte Zahlen pro Crawler einsehen, wenn Sie
your.site.com/admin/reports/web_crawlers
aufrufen.
Wenn Sie einen ungewöhnlichen Crawler entdecken, der sich fehlerhaft verhält, können Sie einen eindeutigen String aus dessen User-Agent zur Einstellung blacklisted_crawler_user_agents hinzufügen. Dadurch wird der Crawler blockiert.
Danke für die schnelle Antwort. Ich habe festgestellt, dass ein Crawler 1.695.285 Aufrufe hat – ist das normal oder nicht?
Außerdem habe ich noch eine Frage: Wie kann ich den Lösung-Button in meinem Forum hinzufügen? Muss ich dafür irgendwelche Plugins installieren?
Vielen Dank.
Das hängt davon ab, wie groß Ihre Website ist und welcher User-Agent für diesen Crawler verwendet wird. Sie möchten beispielsweise Googlebot nicht blockieren.
Schauen Sie sich dies hier an:
Welche Bots sollte man nicht blockieren? Und gibt es eine Möglichkeit, die Namen der Bots aus den konsolidierten Seitenaufruf-Dashboards zu ermitteln?
Du solltest nur Bots blockieren, die sich Fehlverhalten zuschulden kommen lassen, und alles andere unblockiert lassen.
Wie ich in meinem vorherigen Beitrag bereits erwähnt habe: Wenn du zu
diese.deine.seite.de/admin/reports/web_crawlers
gehst, erhältst du eine vollständige Liste aller Crawler auf deiner Seite sowie die Anzahl der Seitenaufrufe pro Crawler. Könntest du einen Screenshot dieser Seite machen und hier posten?
