Web-Crawler für eine Website steuern

[Discourse]

Dieser Leitfaden erklärt, wie Sie Web-Crawler auf Ihrer Discourse-Seite verwalten.

Erforderliche Benutzerebene: Administrator

Web-Crawler können die Leistung Ihrer Seite erheblich beeinträchtigen, indem sie Seitenaufrufe und Serverlast erhöhen.

Wenn eine Seite eine Spitze bei ihren Seitenaufrufen bemerkt, ist es wichtig zu prüfen, wie Web-Crawler dabei ins Spiel kommen.

---

Crawler-Aktivität überprüfen

Um festzustellen, ob Crawler Ihre Seite beeinträchtigen, navigieren Sie in Ihrem Admin-Dashboard zum Bericht Site Traffic (/admin/reports/site_traffic). Dieser Bericht schlüsselt die Seitenaufrufzahlen nach angemeldeten Browser-Benutzern, anonymen Browser-Benutzern, Crawlern und anderen Quellen auf.

Eine Seite, auf der Crawler normal arbeiten:

Eine Seite, auf der Crawler außer Kontrolle geraten sind:

Spezifische Crawler identifizieren

Rufen Sie den Bericht Web Crawler User Agent (/admin/reports/web_crawlers) auf, um eine Liste der Namen von Web-Crawlern, sortiert nach der Anzahl der Seitenaufrufe, zu finden.

Wenn ein problematischer Web-Crawler die Seite besucht, wird die Anzahl seiner Seitenaufrufe viel höher sein als bei den anderen Web-Crawlern. Beachten Sie, dass gleichzeitig eine Reihe bösartiger Web-Crawler aktiv sein können.

Crawler blockieren und begrenzen

Es ist ratsam, die Crawler der wichtigsten Suchmaschinen nicht zu blockieren, wie zum Beispiel Google, Bing, Baidu (chinesisch), Yandex (russisch), Naver (koreanisch), DuckDuckGo, Yahoo und andere, abhängig von Ihrem Land.

Wenn ein Web-Crawler außer Kontrolle gerät, besteht eine gute Chance, dass derselbe Crawler auch andere Websites besucht hat und jemand anderes bereits nach Informationen gefragt oder Berichte darüber erstellt hat, die hilfreich sein können, um zu verstehen, ob dieser spezielle Crawler eingeschränkt oder blockiert werden soll.

Beachten Sie, dass einige Crawler eine große Anzahl von Seitenaufrufen verursachen können, wenn Sie Dienste von Drittanbietern verwenden, um Ihre Seite über Skripte usw. zu überwachen oder Funktionalität hinzuzufügen.

Um eine Liste nicht vertrauenswürdiger Web-Crawler zu erhalten, können Sie sich auf diese Liste beziehen: https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker/blob/master/robots.txt/robots.txt

Anpassen der Crawler-Einstellungen

Unter Admin > Einstellungen gibt es einige Einstellungen, die helfen können, die Rate für bestimmte Crawler zu begrenzen:

• Crawler verlangsamen mit:

  • slow down crawler user agents – Standardmäßig enthält dies gptbot, claudebot, anthropic-ai und brightbot
  • slow down crawler rate – die Anzahl der Sekunden zwischen erlaubten Anfragen pro Crawler (Standard: 60)

• Crawler blockieren mit:

  • blocked crawler user agents – Standardmäßig enthält dies mauibot, semrushbot, ahrefsbot, blexbot und seo spider

• Nur bestimmte Crawler zulassen mit:

  • allowed crawler user agents – Wenn diese Einstellung vorgenommen wird, dürfen nur die aufgelisteten Crawler auf die Seite zugreifen; alle anderen werden blockiert. Dies fungiert als strikte Positivliste. Warnung: Diese Einstellung überschreibt blocked crawler user agents und blockiert alle Crawler, die nicht auf der Liste stehen, einschließlich großer Suchmaschinen, falls sie nicht aufgeführt sind.

Stellen Sie sicher, dass Sie den genauen User-Agent-Namen der Crawler kennen, die Sie steuern möchten. Wenn Sie eine der oben genannten Einstellungen anpassen und keine Reduzierung der Seitenaufrufe dieses Agents feststellen, sollten Sie möglicherweise noch einmal überprüfen, ob Sie den korrekten Namen verwenden.

Im Zweifelsfall sollten Sie immer mit der Option „verlangsamen“ beginnen, anstatt eine vollständige Blockierung vorzunehmen. Prüfen Sie im Laufe der Zeit, ob es Verbesserungen gibt. Sie können mit einer vollständigen Blockierung fortfahren, wenn Sie keine nennenswerten Ergebnisse feststellen.

[Jagster (Jakke Flemming)]

Sollte es eine Art Haftungsausschluss geben, dass dies nur bei gut funktionierenden funktioniert? Und selbst Google wird all diese umgehen, wenn sie über Links aus Gmail kommen.

[sam (Sam Saffron)]

Beide werden auf dem Server erzwungen.

Wenn sich ein schlechter Bot jedoch als Chrome oder jemand anderes ausgibt, indem er Header fälscht, können wir keine Header verwenden, um ihn zu erkennen …

[spdegabrielle (Stephen De Gabrielle)]

Killer-Fakt: Vorschaukarten zählen als Seitenaufruf!

Der Server, den ich verwalte, scheint mit Anfragen für Vorschaukarten vom Typ http.rb/5.1.0 (Mastodon/4.0.2; + [https://mstdn.science/](https://mstdn.science/)) überlastet worden zu sein.

Ich glaube nicht, dass Maßnahmen ergriffen werden können, außer den Mastodon-Postern zu sagen, sie sollen ein Bild einfügen, damit die Vorschaukarte nicht automatisch hinzugefügt wird.

[terraboss (Markus)]

Ich habe bereits über 1500 Treffer pro Tag durch Crawler. Kann ich sie alle mit Cloudflare DNS blockieren? Oder welche Option ist erforderlich, um sie alle zu blockieren? (Private Instanz)

Ich will sie einfach nicht.

[Jagster (Jakke Flemming)]

Mit Nginx als Reverse Proxy und dem Blockieren unerwünschter User Agents. Das hilft sehr. Auch das Blockieren von Ländern, die man nicht benötigt, hilft ziemlich gut.

Ich kann nicht die USA, Frankreich und Deutschland blockieren (große VPS-Länder), aber für mich haben Russland, Vietnam, Iran, Irak usw. ziemlich viel geholfen.

Aber Discourse ist ziemlich… ist “resilient” das richtige Wort. Die Situation ist ganz anders als bei WordPress, wo diese nutzlosen SEO-Bots, Klopfer, Script Kiddies und böswilligen Akteure einen Server leicht in die Knie zwingen können.

[terraboss (Markus)]

Ich hoste bei Hetzner Deutschland, mit nur zwei offenen Ports in meiner Firewall (80/443). Und Discourse läuft hinter dem NGINX Proxy Manager (sicher, es gibt bessere Lösungen, aber ich bin zu faul zum Coden und mag Webfrontends).

Jetzt gehe ich den Whitelist-Weg, mit einem zufälligen String als einzigem erlaubten Eintrag … von nun an keine Seitenaufrufe mehr

[PatrickF]

Eine Frage dazu, was genau in „Crawler-User-Agents verlangsamen“ eingetragen werden soll.
Für uns ist Facebook ein Hauptschuldiger, dicht gefolgt von Bing auf Platz 3.
Der Bericht zeigt die folgenden Agents als die wichtigsten Crawler, die Seitenaufrufe verbrauchen:

• http://www.facebook.com/externalhit_uatext.php
• https://developers.facebook.com/docs/sharing/webmasters/crawler
• Bing Webmaster Tools - Help Documentation

Was genau sollte in „Crawler-User-Agents verlangsamen“ eingetragen werden – diese exakten URLs inklusive „https“ oder „http“? Oder alles nach den doppelten Schrägstrichen? Oder etwas anderes? Oder sollen wir es einfach durch Ausprobieren herausfinden?

Danke!

[Jagster (Jakke Flemming)]

Um die Dinge einfach zu halten, sollten Sie die Namen dieser Bots verwenden. Sie können jedoch jeden Teil des User-Agent-Strings verwenden, aber stellen Sie sicher, dass dies nicht mehr beeinträchtigt, als Sie möchten.

Das Verlangsamen von Bots ist eine sehr unzuverlässige Methode, aber einige halten sich an diese Regel. Diese stammen jedoch von Ihren Shares usw. und verursachen nicht so viel Arbeitsaufwand. WordPress wäre eine andere Geschichte.

Aber dies ist Teil meiner Liste blockierter Bots. Sie verstehen den Punkt daraus.

[PatrickF]

Danke dafür, @Jagster – sehr hilfreich. Fühlt sich manchmal wie ein Whac-a-Mole-Spiel an, aber ich verstehe die Idee, einen Teil des Crawler-Namensstrings anstelle des gesamten Strings zu verwenden.

Ein fortlaufendes Projekt für mich als Site-Admin, schätze ich – weiter geht’s!

[Jagster (Jakke Flemming)]

Es kann mehrere Gründe geben, aber Googlebot hat sein Budget, und wenn Sitemaps der wichtigste Weg sind, Links zu finden, erreicht es niemals interne Links, wenn das tägliche/wöchentliche/monatliche Budget aufgebraucht ist.

Und in einem Forum sind interne Links für Benutzer wichtig, nicht für Google.

Aber ich weiß nicht, ob Googlebot interne Links sieht. Das sollte es aber.