Verbesserung der Erkennung und Kennzeichnung von Crawlern in Ihren Verkehrsdaten

Das Admin-Dashboard kann nun wahrscheinlichsten Crawler-Traffic erkennen – automatisierte Bots und Scraper, die echtes Browser-JavaScript verwenden, aber keine menschlichen Besucher sind – und diese Seitenaufrufe von Ihren tatsächlichen Traffic-Zahlen trennen.

In diesem Thema stellen wir vor, wie wir uns der Erkennung dieses Traffics genähert haben und wie Sie diese Funktion noch heute aktivieren können.

:microscope: Was hat sich geändert

Discourse hat Crawlers, die sich über Standard-Bot-User-Agents (z. B. Googlebot) zu erkennen geben, schon immer in eine eigene Kategorie der Site-Traffic-Daten gefiltert. Doch moderner automatisierter Traffic ist listiger: Er führt einen vollständigen Browser aus, führt JavaScript aus und mischt sich in Ihre Seitenaufrufdaten, als wäre es ein echter Besuch. Admins sahen Traffic-Spitzen bei Anonymous (anonymen) Seitenaufrufen, die sich als Scraper entpuppten, oder Besucherzahlen, die durch KI-Bots aufgebläht wurden – ohne Möglichkeit, zwischen diesen und echtem anonymem (d. h. nicht angemeldetem) menschlichem Traffic zu unterscheiden.

Dieses Update fügt den Site-Traffic-Daten eine Kategorie Likely Crawlers (wahrscheinliche Crawler) hinzu. Wenn die verbesserte Crawler-Erkennung aktiviert ist, werden Seitenaufrufe, die unsere Heuristiken als wahrscheinlich automatisiert einstufen, separat angezeigt, sodass Ihre menschlichen Traffic-Zahlen genauer sind.

So funktioniert die Erkennung

Das System bewertet jeden Browser-Seitenaufruf anhand einer Reihe von Verhaltenssignalen:

  • Automatisierungs-User-Agent – Der UA benennt explizit einen Headless-Browser oder ein Automatisierungstool (HeadlessChrome, Playwright, Puppeteer, Selenium, PhantomJS, jsdom)
  • Rechenzentrums-ASN – Die IP-Adresse befindet sich im Adressraum eines großen Cloud- oder Hosting-Anbieters
  • Geschwindigkeit – Die IP-Adresse + der User-Agent generiert ungewöhnlich viele Seitenaufrufe pro Stunde
  • Schnelle Navigation – Die Median-Lücke zwischen den Seitenaufrufen beträgt weniger als 5 Sekunden
  • Session-Abbruch – Viele kurze Sessions (meist nur eine Seite) von derselben IP-Adresse + demselben User-Agent
  • Fehlendes Engagement – Keine aufgezeichnete menschliche Interaktion (Mausbewegungen, Tastatureingaben, Scrollen) für eine Session und ihre Nachbar-Sessions. Dieses Signal hat bei anonymem Traffic mehr Gewicht als bei angemeldetem Traffic.
  • Schlechtes Referrer-Verhältnis – Die meisten Seitenaufrufe erfolgen ohne Referrer oder mit einem externen Referrer, was auf einen direkten URL-Aufruf statt einer Navigation durch die Website hindeutet
  • Einzelne direkte Anfrage – Ein einzelner Seitenaufruf ohne Engagement und ohne Referrer; wird höher bewertet, wenn die URL einen Locale-Parameter enthält
  • Veraltete Chromium-Version – Eine veraltete Chrome-Version ohne Engagement-Signale
  • Verteilter Traffic – Manche Crawler rotieren IP-Adressen und starten für fast jeden Seitenaufruf eine neue Session. Wir suchen nun nach Mustern über anonyme Besuche hinweg, die einen User-Agent und entweder ein Netzwerk oder eine externe Referrer-Quelle gemeinsam haben

Punkte aus mehreren Signalen werden addiert; wenn ein Seitenaufruf eine bestimmte Anzahl der oben genannten Signale aufweist, wird er als likely crawler (wahrscheinlicher Crawler) klassifiziert.

:gear: Verbesserte Crawler-Erkennung in Ihrer Community aktivieren

Im Moment gilt dies als experimentelle Änderung. Wir justieren die Erkennungsheuristiken weiterhin und freuen uns über Feedback.

Um dies zu aktivieren, navigieren Sie zur Seite Upcoming changes in Ihrem Admin-Bereich und finden Sie den Eintrag Improved crawler detection (Verbesserte Crawler-Erkennung). Aktualisieren Sie das Feld Enabled for… (Aktiviert für…), um Ihre Website zu aktivieren.

Sobald aktiviert, zeigt der Abschnitt Site Traffic Ihres Admin-Dashboards wahrscheinliche Crawler als separate Kategorie an.

:warning: Wichtige Hinweise:

  • Dies ist keine exakte Wissenschaft, und wir werden unsere Heuristiken im Laufe der Zeit weiter verfeinern. Allerdings werden wir keine rückwirkende Aktualisierung (Backfill) vornehmen, wenn wir diese Berechnungen aktualisieren.
  • Die Klassifizierung eines Seitenaufrufs als wahrscheinlicher Crawler blockiert oder drosselt die Anfrage nicht.
  • Seitenaufrufe von wahrscheinlichen Crawlern werden von Referrers, Ländern und anderen Traffic-Aufschlüsselungen ausgeschlossen – genau so wie bekannte Crawler heute behandelt werden.
  • Änderungen an den Erkennungsregeln führen nicht automatisch dazu, dass der gesamte historische Traffic erneut verarbeitet wird.

:mega: Was denken Sie?

Wir freuen uns über Ihr Feedback – besonders von Communities, die ungewöhnliche Traffic-Muster oder unerklärliche Spitzen bemerkt haben. Scheinen die Zahlen für Ihre Website korrekt zu sein? Werden Besuche als markiert, die Ihnen wie echte Benutzer vorkommen? Teilen Sie Ihre Erkenntnisse in diesem Thema.

21 „Gefällt mir“

Klingt gut. Berücksichtigt es bei diesen Signalen auch eingeloggte Nutzer?

1 „Gefällt mir“

Zählen likely crawlers noch auf das monatliche Pageview-Limit? :slightly_smiling_face:

1 „Gefällt mir“

Ich habe vergessen, die URL von etwas zu bearbeiten, das ich beim Einsatz eines Modells eingefügt habe, und auf einem Forum im Bau ist ein Anstieg von 35.000 % aufgetreten.

Ich habe noch die ausstehende Aufgabe, ein kleines lokales Modell zu installieren, um echte Verweise auf das, woran ich arbeite, zu bereinigen.

Es ist großartig, diese Option als zweiten Filter zu haben. Danke, dass ihr das gebaut habt.

Das ist eine gute Frage, zu der wir uns noch nicht entschieden haben – wir gehen davon aus, dass wir unsere Crawler-Erkennungsmodelle noch feinjustieren müssen. Da es sich um eine optionale Funktion handelt, wissen wir noch nicht, ob und inwiefern sich dies auf die Pageview-Limits auswirken wird.

Wir werden das intern besprechen und melde mich dann mit einer Rückmeldung bei dir!

4 „Gefällt mir“

Danke für die Bemühungen. Ist ein wahrscheinlicher Punkt im Roadmap, dass man Maßnahmen gegen sie ergreifen kann, sobald man mit dem Erkennungsalgorithmus zufrieden ist?

2 „Gefällt mir“

Es wäre großartig, wenn wir eine Liste der User Agents erhalten könnten, die das System identifiziert hat oder für wahrscheinlich als Bots/Crawler hält.

Das ist hilfreich, damit sie den blockierten oder rate-limitierten Gruppen hinzugefügt werden können.

3 „Gefällt mir“

Ja, wir versuchen auch, Automatisierungen bei angemeldeten Benutzern zu erkennen. Auf Meta haben wir einige „Benutzer“ mit Vertrauensstufe 0 gefunden, die die Seite gescannt haben.

2 „Gefällt mir“

Die Herausforderung besteht darin, dass „wahrscheinliche Crawler“ häufig legitime User Agents verwenden. Manchmal sieht die Browserversion ziemlich alt aus, aber das ist kein stark genug Signal, um sie als wahrscheinlichen Bot einzuordnen. Deshalb erheben wir so viele Metriken und versuchen, sie zu kombinieren, um die Wahrscheinlichkeit besser einzuschätzen.

Wenn sich ein Crawler ehrlich über einen User Agent wie Bingbot oder Googlebot zu erkennen gibt, landet er direkt in der Kategorie „Crawler“.

2 „Gefällt mir“

Tatsächlich. Mithilfe der Statistiken, die das Team discourse aus dem Backend ziehen konnte, handelte es sich eher um unübliche User-Agents, die oft kurzfristige Anstiege in den Zugriffsmustern aufwiesen, sodass wir einige davon von der Liste streichen konnten, ohne die Benutzer zu beeinträchtigen.

Kein exakter Wissenschaftszweig. Die Möglichkeit, dies auf bestimmte Regionen abzubilden, würde wahrscheinlich auch eine genauere Auflösung bei deren Verwaltung ermöglichen.

2 „Gefällt mir“