Das Admin-Dashboard kann nun wahrscheinlichsten Crawler-Traffic erkennen – automatisierte Bots und Scraper, die echtes Browser-JavaScript verwenden, aber keine menschlichen Besucher sind – und diese Seitenaufrufe von Ihren tatsächlichen Traffic-Zahlen trennen.
In diesem Thema stellen wir vor, wie wir uns der Erkennung dieses Traffics genähert haben und wie Sie diese Funktion noch heute aktivieren können.
Was hat sich geändert
Discourse hat Crawlers, die sich über Standard-Bot-User-Agents (z. B. Googlebot) zu erkennen geben, schon immer in eine eigene Kategorie der Site-Traffic-Daten gefiltert. Doch moderner automatisierter Traffic ist listiger: Er führt einen vollständigen Browser aus, führt JavaScript aus und mischt sich in Ihre Seitenaufrufdaten, als wäre es ein echter Besuch. Admins sahen Traffic-Spitzen bei Anonymous (anonymen) Seitenaufrufen, die sich als Scraper entpuppten, oder Besucherzahlen, die durch KI-Bots aufgebläht wurden – ohne Möglichkeit, zwischen diesen und echtem anonymem (d. h. nicht angemeldetem) menschlichem Traffic zu unterscheiden.
Dieses Update fügt den Site-Traffic-Daten eine Kategorie Likely Crawlers (wahrscheinliche Crawler) hinzu. Wenn die verbesserte Crawler-Erkennung aktiviert ist, werden Seitenaufrufe, die unsere Heuristiken als wahrscheinlich automatisiert einstufen, separat angezeigt, sodass Ihre menschlichen Traffic-Zahlen genauer sind.
So funktioniert die Erkennung
Das System bewertet jeden Browser-Seitenaufruf anhand einer Reihe von Verhaltenssignalen:
- Automatisierungs-User-Agent – Der UA benennt explizit einen Headless-Browser oder ein Automatisierungstool (HeadlessChrome, Playwright, Puppeteer, Selenium, PhantomJS, jsdom)
- Rechenzentrums-ASN – Die IP-Adresse befindet sich im Adressraum eines großen Cloud- oder Hosting-Anbieters
- Geschwindigkeit – Die IP-Adresse + der User-Agent generiert ungewöhnlich viele Seitenaufrufe pro Stunde
- Schnelle Navigation – Die Median-Lücke zwischen den Seitenaufrufen beträgt weniger als 5 Sekunden
- Session-Abbruch – Viele kurze Sessions (meist nur eine Seite) von derselben IP-Adresse + demselben User-Agent
- Fehlendes Engagement – Keine aufgezeichnete menschliche Interaktion (Mausbewegungen, Tastatureingaben, Scrollen) für eine Session und ihre Nachbar-Sessions. Dieses Signal hat bei anonymem Traffic mehr Gewicht als bei angemeldetem Traffic.
- Schlechtes Referrer-Verhältnis – Die meisten Seitenaufrufe erfolgen ohne Referrer oder mit einem externen Referrer, was auf einen direkten URL-Aufruf statt einer Navigation durch die Website hindeutet
- Einzelne direkte Anfrage – Ein einzelner Seitenaufruf ohne Engagement und ohne Referrer; wird höher bewertet, wenn die URL einen Locale-Parameter enthält
- Veraltete Chromium-Version – Eine veraltete Chrome-Version ohne Engagement-Signale
- Verteilter Traffic – Manche Crawler rotieren IP-Adressen und starten für fast jeden Seitenaufruf eine neue Session. Wir suchen nun nach Mustern über anonyme Besuche hinweg, die einen User-Agent und entweder ein Netzwerk oder eine externe Referrer-Quelle gemeinsam haben
Punkte aus mehreren Signalen werden addiert; wenn ein Seitenaufruf eine bestimmte Anzahl der oben genannten Signale aufweist, wird er als likely crawler (wahrscheinlicher Crawler) klassifiziert.
Verbesserte Crawler-Erkennung in Ihrer Community aktivieren
Im Moment gilt dies als experimentelle Änderung. Wir justieren die Erkennungsheuristiken weiterhin und freuen uns über Feedback.
Um dies zu aktivieren, navigieren Sie zur Seite Upcoming changes in Ihrem Admin-Bereich und finden Sie den Eintrag Improved crawler detection (Verbesserte Crawler-Erkennung). Aktualisieren Sie das Feld Enabled for… (Aktiviert für…), um Ihre Website zu aktivieren.
Sobald aktiviert, zeigt der Abschnitt Site Traffic Ihres Admin-Dashboards wahrscheinliche Crawler als separate Kategorie an.
Wichtige Hinweise:
- Dies ist keine exakte Wissenschaft, und wir werden unsere Heuristiken im Laufe der Zeit weiter verfeinern. Allerdings werden wir keine rückwirkende Aktualisierung (Backfill) vornehmen, wenn wir diese Berechnungen aktualisieren.
- Die Klassifizierung eines Seitenaufrufs als wahrscheinlicher Crawler blockiert oder drosselt die Anfrage nicht.
- Seitenaufrufe von wahrscheinlichen Crawlern werden von Referrers, Ländern und anderen Traffic-Aufschlüsselungen ausgeschlossen – genau so wie bekannte Crawler heute behandelt werden.
- Änderungen an den Erkennungsregeln führen nicht automatisch dazu, dass der gesamte historische Traffic erneut verarbeitet wird.
Was denken Sie?
Wir freuen uns über Ihr Feedback – besonders von Communities, die ungewöhnliche Traffic-Muster oder unerklärliche Spitzen bemerkt haben. Scheinen die Zahlen für Ihre Website korrekt zu sein? Werden Besuche als markiert, die Ihnen wie echte Benutzer vorkommen? Teilen Sie Ihre Erkenntnisse in diesem Thema.

