Das Admin-Dashboard kann nun wahrscheinlichen Crawler-Traffic identifizieren – automatisierte Bots und Scraper, die echtes Browser-JavaScript nutzen, aber keine menschlichen Besucher sind – und diese Seitenaufrufe von deinen echten Traffic-Zahlen trennen.
In diesem Thema teilen wir mit, wie wir diese Traffic-Identifizierung angehen und wie du diese Funktion noch heute aktivieren kannst.
Was sich geändert hat
Discourse hat schon immer Crawlers gefiltert, die sich über standardmäßige Bot-User-Agents (wie Googlebot) identifizieren, und sie einer separaten Kategorie für die Website-Traffic-Daten zugeordnet. Doch der moderne automatisierte Traffic ist trickreicher: Er führt einen vollständigen Browser aus, führt JavaScript aus und verschmilzt mit deinen Seitenaufruf-Daten, als wäre es ein echter Besuch. Admins sahen Traffic-Spitzen bei Anonymen Seitenaufrufen, die sich als Scraper herausstellten, oder Besucherzahlen, die durch KI-Bots aufgebläht waren – ohne Möglichkeit, den Unterschied zwischen ihnen und echtem anonymen (d. h. nicht angemeldetem) menschlichen Traffic zu erkennen.
Dieses Update fügt den Site-Traffic-Daten eine Kategorie Wahrscheinliche Crawlers hinzu. Wenn die verbesserte Crawler-Erkennung aktiviert ist, werden Seitenaufrufe, die unsere Heuristiken als wahrscheinlich automatisiert markieren, separat ausgewiesen, sodass deine menschlichen Traffic-Zahlen genauer sind.
So funktioniert die Erkennung
Das System bewertet jeden Browser-Seitenaufruf anhand einer Reihe von Verhaltenssignalen:
- Automations-User-Agent – Der UA benennt explizit einen Headless-Browser oder ein Automatisierungstool (HeadlessChrome, Playwright, Puppeteer, Selenium, PhantomJS, jsdom)
- Verifiziertes Crawler-ASN – Die Autonome Systemnummer (ASN) der IP stammt von einem bekannten Crawler-Netzwerk (Baidu, Ahrefs, Yandex, Internet Archive usw.)
- Rechenzentrum-ASN – Die IP liegt im Adressraum eines großen Cloud- oder Hosting-Anbieters
- Velocity – Die IP + der User-Agent generieren ungewöhnlich viele Seitenaufrufe pro Stunde
- Schnelle Navigation – Die mediane Zeit zwischen den Seitenaufrufen liegt unter 5 Sekunden
- Session-Churn – Viele kurze Sitzungen (meist mit nur einer Seite) von derselben IP + demselben User-Agent
- Fehlendes Engagement – Keine aufgezeichnete, menschlich wirkende Interaktion (Mausbewegung, Tastatureingaben, Scrollen) für eine Sitzung und deren Nachbar-Sitzungen. Dieses Signal hat bei anonymem Traffic ein höheres Gewicht als bei angemeldetem Traffic.
- Ungültige Referrer-Quote – Die meisten Seitenaufrufe kommen ohne Referrer oder mit einem externen Referrer, was auf direkte URL-Aufrufe statt Navigation über die Site hindeutet
- Einzelne direkte Anfrage – Ein einzelner Seitenaufruf ohne Engagement und ohne Referrer; wird höher bewertet, wenn die URL einen Lokalisierungs-Parameter enthält
- Schneller IP-Wechsel – Mehrere IPs innerhalb einer einzigen Sitzung, schneller als bei einem menschlichen Nutzer üblich
- Veraltete Chromium-Version – Eine veraltete Chrome-Version ohne Engagement-Signale
- Verteilter Traffic – Manche Crawlers rotieren ihre IP-Adressen und starten für fast jeden Seitenaufruf eine neue Sitzung. Wir suchen nun nach Mustern über anonyme Besuche, die denselben User-Agent und entweder dasselbe Netzwerk oder dieselbe externe Referrer-Quelle teilen
Die Scores aus mehreren Signalen werden addiert; wenn ein Seitenaufruf eine bestimmte Menge der oben genannten Signale aufweist, wird er als Wahrscheinlicher Crawler klassifiziert.
Verbesserung der Crawler-Erkennung in deiner Community aktivieren
Dies ist vorerst als experimentelle Änderung gedacht. Wir feilen noch an den Erkennungs-Heuristiken und freuen uns über Feedback.
Um dies zu aktivieren, gehe zur Seite Geplante Änderungen in deinem Admin-Bereich und finde den Eintrag Verbesserte Crawler-Erkennung. Aktualisiere das Feld Aktiviert für…, um deine Site einzuschließen.
Nach der Aktivierung zeigt der Abschnitt „Site Traffic“ deines Admin-Dashboards wahrscheinliche Crawlers als separate Kategorie an.
Wichtige Hinweise:
- Dies ist keine exakte Wissenschaft, und wir werden unsere Heuristiken mit der Zeit weiter verfeinern. Wir werden jedoch keine historischen Daten nachtragen, wenn wir diese Berechnungen aktualisieren.
- Die Klassifizierung eines Seitenaufrufs als wahrscheinlicher Crawler blockiert oder drosselt die Anfrage nicht.
- Seitenaufrufe von wahrscheinlichen Crawlers werden aus Referrers, Ländern und anderen Traffic-Aufschlüsselungen ausgeschlossen – genau so, wie bekannte Crawlers heute gehandhabt werden.
- Änderungen an den Erkennungsregeln werden nicht automatisch auf den gesamten historischen Traffic angewendet.
Was denkst du?
Wir freuen uns sehr über dein Feedback – besonders von Communities, die ungewöhnliche Traffic-Muster oder unerklärliche Spitzen bemerkt haben. Siehen die Zahlen für deine Site korrekt aus? Werden Besuche als verdächtig markiert, die für dich wie echte Nutzer wirken? Teile deine Beobachtungen in diesem Thema.
