Wir möchten herausfinden, welche spezifischen Themen am häufigsten von AI-Crawlern indiziert bzw. durchsucht werden, um sicherzustellen, dass unsere am häufigsten zitierten Inhalte keine Halluzinationen von LLMs speisen. Gibt es eine Möglichkeit, mit dem Data Explorer Crawler-Treffern einzelne Topic-IDs zuzuordnen?
Ich könnte mich irren, aber ich glaube nicht, dass Discourse Webcrawler-Traffic auf Kategorie- oder Themenebene verfolgt.
Die meisten Al-Crawler-Aktivitäten identifizieren sich nicht über den User-Agent. Sie geben sich in der Regel als veraltete Chrome-Versionen aus. Der einzige Weg, sie zu erkennen, ist die Tatsache, dass sie nur eine einzige Seite besuchen und nicht auf der Website bleiben, um eine zweite Seite aufzurufen. Oft stammen sie aus einem Rechenzentrum, aber ich habe auch viele Ein-Seiten-Traffics von mobilen und privaten IP-Adressen gesehen, die ich auf kompromittierte Geräte zurückführe.
Die meisten KI-Crawler geben ihren User-Agent an. Die von dir erwähnten sind SEO-Bots/Crawler sowie andere bösartige, missbräuchliche oder unerwünschte nicht-menschliche Akteure.