 |
Zusammenfassung | Integriert den Dark Visitors-Dienst mit Discourse, um unerwünschte Crawler und Scraper, die Ihr Forum besuchen, zu verfolgen. |
 |
Repository-Link | \u003chttps://github.com/magicball-network/discourse-darkvisitors\u003e |
 |
Installationsanleitung | So installieren Sie Plugins in Discourse |
Funktionen
Dark Visitors ist ein Dienst, der Agents (Crawler, Scraper und andere Bot-Arten), die Ihre Websites besuchen, verfolgt. Ihr Hauptaugenmerk liegt auf der Analyse von KI-Agents.
Es bietet zwei Dienste:
- robots.txt-Generierung und -Überwachung
- Agentenanalyse; sowohl serverseitig als auch clientseitig
Der robots.txt-Dienst ist kostenlos. Die Analysedienste bieten eine kostenlose Stufe. Ich empfehle Ihnen, deren Website für weitere Informationen zu besuchen.
Dieses Discourse-Plugin verbindet sich mit all diesen Diensten, die alle optional und bis zu einem gewissen Grad konfigurierbar sind.
robots.txt-Generierung
Discourse bietet bereits eine Option zur Konfiguration der robots.txt. Dieses Plugin erweitert diese. Wenn aktiviert, ruft das Plugin eine Liste von Agents in verschiedenen Kategorien ab (derzeit werden nur KI-Kategorien unterstützt) und fügt diejenigen hinzu, die in den bereits konfigurierten Agents fehlen. Die Liste wird täglich aktualisiert. Auf diese Weise wird, wenn ein neuer KI-Scraper erkannt wird, dieser zu Ihrer robots.txt hinzugefügt.
Diese Funktion funktioniert nur, wenn Discourse die robots.txt verwaltet und Sie diese nicht manuell überschrieben haben. Das Plugin ändert nicht die Einstellung Blockierte Crawler-User-Agents, sondern erweitert die robots.txt um neue fehlende Agents. Sie behalten also die volle Kontrolle über die Verwaltung dieser Liste.
Wenn Sie die robots.txt Ihrer Website besuchen, sehen Sie einen einleitenden Kommentar des letzten Updates und die Anzahl der von Dark Visitors zurückgegebenen Agents. Die noch nicht konfigurierten Agents werden am Ende der Liste hinzugefügt. Sie sollten sich zwischen Googlebot und der Sitemap-Direktive (falls konfiguriert) befinden.
Agentenanalyse
Sowohl serverseitige als auch clientseitige Analysen können einzeln aktiviert werden. Sie können für alle Besucher oder nur für nicht authentifizierte Besucher aktiviert werden.
Die serverseitige Analyse meldet getrackte Besuche an Dark Visitors. Sie sendet den Anfragepfad, die Remote-Adresse des Besuchers, den User-Agent-Header und einige weitere Browser-Header.
Es gibt einige zusätzliche Einstellungen, welche Anfragen gemeldet werden, siehe unten. Standardmäßig werden nur Anfragen getrackt, die Discourse als Ansichten markiert. Die folgenden Anfragen an Discourse werden niemals gemeldet:
- Anfragen an den Admin-Bereich
- Hintergrund- und API-Anfragen
Die clientseitige Analyse wird durch Hinzufügen von Javascript zu Ihrer Seite gehandhabt, das unter bestimmten Bedingungen eine Verbindung zu Dark Visitors herstellt:
- Der Browser scheint automatisiert oder ein KI-Browser zu sein
- Der Benutzer kam von einem KI-Chat-Dienst
Alle getrackten Anfragen zählen zu den Ereignissen, die Ihren Zahlungsplan beeinflussen.
Konfiguration
Sie müssen sich bei Dark Visitors registrieren, um dieses Plugin nutzen zu können. Die kostenlose Stufe gewährt Ihnen 1.000.000 Ereignisse pro Monat. Wenn dieses Limit erreicht ist, sehen Sie keine neueren Ereignisse in deren Analysen mehr, aber Sie können weiterhin neue Informationen senden und den robots.txt-Dienst nutzen.
Nach der Registrierung müssen Sie ein Projekt erstellen (d. h. eine zu verfolgende Website). Dies liefert Ihnen ein Zugriffstoken, das für die robots.txt- und die serverseitige Analysefunktionalität benötigt wird.
Wenn Sie die robots.txt-Funktionalität aktivieren, dauert es eine Weile, bis sie aktualisiert wird. Besuchen Sie https://ihreseite/robots.txt, um zu sehen, ob sie funktioniert. Sie sollte einen Kommentar am Anfang haben:
# Augmented by Dark Visitors on 2025-05-07T12:46:00+00:00 with 28 agents
Wenn Sie die serverseitige Analyse aktivieren, können Sie testen, ob sie funktioniert, indem Sie einen Testbesuch aus den Projekteinstellungen von Dark Visitor anfordern. Dies kann einige Sekunden dauern. Sie sollten das Ergebnis auf der Seite Realtime bei Dark Visitors sehen.
Einstellungen
| Name | Beschreibung |
|---|---|
| darkvisitors enabled | Globaler Schalter zum Aktivieren des gesamten Plugins |
| darkvisitors access token | Das geheime Zugriffstoken, das für die robots.txt und die serverseitige Analyse zur Kommunikation mit Dark Visitors benötigt wird. Sie finden dieses in Ihrem Dark Visitor-Projekt unter Einstellungen. |
| darkvisitors robots txt enabled | Wenn aktiviert, wird die Discourse robots.txt mit zusätzlichen Agents ergänzt. |
| darkvisitors robots txt agents | Die Art der Agents, die zur robots.txt hinzugefügt werden sollen. |
| darkvisitors robots txt path | Der Pfad, zu dem die Agents der Zugriff verweigert werden soll. Es ist wahrscheinlich am besten, dies auf / zu belassen, damit der Zugriff auf die gesamte Website verweigert wird. |
| darkvisitors server analytics | Aktiviert die serverseitige Analyse. Ich empfehle, sie nur für anonyme Benutzer zu aktivieren. |
| darkvisitors server analytics include | Zusätzliche Anfragen verfolgen. Sie können auch Anfragen an die hochgeladenen Dateien oder sogar 404 Not Found-Anfragen verfolgen. |
| darkvisitors server analytics ignore | Teilstrings im User-Agent, die ignoriert werden sollen (Groß-/Kleinschreibung beachten). Wenn Sie Uptime-Monitoring verwenden, empfehle ich dringend, deren identifizierenden User-Agent in diese Liste aufzunehmen. |
| darkvisitors client analytics | Aktiviert die clientseitige Analyse. Dies gibt Ihnen auch Einblicke in normale Benutzer, die Ihr Forum besuchen, während sie von einem KI-Chat-Dienst kommen. |
| darkvisitors client analytics project key | Für die clientseitige Analyse müssen Sie den (öffentlichen) Projektschlüssel konfigurieren. Sie finden diesen in Ihren Dark Visitors-Projekteinstellungen im Abschnitt JavaScript-Tag, es ist der Code nach project_key= |
