Ich hatte 2 Gelegenheiten von Spitzen, am 8. und 18. Januar – beide Male von Yandex, dem russischen Webcrawler. Beide Male stiegen die Versuche, die Seite zu durchsuchen, um mehr als das Doppelte an. Der größte Schnüffler im Laufe der Zeit ist petalbot von PetalSearch.com. Sie hatten 4- bis 6-mal mehr Scans als Yandex und andere Bots.
1 „Gefällt mir“
1 „Gefällt mir“
Ein weiterer Bot, der zu einem Ausreißer mit übermäßigen Seitenaufrufen an einem einzigen Tag führt.
Datum: 2023-02-23
1 „Gefällt mir“
Sie scheinen zu glauben, dass sie legitim sind, aber das ist eindeutig falsch.
1 „Gefällt mir“
Ein weiterer Bot, der zu einem Ausreißer mit übermäßigen Seitenaufrufen an einem einzigen Tag führt.
Datum: 2023-05-04
1 „Gefällt mir“
Manchmal stammen diese Treffer von legitimen Bots. Manchmal… von etwas anderem. IP-Adressen enthüllen oft die Wahrheit.
Wie auch immer – diese sind absolut nutzlos und stehlen im Grunde nur Inhalte und geben nie etwas zurück. Der einzige Weg, diese zu stoppen, ist ein Reverse-Proxy. Aber soweit ich weiß, ist die Situation bei Discourse gut, da diese die Last nicht so stark erhöht haben. In der WordPress-Welt könnte eine solche Situation eine Website lahmlegen.
2 „Gefällt mir“
Danke, dass du meinen Punkt bestätigt hast!
1 „Gefällt mir“
Wie siehst du das?
1 „Gefällt mir“
Das sieht nach einem Standardbericht aus. Sie sollten Ihren unter /admin/reports/web_crawlers finden können 
3 „Gefällt mir“
KI-Zusammenfassung:
Die Diskussion dreht sich um Spitzen bei Seitenaufrufen durch Web-Crawler-Bots auf Discourse-Seiten. Einige Bots, die für große Spitzen bei den Seitenaufrufen verantwortlich waren, sind:
- MegaIndex-Bot: verursachte an einem Tag etwa 4.000 Seitenaufrufe
- MJ12bot: verursachte an einem Tag über 5.000 Seitenaufrufe
- Seekport-Bot: verursachte mehrmals Spitzen
- Yandex-Bot: führte bei zwei Gelegenheiten zu einer Verdopplung der Seitenaufrufe
- PetalBot von PetalSearch.com: führte 4-6x mehr Seiten-Scans durch als andere Bots
- DataForSEO-Bot: verursachte an einem Tag einen Spitzenwert von über 15.000 Seitenaufrufen
Diese Spitzen können manchmal Leistungsprobleme verursachen. Möglichkeiten, den Bot-Traffic zu begrenzen, sind die Verwendung von robots.txt, obwohl nicht alle Bots diese respektieren. Andere Optionen sind serverseitige Blockierung und die Verwendung eines Reverse-Proxys. Die Bots werden als „Content-Diebstahl“ betrachtet, ohne einen Mehrwert zu bieten.
1 „Gefällt mir“
@Bas
Du hast hier eine KI-generierte Zusammenfassung gepostet, als Antwort auf eine Anfrage von mir, und jetzt ist sie weg.
Hast du sie gelöscht?
Ja, das habe ich, denn Ihre ursprüngliche Anfrage wurde ebenfalls entfernt 
Ich habe sie jetzt wiederhergestellt.
Danke.
Ich neige dazu, Antworten zu entfernen, die nach einiger Zeit keinen Wert mehr für das Lesen des Themas haben, aber keine Lücken im Thema hinterlassen. Da es sich um eine einfache Anfrage handelte und Sie die Zusammenfassung erstellt haben, war es nicht notwendig, dass andere die Anfrage jedes Mal lesen, wenn sie dieses Thema besuchten.
Es ist eine Angewohnheit, die ich von StackExchange-Seiten übernommen habe, wo ich Kommentare hinterließ und sie später löschte. Es gibt auch andere nützlichere Kommentare, die ich für mich und andere erstellt habe, aber nicht direkt mit dem Thema zusammenhängen und mit Von Interesse beginnen. Ich habe wahrscheinlich ein paar hundert solcher Kommentare auf StackExchange-Seiten. Ich wollte wirklich so etwas für Discourse, aber der Vorschlag gewann nie an Zugkraft.
1 „Gefällt mir“
Bei der Überprüfung der Besuche auf unserer Website waren die Seitenaufrufe äußerst ungewöhnlich. Wenn man sich die Übersicht ansieht
beginnt der Überschuss am 23.10.2023 mit, wie ich vermute, einem anonymen Benutzer.
Eine Überprüfung von
zeigt, dass die Zunahme auf einige Bots zurückzuführen ist, die ich nicht sofort erkannte
- fidget-spinner-bot
- my-tiny-bot
- thesis-research-bot
Ich gebe diese Information nur weiter, da sie für Sie von Wert sein könnte.
2 „Gefällt mir“
Bei mir auch
3 „Gefällt mir“
Ich glaube, wir haben ein paar Fälle davon gesehen. Es scheint, dass es sich um einen Crawler handelt, der sich nicht als Crawler ausgibt, sodass er als „anonyme“ Aufrufe gezählt wird.
1 „Gefällt mir“
(Bearbeitung durch Poster – dieser Beitrag war ursprünglich ein neuer Thread, der hierher verschoben wurde, was in Ordnung ist. Der Titel lautete „Neugier: Große Reduzierung der Crawler-Besuche seit Anfang November (2023)“)
Ich glaube nicht, dass sich hier etwas geändert hat:
Sehen Sie noch etwas Ähnliches?
Es gibt keinen großen Austausch von Zahlen zwischen Anon und Crawler, es handelt sich also nicht um eine Änderung der Kategorisierung.
3 „Gefällt mir“
Ja
Schau dir diesen Themenbereich und insbesondere diesen Beitrag an.
Da du einen Bericht über Konsolidierte Seitenaufrufe gepostet hast, gehe ich davon aus, dass du Admin-Zugriff hast.
/admin/reports/consolidated_page_views
nutze auch
/admin/reports/web_crawlers
um zu identifizieren, welcher Webcrawler die Seitenaufrufe tätigt.
Wie einige von uns entdeckt haben, sind diese Bots kürzlich aufgetaucht und verursachen die hohen Zahlen
- fidget-spinner-bot
- my-tiny-bot
- thesis-research-bot
1 „Gefällt mir“
Ah ja, ich hatte dieses Thema gesehen, das sich um Zunahmen drehte. Aber tatsächlich waren alle drei für die hohen Zahlen verantwortlich – nach dem 8. sind sie alle verschwunden, und wir sind wieder auf einer Art Grundlinie. Was den Rückgang erklärt.
(Mods: Es ist in Ordnung, diesen Thread unten an den anderen anzuhängen.) (Bearbeitet: Danke, Mods!)
3 „Gefällt mir“