Web-Crawler-User-Agents – Mastodon-Agenten nehmen zahlenmäßig zu

Gemeinschaft
1

Für diejenigen mit Admin-Zugriff beim Überprüfen der Web-Crawler-Benutzeragenten

image
image392×193 1.34 KB

z. B. tatsächlicher Link, ändern Sie die URL für Ihre Website nach Bedarf.
https://swi-prolog.discourse.group/admin/reports/web_crawlers

Unsere Website zeigt einen plötzlichen Anstieg der Mastodon-Agenten. Ich vermute, dass diese Agenten von Mastodon-Seiten stammen. Da ich Mastodon nicht benutze, muss ich jetzt untersuchen, ob dies ein potenzielles Problem für unsere Website ist oder nur etwas, das man beachten muss.

Da der Bericht, wie auf der Webseite angezeigt, einige der benötigten Informationen abschneidet, habe ich den Bericht heruntergeladen.

web-crawlers-251023-084425-10.zip (4,3 KB)

Beachten Sie am Ende die Zeilen wie

http.rb/5.1.1 (Mastodon/4.2.20; +https://acc4e.com/),1

Kann jemand mehr Licht auf die folgenden Fragen werfen:

  • Sind diese Agenten mit den Mastodon-Social-Network-Seiten verbunden?
  • Werden in Zukunft aufgrund der Funktionsweise von Mastodon weitere erscheinen, mit anderen Worten, werden diese nicht absichtlich, sondern als Nebeneffekt der Art und Weise, wie Mastodon eingerichtet oder verwendet wird, erstellt?
  • Sollten/können sie als Crawler abgelehnt werden, wenn sie für eine Discourse-Website keinen Wert haben?

Im Moment ist dies kein dringendes Problem, da alle Mastodon-Agenten nur einen Seitenaufruf von 1 zeigen, während die Spitze der Liste für einen Mozilla/5.0-Agenten 37.279 anzeigt.

2 „Gefällt mir“
2

Cool, das bedeutet wahrscheinlich, dass etwas in deiner Community von Benutzern auf Mastodon erneut gepostet wurde. Da Mastodon föderiert ist, werden die Link-Vorschau-Crawler unterschiedliche User Agents haben. Sowohl weil die Instanzen auf verschiedenen Mastodon-Versionen laufen werden als auch weil es so aussieht, als ob Mastodon die URL der Community als Teil des User Agents einfügt.

Einverstanden. Es wäre auch schön, die User Agents zu gruppieren, damit du Mastodon-Link-Vorschau-Summen, Facebook-Onebox-Summen, Discourse-Onebox-Summen (von anderen Communities) und so weiter sehen kannst.

5 „Gefällt mir“