Hallo Team,
im Community-Dashboard sehe ich viele Crawler, die sich auf der Website anmelden. Ich kann nicht nachvollziehen, wer sie sind und wie sie hierher gelangt sind.
Wer sind diese Besucher?
Wie kann ihre Aktivität und welche Art von Aktivitäten sie durchführen, untersucht werden?
Wie können sie verfolgt werden?
Bitte helfen Sie mir mit diesen Informationen.
Einen schönen Tag noch!
Vielen Dank.
Vidyaranjan
Hallo Vidyaranjan,
Überprüfe /admin/reports/web_crawlers, um einen detaillierten Bericht über die Crawler zu erhalten. Anschließend kannst du diejenigen blockieren, die du nicht hilfreich oder nützlich findest, indem du sie zur Site-Einstellung „blockierte Crawler-Benutzeragenten
Entschuldigung, dass ich das Thema wieder aufgreife, aber ich habe noch nicht ganz gefunden, wonach ich suche. Zum einen bieten die Crawler-Statistiken auf der Berichtseite mir Informationen zur Anzahl der Crawler-Seitenaufrufe und deren User-Agents, aber kaum weitere Hinweise, was ich mit diesen Informationen anfangen soll. Crawler sind für mich generell kein Problem, doch Spitzen im Crawler-Zugriff machen die Dashboard-Statistiken fast unbrauchbar.
Sie sehen, eine einzige Spitze am 16. Dezember führt zu einer derartigen Komprimierung aller Diagramme, dass sie kaum noch lesbar sind. Außerdem: Welchen Wert hat diese Information überhaupt? Keinen. Das war der Tag des Google-Ausfalls letzte Woche; wahrscheinlich haben alle Crawler ihre Aktivität verstärkt, sobald Google wieder online war. Großartiges.
Meine Frage lautet also: Kann ich Crawler aus den Statistiken des Haupt-Administratordashboards entfernen?
Ah, vielen Dank! Das wusste ich gar nicht, dass man hier klicken kann.
