Vorschlag
Lassen Sie die KI Web-Crawler identifizieren, die regelmäßig eine Website crawlen, aber keine Besuche generieren. Kennzeichnen Sie diese zur Überprüfung durch Administratoren.
Ändern Sie außerdem den Bericht Consolidated Page View, um Crawler detaillierter aufzuschlüsseln:
- Crawler, die Besuche generieren
- Einmalige Crawler
- Andere
Es gibt viele Web-Crawler, die täglich oder wiederholt Websites besuchen, und für Websites wie SWI-Prolog erhöhen viele die Seitenaufrufe, aber es gibt keinen Nutzen für die Website. Meistens handelt es sich dabei um Suchmaschinen-Websites, aber wenn die Suchmaschine keine Besuche generiert, sollten sie vom Crawling der Website ausgeschlossen werden.
Ja, ich weiß, dass es keine ideale Möglichkeit gibt, einen schlecht funktionierenden Web-Crawler zu stoppen, aber die Reduzierung der unnötigen Seitenaufrufe durch solche Web-Crawler summiert sich auf lange Sicht zu echtem Geld und Zeit.