# AI soll Web-Crawler identifizieren und markieren
**URL:** https://meta.discourse.org/t/have-ai-identify-and-flag-web-crawlers/275765
**Category:** Feature
**Tags:** ai
**Created:** [11. Juli 2023 um 16:49 UTC](https://meta.discourse.org/t/have-ai-identify-and-flag-web-crawlers/275765 "2023-07-11T16:49:00Z")
**Posts on this page:** 2
**Page:** 1
### Author:  [@EricGT](https://meta.discourse.org/u/EricGT)
#### Post date: [11. Juli 2023 um 16:49 UTC](https://meta.discourse.org/t/have-ai-identify-and-flag-web-crawlers/275765/1 "2023-07-11T16:49:00Z")
Vorschlag
Lassen Sie die KI Web-Crawler identifizieren, die regelmäßig eine Website crawlen, aber keine Besuche generieren. Kennzeichnen Sie diese zur Überprüfung durch Administratoren.
Ändern Sie außerdem den Bericht _Consolidated Page View_, um Crawler detaillierter aufzuschlüsseln:
- Crawler, die Besuche generieren
- Einmalige Crawler
- Andere
* * *
Es gibt viele Web-Crawler, die täglich oder wiederholt Websites besuchen, und für Websites wie [SWI-Prolog](https://swi-prolog.discourse.group/) erhöhen viele die Seitenaufrufe, aber es gibt keinen Nutzen für die Website. Meistens handelt es sich dabei um Suchmaschinen-Websites, aber wenn die Suchmaschine keine Besuche generiert, sollten sie vom Crawling der Website ausgeschlossen werden.
Ja, ich weiß, dass es keine ideale Möglichkeit gibt, einen schlecht funktionierenden Web-Crawler zu stoppen, aber die Reduzierung der unnötigen Seitenaufrufe durch solche Web-Crawler summiert sich auf lange Sicht zu echtem Geld und Zeit.
---
### Author:  [@Lilly](https://meta.discourse.org/u/Lilly)
#### Post date: [11. Juli 2023 um 16:50 UTC](https://meta.discourse.org/t/have-ai-identify-and-flag-web-crawlers/275765/2 "2023-07-11T16:50:57Z")
Ja, bitte. Tolle Idee.