# Zu viele Crawler, ist das ein Problem?

**URL:** <https://meta.discourse.org/t/too-many-crawlers-is-that-a-problem/148550>\
**Category:** Data & reporting\
**Created:** [19. April 2020 um 20:18 UTC](https://meta.discourse.org/t/too-many-crawlers-is-that-a-problem/148550 "2020-04-19T20:18:37Z")\
**Posts on this page:** 1\
**Showing post:** 2

<div class="post-metadata">

**Author:** ![Johani](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/johani/32/176920_2.png) [@Johani](https://meta.discourse.org/u/Johani)\
**Post date:** [19. April 2020 um 20:28 UTC](https://meta.discourse.org/t/too-many-crawlers-is-that-a-problem/148550/2 "2020-04-19T20:28:40Z")

</div>

Sie können detaillierte Zahlen pro Crawler einsehen, wenn Sie

```plaintext
your.site.com/admin/reports/web_crawlers

```

aufrufen.

Wenn Sie einen ungewöhnlichen Crawler entdecken, der sich fehlerhaft verhält, können Sie einen eindeutigen String aus dessen User-Agent zur Einstellung `blacklisted_crawler_user_agents` hinzufügen. Dadurch wird der Crawler blockiert.

---

_[View the full topic](https://meta.discourse.org/t/too-many-crawlers-is-that-a-problem/148550)._