Zu viele Crawler, ist das ein Problem?

Das hängt davon ab, wie groß Ihre Website ist und welcher User-Agent für diesen Crawler verwendet wird. Sie möchten beispielsweise Googlebot nicht blockieren.

Schauen Sie sich dies hier an: