Werden Web-Crawler-Seitenaufrufe in das monatliche Limit von 500.000 Seitenaufrufen für den kostenlosen Plan einbezogen?
Als Administrator eines Discourse-Forums habe ich festgestellt, dass Web-Crawler für mehr als 95 % unserer gesamten Seitenaufrufe verantwortlich sind. Dennoch liegen wir unter 500.000 Seitenaufrufen pro Monat. Allerdings zeigen der Crawler-Traffic und die gesamten Seitenaufrufe in den letzten Jahren einen stetigen Aufwärtstrend.
Angesichts dessen wird das Verständnis dafür, wie man Crawler-Aktivitäten überwacht und verwaltet, immer wichtiger – insbesondere für Administratoren, die neu bei der Verwaltung einer Discourse-Instanz sind.
Es könnte für die Dokumentation der ersten Einrichtung der Website von Vorteil sein, klare Anleitungen zu folgenden Punkten aufzunehmen:
- Wie Seitenaufrufe gezählt werden (einschließlich der Frage, ob Crawler-Traffic einbezogen wird)
- Wie Crawler-Aktivitäten überwacht werden können
- Methoden zur Verwaltung oder Begrenzung des Crawler-Traffics, wo dies angebracht ist
