Включены ли просмотры страниц, сделанные веб-краулерами, в ежемесячный лимит в 500 тысяч просмотров для бесплатного тарифа?
Как администратор форума Discourse, я заметил, что на веб-краулеры приходится более 95% общего числа просмотров страниц. Тем не менее, мы остаемся в пределах лимита в 500 тысяч просмотров в месяц. При этом трафик от краулеров и общее число просмотров страниц демонстрируют устойчивый рост на протяжении последних нескольких лет.
В связи с этим понимание того, как отслеживать и управлять активностью краулеров, становится всё более важным — особенно для администраторов, которые только начинают работать с экземпляром Discourse.
Было бы полезно включить в документацию по первоначальной настройке сайта чёткие рекомендации по следующим вопросам:
- Как учитываются просмотры страниц (включая ли это трафик от краулеров)
- Как отслеживать активность краулеров
- Методы управления или ограничения трафика от краулеров при необходимости
