У нас есть форум, который нам любезно предоставлен на хостинге Discourse для проектов с открытым исходным кодом. Это было фантастически для нашего сообщества. Мы уже несколько лет стабильно получаем 20–40 тысяч просмотров в месяц (за исключением периода, когда нам пришлось ограничить частоту запросов для BingBot), но на этой неделе всё резко изменилось: более 8 тысяч посещений в день.
Судя по новому отчёту «Объединённые просмотры страниц с определением браузера», нас буквально заваливают «другим трафиком».
Кажется, в хостинг-версии у меня нет доступа к плагину «Data explorer» или ко всем IP-адресам. Мы не можем использовать геоблокировку, так как наше сообщество очень интернациональное.
Хорошо слышать следующее:
На главной панели управления наши просмотры страниц всё ещё отображаются в устаревшем виде, поэтому мы значительно превысили квоту:
Немного сбивает с толку и вызывает беспокойство этот резкий скачок. Но, насколько я понимаю, чтобы увидеть подробные логи и узнать, какие именно IP-адреса составляют остальной трафик, нам понадобится плагин?
Привет, Джулиан! Приносим извинения за задержку с ответом. Как клиент, использующий наш хостинг, вы всегда можете написать на team@discourse.org, чтобы получить быструю индивидуальную поддержку от нашей команды. Мы также можем напрямую изучить статистику и настройки вашего сайта, чтобы дать рекомендации.
Рост количества просмотров страниц действительно впечатляет, и вы действительно превысили свой лимит. Но не волнуйтесь: мы не начнем взимать с вас дополнительную плату, не поговорив с вами предварительно и не помогив вернуться в рамках установленных лимитов.
Отчёта для сбора более подробной информации о просмотрах страниц не существует. Nate дал ссылку на тему, которая помогает описать, что обычно подразумевается под «Другим трафиком»:
И чтобы ответить на этот вопрос:
Мы не предоставляем IP-адреса ни в одном отчёте. Как клиент хостинга, вам нужно будет запросить логи вашего веб-сервера. И даже в этом случае я бы спросил: действительно ли они вам нужны?
Если вас беспокоят лимиты просмотров страниц, рекомендую обратиться в нашу службу поддержки, как упоминал Тобиас.
Если вы пытаетесь смягчить часть таких запросов, посмотрите материал по адресу Controlling Web Crawlers For a Site. Как отмечено там, плохо настроенные боты или краулеры, которые маскируются под ботов Google или Bing, не будут замедлены этим способом.
И наконец, если вы используете Google Analytics, мы опубликовали новое руководство чуть более недели назад по адресу How to investigate bot traffic using Google Analytics. Если вы его используете, мы будем очень признательны за любую обратную связь.
Кажется, ситуация начинает стабилизироваться, хотя показатели всё ещё значительно выше, чем раньше. Надеемся, что эта тенденция сохранится.
Мы пробовали замедлять работу краулера, когда нас атаковал Bing, но у нового трафика нет идентифицируемых пользовательских агентов. Кроме того, поскольку наше сообщество очень интернациональное, мы не можем блокировать доступ по географическому признаку.
Я не знал, что возможно внедрить Google Analytics. Если проблема станет реальной, нам, возможно, придётся рассмотреть этот вариант. Однако это потребует в первую очередь обдумать вопросы приватности сообщества.
Пока я буду следить, продолжится ли возврат к среднему значению.
добро пожаловать 
