У меня было два случая резких скачков — 8 и 18 января — оба раза от Yandex, российского веб-краулера. В оба раза попытки сканирования увеличились более чем вдвое. Самый активный сканер за всё время — PetalBot от PetalSearch.com. У них количество сканирований было в 4–6 раз больше, чем у Yandex и других ботов.
1 лайк
1 лайк
Кажется, они считают, что они легитимны, но это явно не так.
1 лайк
Иногда эти запросы исходят от легитимных ботов. Иногда — от чего-то другого. IP-адреса довольно часто раскрывают правду.
В любом случае — они абсолютно бесполезны и по сути просто воруют контент, ничего не отдавая взамен. Единственный способ остановить их — использовать обратный прокси. Но, насколько мне известно, ситуация с Discourse хорошая, потому что они не создают такой большой нагрузки. В мире WordPress такая ситуация могла бы или даже могла бы привести к падению сайта.
2 лайка
Спасибо, что подтвердили мою точку зрения!
1 лайк
Как вы это видите?
1 лайк
Похоже, это один из стандартных отчётов. Вы должны найти свой в разделе /admin/reports/web_crawlers 
3 лайка
Резюме на основе ИИ:
Обсуждение касается резких скачков просмотров страниц, вызванных ботами веб-сканеров на сайтах Discourse. Среди ботов, которые были идентифицированы как причина значительных всплесков просмотров, выделяются:
- Бот MegaIndex: совершил около 4000 просмотров страниц за один день
- Бот MJ12bot: совершил более 5000 просмотров страниц за один день
- Бот Seekport: вызывал всплески просмотров на нескольких occasions
- Бот Yandex: вызывал удвоение просмотров страниц более чем в два раза в двух случаях
- Бот PetalBot от PetalSearch.com: совершал в 4–6 раз больше сканирований страниц, чем другие боты
- Бот DataForSEO: вызвал всплеск более чем 15 000 просмотров страниц за один день
Такие всплески иногда могут приводить к проблемам с производительностью. Способы ограничения трафика ботов включают использование файла robots.txt, хотя не все боты его уважают. Другие варианты — блокировка на уровне сервера и использование обратного прокси-сервера. Ботов рассматривают как «ворующих контент» без предоставления какой-либо пользы.
1 лайк
Ты опубликовал и сгенерированный ИИ краткий итог здесь в ответ на мою просьбу, но теперь его нет.
Ты его удалил?
Ах да, я сделал, потому что ваш первоначальный запрос тоже был удалён 
Теперь восстановил.
Спасибо.
Я обычно удаляю ответы, которые со временем теряют ценность для понимания темы, но не оставляют в ней пробелов. Поскольку это был простой запрос, а вы создали резюме, нет необходимости, чтобы другие пользователи читали сам запрос каждый раз при посещении этой темы.
Это привычка, которую я перенял с сайтов StackExchange, где я оставлял комментарии, а позже удалял их. Также есть другие более полезные комментарии, которые я создавал для себя и других, но которые не имеют прямого отношения к теме и начинаются с фразы Of interest (Для сведения). У меня, вероятно, есть несколько сотен таких комментариев на сайтах StackExchange. Мне очень хотелось бы иметь такую возможность и в Discourse, но это предложение так и не набрало популярности.
1 лайк
При проверке посещений нашего сайта показатели просмотров страниц оказались крайне необычными. Если посмотреть на общий обзор
то избыточный трафик начался 23.10.2023, и, по моему предположению, это был один анонимный пользователь.
Проверка
показывает, что рост перешёл к нескольким ботам, которые мне сразу не были знакомы:
- fidget-spinner-bot
- my-tiny-bot
- thesis-research-bot
Просто передаю эту информацию, возможно, она будет вам полезна.
2 лайка
У меня тоже самое
3 лайка
Кажется, мы уже сталкивались с подобными случаями несколько раз. Похоже, это краулер, который не сообщает о своём статусе, из-за чего его посещений засчитываются как «анонимные».
1 лайк
(Редактирование автором — этот пост изначально был новой темой, которая затем была объединена здесь, что вполне нормально. Изначально назывался «Любопытство: значительное сокращение посещений краулером с начала ноября (2023)»)
На моей стороне на данный момент ничего не изменилось:
Кто-нибудь ещё наблюдает что-то подобное?
Между Anon и Crawler нет значительного обмена данными, поэтому это не связано с изменением категоризации.
3 лайка
Да
Посмотрите эту тему и, в частности, этот пост
Поскольку вы опубликовали отчёт Consolidated Pageviews (Объединённые просмотры страниц), я предполагаю, что у вас есть права администратора.
/admin/reports/consolidated_page_views
Также используйте
/admin/reports/web_crawlers
чтобы определить, какой веб-краулер генерирует эти просмотры страниц.
Как некоторые из нас обнаружили, эти боты появились недавно и являются причиной высоких показателей:
- fidget-spinner-bot
- my-tiny-bot
- thesis-research-bot
1 лайк
Ах да, я видел ту тему, которая касалась роста. Но действительно, все три указанных бота были ответственны за высокие цифры — после 8-го они все исчезли, и мы вернулись к какому-то базовому уровню. Это объясняет снижение.
(Модераторы: можно прикрепить эту тему внизу той.) (Редактирование: спасибо, модераторы!)
3 лайка