Я посмотрел наш форум в Ahrefs, который отслеживает «AI-цитирования», и увидел следующее:
Я проверил свои настройки и обнаружил вот это:
Есть ли у кого-нибудь здесь опыт работы с этим? Означает ли ограничение ботов, что форум вообще не индексируется? Кто-нибудь отключал ограничение и может рассказать о влиянии на ресурсы и AI-цитирования? Спасибо.
Нет, это не означает. Ограничение скорости прекращается, в зависимости от того, как оно было реализовано, поскольку robots.txt бессилен, а боты действуют как мини-DDoS-атаки.
Вот три причины, по которым вы не получаете никаких цитат от ИИ:
Ahrefs — одна из тех компаний, чей бот должен быть заблокирован в первую очередь. Это одна из многих причин, почему предположение «Ahrefs ошибается» является одним из этих трех пунктов.
Насколько мне известно, они заблокированы по умолчанию в Discourse:
Так что да, отчёт ahrefs, скорее всего, ненадёжен.
Почему они предпочитают не сообщать вам, что не смогли получить данные, а вместо этого ошибочно указывают «0»… вот это уже вопрос к ним.
Вы можете разблокировать их бота, но будьте готовы к периодическим мини-DDoS-атакам, увеличению числа просмотров страниц и нагрузке на сервер.
Бот ahrefs не должен индексировать наш форум для корректной работы, так как он лишь сообщает о том, что видит в Google.
Было бы очень необычно, если бы это было так, ведь наш форум получает несколько миллионов посещений в год… именно поэтому я задаюсь вопросом о блокировке активных AI-ботов. Или, возможно, фреймворк технически несовместим с AI-скраперами, например, из-за рендеринга JS и т.д.
Можете ли вы заставить ботов фактически ссылаться на ваши форумы?
Если да, то проблема в Ahrefs. Это всё ещё моё предположение: функция «AI Citations» довольно новая и, возможно, ещё не работает.
Если нет, значит, что-то другое не так. В этом случае попробуйте несколько других форумов на движке Discourse. Если они отображаются, то проблема не в самом фреймворке, а в чём-то специфичном для вашего сайта.
Кстати, вот что выдал мне ChatGPT в ответ на примерный запрос о Meta:
Нет, это не так. И это не так уж много. У меня 3,5 миллиона в год, если под «поисковыми запросами» вы имеете в виду переходы из Google. Если речь о посещениях пользователями, это тоже не так уж много. Если же речь о ботах, то это ещё меньше. Кроме того, количество переходов не означает, что ИИ обязательно будет ссылаться на ваш форум как на источник. Всё зависит от типа контента, который там размещён.
Кроме того, это не тот вопрос, который можно задать здесь. Только Ahrefs знает, как они считают свои метрики.
К тому же Ahrefs не видит через Google, сколько раз ИИ сослался на что-либо.
То есть вы утверждаете, что 3,5 млн тоже «не так уж много», или число становится значимым где-то между 2 и 3,5 миллиона? Лол.
Кстати, это уникальные посетители из Google… и наш другой сайт с гораздо меньшим трафиком повсюду в AI Answers… и Ahrefs это показывает (кто знает, насколько точно)… просто странно, что у более крупного сайта 0 по всем цитатам, а у меньшего — гораздо больше…
В любом случае, я с радостью выслушаю вебмастеров Discourse, которые обладают прямыми знаниями по этой теме. Кто-то ещё использует Ahrefs и видит ненулевые значения цитат от ИИ для своего форума(ов)?? Спасибо.
Или мне стоит сказать, что это была очень глупая ошибка в подсчётах 
Но в своё оправдание скажу, что когда я это считал, у меня уже была ночь.
Извините.
Я получаю 10 000 в месяц, и это не так уж много — но это всё же значительно меньше за год, чем 3,5 миллиона.
Возможно, это имеет отношение к делу:
https://www.gsqi.com/marketing-blog/ai-search-javascript-rendering/
Это вряд ли станет проблемой для форумов Discourse, так как для любых поисковых роботов, использующих пользовательский агент в стиле бота, будет отображаться версия для краулеров.
Если, конечно, они разрешены.
