Eu estava olhando nosso fórum no ahrefs, que relata sobre “Citações de IA” e vi isto:
Verifiquei minhas configurações e encontrei isto:
Alguém aqui tem experiência com isso? Limitar os bots significa que eles não indexam o fórum? Alguém removeu a limitação que pode falar sobre o impacto nos recursos e nas citações de IA? Obrigado.
Não, isso não significa. A limitação para por aí, dependendo de como foi feita, porque o robots.txt é inofensivo, os bots podem agir como mini ataques DDOS.
Existem três motivos pelos quais você não recebe nenhuma citação de IA:
Ahrefs é uma daquelas empresas cujo bot deveria ser banido em primeiro lugar. Esse é um dos muitos motivos pelos quais a suposição “Ahrefs está errado” é uma dessas três.
E, até onde sei, eles são bloqueados por padrão no Discourse:
Então sim, o relatório da ahrefs provavelmente não é confiável.
Por que eles optam por não lhe dizer que não conseguiram obter nenhum dado, mas em vez disso relatam erroneamente “0”… agora essa é uma pergunta para eles.
Você pode desbloquear o bot deles, mas esteja preparado para mini-ddos ocasionais, aumento de pageviews e carga no servidor.
O bot do ahrefs não precisa ser capaz de indexar nosso fórum para que isso funcione, pois ele está apenas relatando o que vê no Google.
Seria muito incomum se esse fosse o caso, já que nosso fórum recebe alguns milhões de acessos por ano… o que me faz pensar sobre o bloqueio ativo de bots de IA. Ou talvez a estrutura seja tecnicamente hostil aos scrapers de IA, como a renderização de JS, etc.
Você consegue fazer com que os bots citem seus fóruns?
Se sim, o problema é o ahrefs. Essa continua sendo minha suposição, o recurso de Citações de IA é relativamente novo e pode ainda não funcionar.
Se você não conseguir, algo mais pode estar errado. Nesse caso, experimente alguns outros fóruns do Discourse. Se eles aparecerem, o problema não é o framework, mas algo específico do seu site.
Para que valha a pena, eis o que o ChatGPT me dá para uma consulta de exemplo sobre a Meta:
Não, não é. E isso não é muito. Eu tive 3,5 milhões por ano, se seus acessos significam acessos de pesquisa do Google. Se significam visitas de usuários, também não é muito. Se significam visitas de bots, é até baixo. Além disso, acessos não significam que qualquer IA diria que seu fórum é definitivamente usado como fonte citada. Depende do tipo de conteúdo que você tem lá.
Mas, ainda assim, não há nada que você possa perguntar aqui. Somente a Ahrefs sabe como eles contam suas métricas.
Além disso, a Ahrefs não vê através do Google quantas vezes uma IA citou.
Então você está dizendo que 3,5 milhões também não é “muito” ou o número se torna significativo em algum lugar entre 2 e 3,5 milhões? Lol.
Visitantes únicos do Google, aliás… e nosso outro site com muito menos visitantes está em toda parte nas Respostas de IA… e o ahrefs está relatando isso (quem sabe com que precisão)… é apenas estranho ter um site maior com 0 para todas as citações quando tenho um menor com muito mais…
De qualquer forma, adoraria ouvir de qualquer webmaster do Discourse que tenha conhecimento direto sobre este tópico. Mais alguém está usando o ahrefs e vendo valores diferentes de zero para citações de IA para seus fóruns?? Obrigado.
Ou devo dizer que foi um erro de cálculo muito estúpido 
Mas minha defesa é que estava de noite aqui quando fiz esse cálculo.
Desculpe.
Eu recebo 10.000 por mês, e isso não é muita coisa — mas é significativamente menos por ano do que 3,5 milhões, de fato.
Possivelmente relevante:
https://www.gsqi.com/marketing-blog/ai-search-javascript-rendering/
Isso provavelmente não será um problema para os fóruns do Discourse, pois ele renderizará uma visualização de rastreador para quaisquer rastreadores que usem um user-agent semelhante a um bot.
Se eles forem permitidos, é claro.
