J’ai consulté notre forum sur Ahrefs qui traite des « citations IA » et j’ai vu ceci :
J’ai vérifié mes paramètres et j’ai trouvé ceci :
Quelqu’un ici a-t-il de l’expérience avec cela ? Limiter les bots signifie-t-il qu’ils n’indexent pas du tout le forum ? Quelqu’un a-t-il supprimé la limitation et peut parler de l’impact sur les ressources et les citations IA ? Merci.
Non, cela ne signifie pas que le ralentissement s’arrête, selon la manière dont il a été effectué, car le robots.txt est inefficace, les bots peuvent agir comme des mini-attaques DDOS.
Il y a trois raisons pour lesquelles vous n’obtenez aucune citation IA :
Ahrefs est l’une de ces entreprises dont le bot devrait être banni en premier lieu. C’est l’une des raisons, parmi d’autres, pour lesquelles l’hypothèse “Ahrefs se trompe” est l’une de ces trois.
Et pour autant que je sache, ils sont bloqués par défaut dans Discourse :
Donc oui, le rapport ahrefs n’est probablement pas fiable.
Pourquoi ils choisissent de ne pas vous dire qu’ils n’ont pas pu obtenir de données, mais signalent plutôt à tort « 0 »… voilà une question pour eux.
Vous pouvez débloquer leur bot, mais soyez prêt à subir des mini-ddos occasionnels, une augmentation du nombre de pages vues et de la charge serveur.
Le bot ahrefs n’a pas besoin de pouvoir indexer notre forum pour que cela fonctionne, car il ne fait que rapporter ce qu’il voit sur Google.
Il serait très inhabituel que ce soit le cas, car notre forum reçoit quelques millions de visites par an… c’est pourquoi je me pose des questions sur le blocage actif des bots IA. Ou peut-être que le framework est techniquement inhospitalier pour les scrapers IA, comme le rendu js, etc.
Pouvez-vous faire en sorte que les robots citent réellement vos forums ?
Si oui, le problème vient d’ahrefs. C’est toujours ma supposition, la fonctionnalité AI Citations est assez nouvelle et pourrait ne pas fonctionner encore.
Si vous ne pouvez pas, quelque chose d’autre pourrait clocher. Dans ce cas, essayez quelques autres forums Discourse. S’ils apparaissent, alors le problème ne vient pas du framework, mais de quelque chose de spécifique à votre site.
Pour ce que ça vaut, voici ce que ChatGPT me donne pour une requête d’exemple sur Meta :
Non, ce n’est pas le cas. Et ce n’est pas tant que ça. J’ai eu 3,5 millions par an, si vos visites signifient des visites de recherche provenant de Google. Si cela signifie des visites d’utilisateurs, ce n’est pas non plus beaucoup. Si cela signifie des visites de bots, c’est encore peu. De plus, les visites ne signifient pas qu’une IA indiquerait que votre forum est définitivement utilisé comme source citée. Cela dépend du type de contenu que vous y avez.
Mais bon, ce n’est pas quelque chose que vous pouvez demander ici. Seul Ahrefs sait comment ils comptent leurs métriques.
De plus, Ahrefs ne voit pas via Google combien de fois une IA a cité.
Alors vous dites que 3,5 millions, ce n’est pas « beaucoup non plus », ou le nombre devient-il significatif quelque part entre 2 et 3,5 millions ? Lol.
Visiteurs uniques de Google, d’ailleurs… et notre autre site avec beaucoup moins de visiteurs est partout dans les Réponses IA… et ahrefs le signale (qui sait avec quelle précision)… c’est juste bizarre d’avoir un site plus grand avec 0 pour toutes les citations alors que j’en ai un plus petit avec beaucoup plus…
Quoi qu’il en soit, j’aimerais avoir des nouvelles de tout webmaster de Discourse qui a une connaissance directe de ce sujet. Est-ce que quelqu’un d’autre utilise ahrefs et voit des non-zéros pour les citations IA pour votre/vos forum(s) ?? Merci.
Ou devrais-je dire que c’était une erreur de calcul très stupide 
Mais ma défense est qu’il faisait nuit ici quand j’ai calculé cela.
Désolé.
J’obtiens 10 000 par mois, et ce n’est pas énorme — mais c’est significativement moins par an que 3,5 millions en effet.
Possiblement pertinent :
https://www.gsqi.com/marketing-blog/ai-search-javascript-rendering/
Ce ne sera probablement pas un problème pour les forums Discourse car il affichera une vue d’exploration pour tous les robots d’exploration utilisant un user-agent de type bot.
S’ils sont autorisés, bien sûr.
