I was looking at our forum in ahrefs which reports on “AI Citations” and saw this:
I checked in my settings and found this:
Does anyone in here have experience with this? Does throttling the bots mean they don’t index the forum at all? Has anyone removed throttling that can speak to the impact on resources and AI citations? Thanks.
Nee, dat betekent het niet. Het stoppen van throttling hangt af van hoe het is gedaan, omdat robots.txt tandeloos is, bots fungeren als mini DDOS-aanvallen.
Er zijn drie redenen waarom je geen AI-citaten krijgt:
Ahrefs is een van die bedrijven waarvan de bot in de eerste plaats verbannen zou moeten worden. Dat is een van de vele redenen waarom de aanname “Ahrefs heeft het mis” een van die drie is.
And as far as I know, they are blocked by default in Discourse:
So yeah, the ahrefs report is probably unreliable.
Why they choose not to tell you that they weren’t able to get any data, but instead erronously report “0”.. now that’s a question for them.
You can unblock their bot, but be prepared for the occasional mini-ddos, increased pageviews and server load.
De ahrefs bot hoeft ons forum niet te kunnen indexeren, aangezien deze alleen rapporteert over wat het op Google ziet.
Het zou erg ongebruikelijk zijn als dat het geval was, aangezien ons forum een paar miljoen hits per jaar krijgt… daarom vraag ik me af of er actief AI-bots worden geblokkeerd. Of misschien is het framework anders technisch onvriendelijk voor de AI-scrapers, zoals bijvoorbeeld de js-rendering enzovoort.
Can you get the bots to actually cite your forums?
If so, the problem is ahrefs. This remains my guess, the AI Citations feature is fairly new and might not work yet.
If you cannot, something else might be amiss. In that case, try a few other Discourse forums. If they do show up, then the problem isn’t the framework, but something specific to your site.
For what it’s worth, here’s what ChatGPT gives me for an example query about Meta:
No it isn’t. And that isn’t that many. I got 3,5 million a year, if your hits means search hits from Google. If it means user visits, it isn’t that much either. If it means bot visits, it is even low. Plus hits doensn’t mean any of AI would tell your forum is defenetly used as a cited source. It depends what type content you have there.
But yet, it isn’t such thing what you can ask here. Only Ahrefs knows how they are counting theirs metric.
Plus Ahrefs doesn’t see via Google how many times an AI has cited
So you saying 3.5M is also not “that many” or does the number become significant somewhere between 2 and 3.5 million? Lol.
Unique visitors from google btw.. and our other site with far fewer visitors is all over AI Answers… and ahrefs is reporting it (who knows how accurately)… it’s just weird to have a bigger site with 0 for all citations when I have a smaller one with a lot more…
Anyway, I’d love to hear from any Discourse webmasters who have any direct knowledge of this topic. Is anyone else using ahrefs and seeing non-zeroes for AI citations for your forum(s)?? Thank you.
Or should I say it was very dumb counting error 
But my defense is that it was night here when I calculated that.
Sorry.
I get 10 000 per month, and that isn’t that much — but it is significant less per year that 3,5 million in deed.
Possibly relevant:
Dit zal waarschijnlijk geen probleem zijn voor Discourse-forums, omdat het een crawlerweergave zal weergeven voor alle crawlers die een bot-achtige user-agent gebruiken.
Als ze zijn toegestaan, natuurlijk.
