I was looking at our forum in ahrefs which reports on “AI Citations” and saw this:
I checked in my settings and found this:
Does anyone in here have experience with this? Does throttling the bots mean they don’t index the forum at all? Has anyone removed throttling that can speak to the impact on resources and AI citations? Thanks.
לא, זה לא אומר. ההאטה נפסקת, תלוי איך היא נעשתה, מכיוון ש-robots.txt חסר שיניים, בוטים יכולים לפעול כהתקפות DDOS מיני.\n\nישנן שלוש סיבות לכך שלא מקבלים ציטוטים של AI:\n* אותו מידע נמצא במקומות פופולריים יותר\n* אף אחד לא שאל משהו שהיה מוביל לציטוט לכתובת ה-URL של הפורום שלך\n* Ahrefs טועה\n\nAhrefs היא אחת מאותן חברות שהבוט שלה צריך להיחסם מלכתחילה. זו סיבה אחת מני רבות לכך שההנחה “Ahrefs טועה” היא אחת משלוש אלו.
And as far as I know, they are blocked by default in Discourse:
So yeah, the ahrefs report is probably unreliable.
Why they choose not to tell you that they weren’t able to get any data, but instead erronously report “0”.. now that’s a question for them.
You can unblock their bot, but be prepared for the occasional mini-ddos, increased pageviews and server load.
בוט ahrefs אינו צריך להיות מסוגל לאנדקס את הפורום שלנו כדי שזה יעבוד מכיוון שהוא מדווח רק על מה שהוא רואה בגוגל.
יהיה זה מאוד יוצא דופן אם זה היה המצב מכיוון שהפורום שלנו מקבל כמה מיליוני כניסות בשנה… זו הסיבה שאני תוהה לגבי חסימת בוטים פעילים של AI. או שאולי המסגרת טכנית אינה ידידותית לסורקי AI, כמו למשל רינדור ה-js וכו’.
Can you get the bots to actually cite your forums?
If so, the problem is ahrefs. This remains my guess, the AI Citations feature is fairly new and might not work yet.
If you cannot, something else might be amiss. In that case, try a few other Discourse forums. If they do show up, then the problem isn’t the framework, but something specific to your site.
For what it’s worth, here’s what ChatGPT gives me for an example query about Meta:
No it isn’t. And that isn’t that many. I got 3,5 million a year, if your hits means search hits from Google. If it means user visits, it isn’t that much either. If it means bot visits, it is even low. Plus hits doensn’t mean any of AI would tell your forum is defenetly used as a cited source. It depends what type content you have there.
But yet, it isn’t such thing what you can ask here. Only Ahrefs knows how they are counting theirs metric.
Plus Ahrefs doesn’t see via Google how many times an AI has cited
So you saying 3.5M is also not “that many” or does the number become significant somewhere between 2 and 3.5 million? Lol.
Unique visitors from google btw.. and our other site with far fewer visitors is all over AI Answers… and ahrefs is reporting it (who knows how accurately)… it’s just weird to have a bigger site with 0 for all citations when I have a smaller one with a lot more…
Anyway, I’d love to hear from any Discourse webmasters who have any direct knowledge of this topic. Is anyone else using ahrefs and seeing non-zeroes for AI citations for your forum(s)?? Thank you.
Or should I say it was very dumb counting error 
But my defense is that it was night here when I calculated that.
Sorry.
I get 10 000 per month, and that isn’t that much — but it is significant less per year that 3,5 million in deed.
Possibly relevant:
זה לא צפוי להיות בעיה עבור פורומים של Discourse מכיוון שהוא יציג תצוגת זחלן עבור כל זחלן המשתמש בסוכן משתמש דמוי בוט.
אם הם מורשים, כמובן.
