The first reason was actually mainly just that I didn’t really know what features Discourse AI can do. I’ve seen some of it around Meta but didn’t really know otherwise.
But this is answered for me now with this page 
If I hadn’t seen that though, I wouldn’t know what it could do.
It might be the case for a lot of other people as well, but I don’t know.
Just the mere mention of “AI” turns off most people in our community, and polarizes the rest. For our case, paying money to big business bringing big data to the next level with crazy levels of energy consumption and global surveillance is… against all our values.
Open source and self-hosted could mitigate this but then again… The main features we would use it for is better search and better suggestions. And do we really need to rely on “AI” for that? Aren’t there improvements in content databases and search & suggest algorithms that work locally for the same cost and energy consumption, without becoming an active player of the big AI game?
I might use AI if it were solely used as built-in “proof reader” tool for example. Or maybe even translation tool
Nothing is stopping me from using Discourse AI; indeed, I rather think it is now one of the most fantastic parts of the entire application.
However, as I work as an educator and AI researcher/engineer, I would like to offer my humble perspective on this matter as I work closely with people outside of this proverbial “AI bubble.” In my experience, people are hesitant to use/implement AI for three main reasons:
In reality, all of these dilemmas can be mitigated with decent prompt engineering coupled with education on the subject so it isn’t a flaw on the part of Discourse whatsoever. Perhaps, however, if the company made an “AI for Dummies” crash course specific to the Discourse AI plugin, then perhaps the rate of adoption and comfort would both grow. AI has a lot of buzz now so many people want to use it even if they don’t know how or what for.
Nonetheless, my intuition tells me that this set of features will be driving Discourse’s popularity in the near future as it is simply ingenious and so finely integrated into the system. Truly nice work!
I find this quite a strange phrasing - and I note it not as a criticism, but because it echos the thread title: “What is stopping you from trying out Discourse AI?”
In both cases, it feels like there’s a presumption that AI is obviously a good and valuable thing, and somehow someone is not seeing that.
But I see it differently: today’s “AI” is a bubble of fascinating technologies, very appealing to people who like the newest things for their own sake, and possibly of value here and there - but in no way instrinically valuable in their own right.
The question has to be about what the benefits are - what will make things better, in this case better for forum members or perhaps forum admins.
Which brings me to
Or to put it another way, the sheer unreliability of today’s offerings. For all that they sometimes help, in summarising or suggesting, they all too often go wrong. An unreliable summary? An unreliable sentiment analysis? That can only make for a worse experience!
I have a little sympathy for someone who is employed to push AI, or employed to integrate it into a product - that’s the nature of employment, sometimes the roles are themselves misguided.
But I really don’t see the presumption that this is a great thing which will help all forums. Some forums, maybe. Tell us where the value is supposed to be, and include the costs of that value being delivered unreliably.
My point is that AI can improve very many things and in my experience some of my clients want to enhance their business or operations in some way but aren’t sure how to precisely do that. I do not at all think everyone should try to use AI, as that is merely falling into the current hype trap.
Definitely not inherently valuable, which I didn’t imply. As with most technologies, it can be overused and underdeliver, or just outright abused.
I’ve yet to experience this “sheer unreliability.” Perhaps it depends on what you’re trying to achieve? Very general and complex tasks still can lead to unreliable results, that’s true. Again, adequate know-how on prompt engineering and applications of this technology are a must in order to mitigate this — so my point remains.
I appreciate your sympathy, however, I don’t require it 
. I am self-employed, with no need to try to “push” AI for people who don’t need it, and it is indeed quite presumptuous of you to presume that someone or their work is misguided simply as a result of a mostly unfounded opinion of a topic that seems to be foreign to you based upon how to write about it.
I’ve developed AI systems which automatically detect and segment brain tumors and provide treatment risk analyses. I don’t think patients who benefit from such advancements would agree that such a role is “misguided.” Some of us research AI for the benefit of humanity and not just to make a quick buck.
Again, I didn’t presume that it would help all forums and I rather believe that it may be foolish for admins to adopt it “just because” without any domain knowledge and end-goal in mind.
Side note:
I do humbly encourage you be a bit less discriminatory and a bit more informed in your future responses on the matter of AI, or at least don’t take someone else’s responses out of context then accuse them of being misguided and try to offer your sympathies 
EDIT:
Forgot to add that Discourse adding more options for customizations (for example: the ability to properly prompt engineer the topic summarizer) would mitigate many risks. They’re already going this direction via personas and the ability to choose which models to use, etc.
Apologies, I’ve been stewing about this thread since it started, and happened to use your contribution as my stepping-off point. I mean nothing specific or personal in my observations.
For me, to use AI in discourse, as @Saif is interested to know, I would need to know the value proposition. At present my forum is working well, and the costs are under control. To add something, which has a monetary cost, I would need to know what the benefit is. It’s not that anything is stopping me from trying out AI.
Akismet을 비활성화했고, Discourse AI Spam과 Persona를 내부적으로 테스트하고 있습니다. 사용 중인 LLM은 Google Gemini Flash 2.0입니다.
질문은 이 시스템이 반복적인 상호작용과 인간 피드백을 통해 심층 학습을 하는지 여부입니다. 데이터 캐싱 옵션은 프로 버전에서만 허용되므로, 이 부분도 함께 확인하고 싶습니다.
이 시스템은 아무것도 학습하지 않습니다. 다만, 실수를 하는 것을 발견하셨다면 포럼에 특화된 사용자 지시를 제공할 수 있습니다.
페르소나의 멘션을 특정 토픽에 고정할 수 있는 방법이 있을까요?
이 문제가 다시 떠올랐으니:
저는 실제로 사용하고 있지만, 비용은 매서운 눈으로 주시하고 있습니다. 가장 큰 우려는 통제 불능의 토큰 사용량입니다. 적어도 평균 토큰 사용량이 어느 정도가 정상인지 직감을 가질 때까지는 그렇습니다. 비용 한도를 설정할 수 있는 기능은 좋지만, 커뮤니티의 일반적인 사용량이 어떤지 확실히 알게 될 때까지는 마음이 편하지 않습니다. 그리고 그것은 시간이 걸리는 일입니다.
사용자 신뢰 문제는 매우 큽니다. 제가 어떤 메시지를 준비하거나 사이트 관리자로 어떤 말을 하든, LLM이 사용자 생성 콘텐츠를 학습에 사용하고 있으며 Discourse 시스템의 모든 사용은 “허가” 없이 사용자 데이터를 "판매"하는 것이라는 불변의 인식이 존재합니다. 제 경험에 비추어 볼 때 이는 많은 댓글 작성자들 사이에서 체계적인 문제이며, 사람들이 AI 기업들이 “실제로” 하고 있는 것을 “알고” 있기 때문에 결코 사라지지 않습니다. 포럼에서 AI 기반 분류를 활성화하고 그렇게 한다고 말하는 것은, "내 데이터를 어떤 AI 테크브로 회사에 보내서 내 글로 돈을 벌게 해주는 데 동의하지 않습니다!"라는 항의가 쏟아지는 결과를 초래할 수 있습니다. 모든 사람이 이런 것에 대해 우려하는 것은 아니지만, 우려하는 사람들은 분노를 느끼면서도 동시에 토론에는 전혀 관심이 없습니다. 이에 대한 좋은 답을 가지고 있지 않습니다.
포럼의 스팸 감지 상태를 [여러 회사의 모델들이 그 시점에 어떻게 "기분"을 내고 있는지에 따라] (AI spam bot says it is not spam but scan log says it is spam - #5 by Roman) 맡기는 것에 대해 다소 불편함을 느낍니다. 솔직하게 말하자면: AI 스팸 감지, AI 분류 및 기타 모든 AI 기능은 기본적으로 "자, 이건 그냥 AI의 문제로 넘기자"라고 말하는 것과 같고, 프롬프트 엔지니어링을 통해 우리가 원하는 것을 어떻게 코딩화할지 시도하는 것입니다. 작동은 하지만, 이 과정은 *짜증나도록 비결정론적(non-deterministic)*입니다. 기본적으로는 지금처럼 작동하기를 바라는 수밖에 없습니다. 저는 이것이 싫습니다. 전혀 싫지 않습니다. 제 도구가 적절히 결정론적이기를 원합니다. LLM은 결정론적인 것의 정반대이며, 우리는 OpenAI 등이 우리에게 던져주는 것에 포럼 기능의 일부를 의존하고 있습니다.
그럼에도 불구하고, 저는 AI 안티스팸과 AI 포럼 분류를 모두 사용하고 있습니다. 도움이 됩니다. 하지만 이러한 솔루션은 지속적으로 모니터링되어야 한다는 사실을 인지하려고 노력합니다.
플러그인과 관련된 컴퓨트 비용은 누가 부담하나요?
토큰 생성은 무료가 아니며, 클라우드에서 GPU를 임대하는 비용은 가장 저렴한 플랜 기준으로 월 약 250달러입니다(Google Cloud의 NVIDIA T4).
이 플러그인의 비용이 월 250달러인가요?
대부분의 사용자가 주요 AI 서비스 제공업체 중 하나에서 유료 플랜을 사용한다고 생각합니다(지원되는 모델 목록은 문서의 여기에 있습니다).
불행히도 셀프 호스터를 위한 저렴한 옵션에 대해 제가 아는 바가 없습니다. 제가 아는 GPU 기반 서비스는 모두 언급하신 가격 범위에 속하며, 더 강력한 머신을 사용하더라도 CPU 기반 추론은 너무 느릴 것이라고 추측됩니다.
셀프 호스팅된 Discourse AI를 사용하면 API를 통해 다양한 상용 모델에 연결할 수 있습니다. Gemini Flash 2.0을 사용하여 AI 트리아지, AI 스팸 방지, 그리고 일부 AI 야간 요약 기능을 사용하면서 월 약 0.03달러의 비용을 지출하고 있습니다.
여기서 ‘셀프호스팅 AI’에 대한 이해가 서로 다른 것 같습니다. 제게는 로컬에서 실행되는 모델/서비스에 연결하는 것을 의미합니다. 말씀하신 방식도 가능하지만, 실질적으로 로컬 부분은 프록시에 불과하며 데이터가 서버를 벗어나 API 제공업체로 전송됩니다. 많은 분들에게는 괜찮을 수 있지만, 저나 저희 커뮤니티에게는 그런 옵션이 아닙니다.
죄송합니다. 제가 언급한 것은 자체 호스팅 Discourse였습니다. 제 실수였습니다.