A primeira razão foi, na verdade, principalmente que eu não sabia realmente quais recursos o Discourse AI pode fazer. Eu vi alguns deles no Meta, mas realmente não sabia de outra forma.
Mas isso agora está respondido para mim com esta página 
Se eu não tivesse visto isso, no entanto, eu não saberia o que ele poderia fazer.
Pode ser o caso para muitas outras pessoas também, mas eu não sei.
A mera menção de “IA” afasta a maioria das pessoas em nossa comunidade e polariza o restante. Para o nosso caso, pagar dinheiro para grandes empresas que levam big data para o próximo nível com níveis absurdos de consumo de energia e vigilância global é… contra todos os nossos valores.
Código aberto e auto-hospedado poderiam mitigar isso, mas, novamente… As principais funcionalidades que usaríamos seriam melhor busca e melhores sugestões. E realmente precisamos depender de “IA” para isso? Não há melhorias em bancos de dados de conteúdo e algoritmos de busca e sugestão que funcionam localmente pelo mesmo custo e consumo de energia, sem nos tornarmos um jogador ativo do grande jogo da IA?
Eu poderia usar IA se fosse usada exclusivamente como uma ferramenta de “revisor” integrada, por exemplo. Ou talvez até mesmo como uma ferramenta de tradução.
Nada me impede de usar o Discourse AI; na verdade, acho que é agora uma das partes mais fantásticas de toda a aplicação.
No entanto, como trabalho como educador e pesquisador/engenheiro de IA, gostaria de oferecer minha humilde perspectiva sobre este assunto, pois trabalho em estreita colaboração com pessoas fora desta proverbial “bolha de IA”. Na minha experiência, as pessoas hesitam em usar/implementar IA por três razões principais:
Na realidade, todos esses dilemas podem ser mitigados com engenharia de prompt decente, juntamente com educação sobre o assunto, de modo que não seja uma falha por parte do Discourse, de forma alguma. Talvez, no entanto, se a empresa criasse um curso intensivo “IA para Leigos” específico para o plugin Discourse AI, então talvez a taxa de adoção e o conforto crescessem. A IA tem muito burburinho agora, então muitas pessoas querem usá-la, mesmo que não saibam como ou para quê.
Não obstante, minha intuição me diz que este conjunto de recursos impulsionará a popularidade do Discourse no futuro próximo, pois é simplesmente engenhoso e tão finamente integrado ao sistema. Trabalho verdadeiramente bom!
Acho essa formulação bastante estranha - e observo isso não como uma crítica, mas porque ecoa o título do tópico: “O que está impedindo você de experimentar o Discourse AI?”
Em ambos os casos, parece haver uma presunção de que a IA é obviamente uma coisa boa e valiosa, e de alguma forma alguém não está vendo isso.
Mas eu vejo de forma diferente: a “IA” de hoje é uma bolha de tecnologias fascinantes, muito atraentes para pessoas que gostam das novidades por si mesmas, e possivelmente de valor aqui e ali - mas de forma alguma intrinsecamente valiosas por si só.
A questão tem que ser sobre quais são os benefícios - o que tornará as coisas melhores, neste caso, melhores para os membros do fórum ou talvez para os administradores do fórum.
O que me leva a
Ou, em outras palavras, a pura falta de confiabilidade das ofertas de hoje. Apesar de às vezes ajudarem, em resumir ou sugerir, elas muito frequentemente erram. Um resumo não confiável? Uma análise de sentimento não confiável? Isso só pode levar a uma experiência pior!
Tenho um pouco de simpatia por alguém que é empregado para promover a IA, ou empregado para integrá-la a um produto - essa é a natureza do emprego, às vezes os papéis são em si equivocados.
Mas eu realmente não vejo a presunção de que esta é uma grande coisa que ajudará todos os fóruns. Alguns fóruns, talvez. Diga-nos onde o valor deveria estar, e inclua os custos de entrega desse valor de forma não confiável.
Meu ponto é que a IA pode melhorar muitas coisas e, na minha experiência, alguns de meus clientes querem aprimorar seus negócios ou operações de alguma forma, mas não têm certeza de como fazer isso precisamente. Eu não acho que todos devam tentar usar IA, pois isso é apenas cair na armadilha da moda atual.
Definitivamente não é inerentemente valioso, o que eu não insinuei. Como a maioria das tecnologias, pode ser usada em excesso e entregar menos do que o esperado, ou simplesmente ser abusada.
Ainda não experimentei essa “pura falta de confiabilidade”. Talvez dependa do que você está tentando alcançar? Tarefas muito gerais e complexas ainda podem levar a resultados não confiáveis, isso é verdade. Novamente, conhecimento adequado sobre engenharia de prompts e aplicações desta tecnologia são um requisito para mitigar isso — então meu ponto permanece.
Agradeço sua simpatia, no entanto, não a necessito 
. Sou autônomo, sem necessidade de tentar “promover” a IA para pessoas que não precisam dela, e é realmente bastante presunçoso de sua parte presumir que alguém ou seu trabalho está equivocado simplesmente como resultado de uma opinião em grande parte infundada sobre um tópico que parece ser estranho a você, com base em como você escreve sobre isso.
Desenvolvi sistemas de IA que detectam e segmentam automaticamente tumores cerebrais e fornecem análises de risco de tratamento. Não acho que os pacientes que se beneficiam de tais avanços concordariam que tal papel é “equivocado”. Alguns de nós pesquisam IA para o benefício da humanidade e não apenas para ganhar dinheiro rápido.
Novamente, eu não presumi que ajudaria todos os fóruns e, na verdade, acredito que pode ser tolo para os administradores adotá-la “apenas porque” sem nenhum conhecimento de domínio e objetivo final em mente.
Nota lateral:
Eu encorajo humildemente que você seja um pouco menos discriminatório e um pouco mais informado em suas futuras respostas sobre o assunto de IA, ou pelo menos não tire as respostas de outra pessoa de contexto, então acuse-os de estarem equivocados e tente oferecer suas simpatias 
EDITAR:
Esqueci de adicionar que o Discourse adicionando mais opções de personalização (por exemplo, a capacidade de fazer engenharia de prompt adequada do sumarizador de tópicos) mitigaria muitos riscos. Eles já estão indo nessa direção por meio de personas e da capacidade de escolher quais modelos usar, etc.
Desculpe, tenho ruminado sobre este tópico desde que começou e usei sua contribuição como ponto de partida. Não quero dizer nada específico ou pessoal em minhas observações.
Para mim, usar IA em um discurso, como @Saif está interessado em saber, eu precisaria conhecer a proposta de valor. Atualmente, meu fórum está funcionando bem e os custos estão sob controle. Para adicionar algo que tenha um custo monetário, eu precisaria saber qual é o benefício. Não é que nada me impeça de experimentar a IA.
Desativei o Akismet e estou testando o Discourse AI Spam e Persona internamente, meu LLM é o Google Gemini Flash 2.0
Minha pergunta é: ele aprenderá com interações e aprendizado profundo com feedback humano? porque a opção de cache de dados só é permitida na versão pro.
Ele não aprenderá nada, mas você pode fornecer instruções personalizadas específicas para o seu fórum se notar que ele está cometendo erros.
Alguma chance de fixar a menção de uma persona a um tópico específico?
Como isso surgiu novamente:
Estou usando, mas estou vigiando os custos como um falcão. Minha maior preocupação é o uso descontrolado de tokens, pelo menos até que eu possa executar as coisas por tempo suficiente para ter uma noção de qual deveria ser meu uso médio de tokens. A capacidade de definir limites de custo é boa, mas não me sentirei pessoalmente confortável até que eu saiba qual é o uso normal da comunidade, e isso leva tempo.
Questões de confiança do usuário são enormes. Não importa qual mensagem eu prepare ou o que eu diga como administrador do site — há uma percepção inabalável de que LLMs usam conteúdo gerado pelo usuário para treinamento e que qualquer uso pelo sistema Discourse significa “vender” dados do usuário sem “permissão”. Este é um problema que, na minha experiência, é sistêmico entre muitos comentaristas e é impossível de abalar, porque as pessoas “sabem” o que as empresas de IA estão “realmente fazendo”. Habilitar a triagem baseada em IA em um fórum e dizer que você está fazendo isso significa potencialmente enfrentar um dilúvio de reclamações do tipo “EU NÃO CONSINTO QUE VOCÊ ENVIE MEUS DADOS PARA ALGUMA EMPRESA DE TECNOLOGIA DE IA PARA QUE ELES GANHEM DINHEIRO COM MINHAS PALAVRAS!”. Nem todo mundo se preocupa com esse tipo de coisa, mas as pessoas que se preocupam estão furiosas e, ao mesmo tempo, totalmente desinteressadas em discussão. Não tenho uma boa resposta aqui.
Sinto-me um tanto desconfortável em colocar o estado da detecção de spam do meu fórum em como uma dúzia de empresas diferentes se sentem em qualquer momento específico. Vamos ser honestos aqui: detecção de spam por IA, triagem por IA e todos os outros recursos de IA são basicamente nós dizendo “Ei, vamos apenas tornar isso um problema da IA” e, em seguida, tentando codificar o que queremos que ela faça por meio de engenharia de prompt. Funciona, mas o processo é irritantemente não determinístico. Você basicamente tem que torcer para que as coisas continuem funcionando como estão funcionando. Eu não gosto disso. Eu não gosto disso nem um pouco, e isso me causa ansiedade. Gosto que minhas ferramentas sejam adequadamente determinísticas. LLMs são o oposto polar de determinísticos, e estamos confiando parte da funcionalidade do fórum em qualquer coisa que a OpenAI et al decidam nos enviar.
Dito isso, estou usando tanto o antispam de IA quanto a triagem de fórum de IA. É útil. Mas tento permanecer ciente do fato de que essas soluções devem ser continuamente monitoradas quanto à eficácia.
Quem paga pelos custos de computação associados ao plugin?
A geração de tokens não é gratuita e o aluguel de uma GPU na nuvem custa cerca de US$ 250/mês pelo plano mais barato (NVIDIA T4 do Google Cloud).
Este plugin custa US$ 250 por mês?
Acho que a maioria das pessoas está usando um plano pago com um dos maiores provedores de serviços de IA (há uma lista de modelos suportados aqui na documentação).
Infelizmente, não estou ciente de nenhuma opção acessível para auto-hospedeiros - tudo o que conheço baseado em GPU está na faixa de preço que você mencionou, e suspeito que a inferência baseada em CPU será muito lenta, mesmo em máquinas mais potentes.
O Discourse AI auto-hospedado permite que você se conecte a diferentes modelos comerciais via API. Estou descobrindo que meus gastos com triagem de IA, mais anti-spam de IA, mais alguns resumos noturnos de IA são de cerca de US$ 0,03/mês com o Gemini Flash 2.0.
Eu acho que temos um entendimento diferente de “IA auto-hospedada” aqui. Para mim, isso implica conectar-se a um modelo/serviço que é executado localmente. O que você descreve é possível, mas efetivamente a parte local é apenas um proxy, e os dados sairão do seu servidor/serão transferidos para o provedor da API. Para muitas pessoas, isso estará bom, mas para mim/nossa comunidade, isso não é uma opção.
Desculpe, eu estava me referindo ao Discourse auto-hospedado. Meu erro.