Acabei de ter uma conversão bizarra com a IA de suporte. Ela me deu um conselho ruim duas vezes e depois negou completamente ter dito o que acabou de dizer. Mesmo quando colei capturas de tela e cópias do texto, ela continuou negando e me acusou de estar mentindo para ela. Ou a IA está ficando louca, ou sou eu 
De qualquer forma, ela definitivamente está apresentando falhas de várias maneiras, então achei que valia a pena mencionar isso aqui.
Caso você saiba qual modelo estava sendo usado, junto com quaisquer configurações relevantes, como o nível de raciocínio, essas informações poderiam ser úteis. Modelos diferentes e configurações de raciocínio podem se comportar de maneira distinta, então esses detalhes podem ajudar a identificar o que aconteceu.
Observação:
Sou um frequentador regular do fórum Discourse da OpenAI, então estou bastante acostumado a ver relatórios envolvendo respostas contraditórias da IA, perda ou má interpretação do contexto da conversa e casos em que um modelo nega incorretamente algo que disse anteriormente.
Pelo que observei lá, relatórios tão extremos parecem ser menos comuns agora do que eram quando os modelos de raciocínio começaram a se tornar amplamente disponíveis, há mais de um ano, embora isso seja apenas minha impressão e não algo que eu possa quantificar.
Obrigado — como faço para verificar qual modelo está sendo usado? É a primeira vez que sou administrador de um fórum do Discourse, então ainda estou me acostumando. Não me lembro de ter feito nenhuma alteração relacionada à IA, então presumo que a IA seja o padrão do Discourse.
Inclusive, este é um fórum hospedado.
Essa é exatamente a pergunta que eu tentaria investigar se fosse um administrador acompanhando um relatório como esse.
Sou administrador em outro fórum hospedado no Discourse, então vou fazer uma pequena pesquisa.
Também pedi ao ChatGPT para verificar minha resposta e ele adicionou o seguinte, o qual agora vou verificar, mas queria repassar para que você não fique esperando.
De acordo com a documentação do Discourse AI, os administradores podem inspecionar os modelos configurados em:
Admin → Plugins → Discourse AI → LLMs
Os recursos do Discourse AI também são suportados por personas, e uma persona pode ser configurada para usar um LLM específico. A configuração atual do recurso de IA pode mostrar qual persona e LLM estão alimentando um recurso específico.
Referências úteis:
O que ainda não encontrei é uma maneira documentada para que um usuário comum inspecione uma conversa concluída do Help AI e veja o modelo exato que processou aquela interação específica.
Se alguém souber se essa informação é exposta a usuários, administradores ou nos logs do site para uma solicitação individual, por favor, adicione-a aqui. Isso seria útil para relatórios como este.
Ao revisar a seção gerada por IA acima, que estou mantendo inalterada por transparência, faria algumas correções.
Primeiro, eu removeria o link Discourse AI – AI bot. Ele não parece ser necessário para responder à pergunta específica sobre qual modelo está sendo usado.
Também removeria:
O que ainda não encontrei é uma maneira documentada para que um usuário comum inspecione uma conversa concluída do Help AI e veja o modelo exato que processou aquela interação específica.
Essa limitação não é especialmente relevante aqui, pois você mencionou que é um administrador, portanto tem acesso a informações de configuração que um usuário comum não teria.
Por fim, agora que sei onde encontrar os detalhes relevantes de configuração, também removeria:
Se alguém souber se essa informação é exposta a usuários, administradores ou nos logs do site para uma solicitação individual, por favor, adicione-a aqui. Isso seria útil para relatórios como este.
Neste ponto, o caminho mais útil é inspecionar a configuração do Discourse AI e determinar quais LLMs estão atribuídos ao recurso Help AI.
Existe uma lista muito longa de configurações de IA, mas estas são as principais. Me avise se precisar procurar algo específico, ou posso postar a lista completa.
EDIÇÃO: Tenho uma conta do Claude totalmente separada desta, e o Claude é bastante útil para consultas sobre o Discourse, mas eu esperaria que o agente assistente padrão do Discourse fosse melhor do que uma IA geral.
Como não sou especialista em todas as configurações atuais do Discourse AI, este é o meu melhor entendimento.
Tanto no meu site quanto no seu, a configuração exibe:
Modelo de LLM padrão: CDCK Hosted LLM
Pelo que consigo encontrar, este é o serviço de LLM hospedado do Discourse. Mais precisamente, a implementação atual do CDCK/MoM é uma camada de roteamento Mixture of Models (Mistura de Modelos), em vez de um modelo fixo. Ela pode rotear solicitações para diferentes modelos de pesos abertos, dependendo da tarefa. O Discourse tem uma explicação útil aqui:
Outro local útil para verificar é:
/admin/plugins/discourse-ai/ai-llms
Essa é a página de configuração de LLM do Discourse AI, onde os administradores podem ver as conexões de LLM configuradas e quais modelos estão disponíveis para os recursos do Discourse AI.
Por exemplo, no site em que sou administrador, vejo:
o que indicará se esse é o modelo que está por trás da ação que você usou.
Isso parece responder à pergunta que fiz sobre o modelo e as configurações.
À primeira vista, fiquei um pouco surpreso com aquela lista. Depois, me perguntei se você talvez estivesse no plano Free.
Ao verificar seu tópico anterior sobre Changing to Full Width, encontrei:
Estou no período de teste de 14 dias da versão Pro
Então, isso saciou minha curiosidade.
Outro exemplo para você saber que não é só você.
Agora estou no plano Pro completo, então ele deveria ser o padrão.
Além disso, estou bem mais confortável com a largura do Discourse agora e fiz os ajustes necessários. Olhando para trás, parece estranho ver fóruns antigos em largura total
A essa altura, não há muito mais que eu possa acrescentar, mas não queria deixá-los na dúvida sobre se eu ainda estava investigando o assunto.
Fico feliz que vocês tenham postado isso. Espero que outras pessoas possam se deparar com algo semelhante no futuro, e este tópico agora fornece algumas documentações úteis e um caminho mais claro para investigá-lo.
