Página de configurações do Discourse AI - Modelo de Linguagem Grande (LLM)

[Discourse]

Este guia abrange a página de configurações de LLM, que faz parte do plugin Discourse AI.

Nível de usuário necessário: Administrador

A página de configurações dedicada foi projetada para ter tudo relacionado a Modelos de Linguagem Grandes (LLMs) usados para recursos de IA do Discourse em um só lugar.

Dependendo do recurso de IA do Discourse habilitado, um LLM pode ser necessário. Verifique cada recurso de IA do Discourse para saber se um LLM é um pré-requisito.

Recursos

• Adicionar novos modelos, com informações pré-preenchidas
• Adicionar modelos personalizados não mencionados
• Configurar configurações de LLM
• Permitir o uso específico de LLM para o Bot de IA
  • Ver o nome de usuário do Bot de IA
• Habilitar suporte de visão (dependente do modelo)
• Testar
• Salvar configurações

Adicionando conexões LLM

1. Vá para Admin → Plugins → AI
2. Vá para a aba LLMs
3. Adicione uma nova conexão, escolha seu modelo
4. Adicione a chave de API (dependendo do modelo, você pode ter mais campos para inserir manualmente) e salve
5. (Opcional) Teste sua conexão para garantir que está funcionando

LLMs Suportados

Você sempre pode adicionar uma opção personalizada se não vir seu modelo listado. Modelos suportados são continuamente adicionados.

• Grok-2
• Deepseek-R1
• Nova Pro
• Nova Lite
• Nova Micro
• o3-pro
• o3
• o3-mini
• GPT-4.1 (incluindo: nano, mini)
• GPT-4o
• GPT-4o mini
• OpenAI o1 Preview
• OpenAI o1 mini Preview
• Claude Sonnet 3.7
• Claude Sonnet 3.5
• Claude Haiku 3.5
• Gemini Pro 1.5
• Gemini Flash 1.5
• Gemini Flash 2.0
• Llama 3.1
• Llama 3.3
• Mistral large
• Pixtral large
• Qwen 2.5 Coder

Além disso, clientes hospedados podem usar o CDCK Hosted Small LLM (Qwen 2.5) pré-configurado na página de configurações. Este é um LLM de pesos abertos hospedado pelo Discourse, pronto para uso para potencializar recursos de IA.

Campos de Configuração

Você verá apenas os campos relevantes para o seu provedor de LLM selecionado. Por favor, verifique novamente quaisquer campos pré-preenchidos com o provedor apropriado, como Nome do modelo

• Nome para exibir
• Nome do modelo
• Serviço que hospeda o modelo
• URL do serviço que hospeda o modelo
• Chave de API do serviço que hospeda o modelo
• ID da chave de acesso AWS Bedrock
• Região AWS Bedrock
• ID de organização OpenAI opcional
• Tokenizador
• Número de tokens para o prompt
• Habilitar API de respostas (Apenas OpenAI, certifique-se de definir a URL para https://api.openai.com/v1/responses)

FAQ Técnico

O que é tokenizador?

• O tokenizador traduz strings em tokens, que é o que um modelo usa para entender a entrada.

Que número devo usar para Número de tokens para o prompt ?

• Uma boa regra geral é 50% da janela de contexto do modelo, que é a soma de quantos tokens você envia e quantos tokens eles geram. Se o prompt ficar muito grande, a solicitação falhará. Esse número é usado para aparar o prompt e evitar que isso aconteça.

Ressalvas

• Às vezes, você pode não ver o modelo que desejava usar listado. Embora você possa adicioná-los manualmente, suportaremos modelos populares à medida que eles forem lançados.

[qianping_chen (rouin)]

É muito difícil, não sei como fazer. Espero que atualizem tutoriais específicos sobre várias IAs, como as configurações de login do Google.

[sam (Sam Saffron)]

Melhoramos muito a interface do usuário na semana passada, você pode experimentá-la novamente?

[hameedacpa (Abdelhamid)]

Quando o Gemini 2.0 será compatível?

[sam (Sam Saffron)]

Tenho sido apoiado por bastante tempo.

[Joe_F (Joe Farrar)]

Parece que tenho um problema onde não consigo selecionar um LLM mesmo tendo os gerenciados pelo CDCK configurados..

isso é normal?

[sam (Sam Saffron)]

Há muito o que desvendar aqui, qual LLM você está tentando escolher para quê?

Os LLMs CDCK estão disponíveis apenas para recursos muito específicos. Para ver quais você precisa, vá para /admin/whats-new em sua instância e clique em “mostrar apenas recursos experimentais”. Você precisará habilitá-los para desbloquear o LLM CDCK em recursos específicos.

Qualquer LLM que você definir fora dos LLMs CDCK está disponível para todos os recursos.

[AquaL1te]

Existe também um tópico que oferece um resumo geral do melhor equilíbrio custo/qualidade? Ou mesmo qual LLM pode ser usado gratuitamente para uma pequena comunidade e funcionalidade básica? Posso me aprofundar nos detalhes e experimentar. Mas estou um pouco sem tempo.

Por exemplo, só me importo com detecção de spam e um filtro de palavrões. Eu tinha isso de graça, mas esses plugins estão desatualizados ou em breve estarão. Seria bom se eu pudesse manter essa funcionalidade sem ter que pagar por um LLM.

[Saif (Saif Murtaza)]

@AquaL1te

Existe também um tópico que fornece um resumo geral do melhor equilíbrio custo/qualidade? Ou mesmo qual LLM pode ser usado gratuitamente para uma pequena comunidade e funcionalidade básica? Posso mergulhar nos detalhes e experimentar. Mas tenho um pouco de falta de tempo.

Temos este tópico, que pode ser o que você procura.

What LLM to use for Discourse AI?

It’s important to understand the needs of you as the community admin and your members when choosing a Large Language Model (LLM) to power Discourse AI features. Several factors may influence your decisions: Performance for use-case: Are you looking for the best-performing model? Performance can vary depending on the task (e.g., summarization, search, complex reasoning, spam detection). Assessment is based on the model’s ability to generate correct, relevant, and coherent responses. Context …

[AquaL1te]

Feito! Foi realmente bem fácil. Mas talvez para alguém não técnico ainda possa ser um pouco difícil de configurar. Por exemplo, o nome do modelo foi definido automaticamente nas configurações, mas não era o correto. Felizmente, reconheci o nome do modelo em um exemplo de curl para Claude na página da API e então funcionou

Os custos estimados são talvez 30 centavos de euro por mês para controle de spam (eu não tenho um fórum enorme). Então, isso é gerenciável! Defini um limite de 5 euros no console da API, apenas por precaução.

[Saif (Saif Murtaza)]

@AquaL1te

Por exemplo, o nome do modelo foi definido automaticamente nas configurações, mas não era o correto.

Qual você escolheu para o Claude? Qual foi o nome incorreto exibido e para qual você o corrigiu?

[AquaL1te]

Eu uso Claude 3.5, o ID do modelo por padrão é claude-3-5-haiku, mas precisei alterá-lo para claude-3-5-haiku-20241022, caso contrário, recebi um erro.

[Saif (Saif Murtaza)]

@AquaL1te

Eu uso o Claude 3.5, o ID do modelo é por padrão claude-3-5-haiku, mas tive que alterá-lo para claude-3-5-haiku-20241022, caso contrário, recebi um erro.

Bom saber, sim, às vezes pode haver uma desconexão. As informações pré-preenchidas devem servir como orientação, o que tende a funcionar na maioria das vezes, mas falha em certos casos como o seu (dadas todas as diferentes configurações de modelos e provedores)

Atualizei o OP deste guia

[jrgong]

@Discourse

• Gemini Flash 2.0

Este modelo não está listado em 3.4.2 - essas pré-configurações estão disponíveis apenas em 3.5 e preciso adicioná-las manualmente?

Editar: Além disso, qual opção devo escolher para “Tokenizer” ao usar modelos Grok 3?

[Falco]

@jrgong

Este modelo não está listado em 3.4.2 - essas pré-configurações estão disponíveis apenas em 3.5 e eu tenho que adicioná-las manualmente?

Pré-configurações são apenas modelos, você pode obter o mesmo resultado final usando a “Configuração manual”.

@jrgong

Editar: Além disso, qual opção devo escolher para “Tokenizer” ao usar modelos Grok 3?

Descobri que o tokenizador Gemini é bem próximo ao do Grok, então tente esse.

[CraigW (Craig Wright)]

Existe uma maneira de usar o IBM WatsonX através da configuração de gerenciamento atual, ou isso exigiria trabalho de desenvolvimento adicional pela equipe do Discourse?

[Falco]

Por acaso o IBM WatsonX expõe uma API compatível com a OpenAI?

[CraigW (Craig Wright)]

Ótima pergunta. Uma rápida consulta à documentação não me disse muito, mas o fato de este repositório existir sugere que ele não é diretamente compatível: GitHub - aseelert/watsonx-openai-api: Watsonx Openai compatible API

[AntiMetaman]

Quais desses LLMs são gratuitos para usar contra spam?

Editar: Não se preocupe, estou usando Gemini Flash 2.5

[pfaffman (Jay Pfaffman)]

Eu sempre me pergunto também. Esta parece ser a melhor resposta para essa pergunta.

@Saif

• Detecção de Spam / Triagem de IA (Texto): Modelos de Custo-Efetivo/Velocidade são geralmente suficientes e econômicos (Haiku 3.5, Gemini 2.0 Flash, GPT-4o mini, Llama 3.3).
• Triagem de IA (Detecção de Imagens NSFW): Requer um modelo com Capacidade de Visão (GPT-4o/mini, Sonnet 3.7, Gemini 2.5 Pro/2.0 Flash, Llama 3.2, modelos específicos hospedados/suportados pelo Discourse).

Mas também, há isto no OP do tópico de configuração de Spam. Acho que é apenas um pouco difícil de encontrar em todas as informações que estão lá.

@sam

Recomendações de seleção de LLM

O desempenho da detecção de spam depende do LLM escolhido.

A maioria dos LLMs de baixo custo funciona de forma eficaz, como:

• GPT-4o-mini
• Claude 3.5 Haiku
• Gemini 2.0 Flash

Experimente diferentes modelos para encontrar o que melhor se adapta. Configure seus modelos via /admin/plugins/discourse-ai/ai-llms.