Qual LLM usar para o AI do Discourse?

É importante entender as necessidades de você como administrador da comunidade e de seus membros ao escolher um Large Language Model (LLM) para potencializar os recursos de IA do Discourse.

Vários fatores podem influenciar suas decisões:

  1. Desempenho para o caso de uso: Você busca o modelo com melhor desempenho? O desempenho pode variar dependendo da tarefa (por exemplo, sumarização, busca, raciocínio complexo, detecção de spam). A avaliação é baseada na capacidade do modelo de gerar respostas corretas, relevantes e coerentes.
  2. Comprimento do contexto: A janela de contexto é a quantidade de texto que um modelo pode “ver” e considerar de uma só vez. Janelas de contexto maiores permitem o processamento de mais informações (por exemplo, tópicos mais longos para sumarização) e a manutenção da coerência em interações mais longas.
  3. Compatibilidade: O modelo é suportado nativamente pelo plugin Discourse AI? Ele exigirá endpoints de API ou configurações específicas? Verifique a documentação do plugin para provedores e modelos suportados.
  4. Suporte a idiomas: Embora muitos LLMs de ponta lidem bem com vários idiomas, o desempenho pode variar. Se sua comunidade usa predominantemente um idioma diferente do inglês, é recomendável testar modelos específicos para esse idioma.
  5. Capacidades multimodais: Alguns recursos, como a legendagem de imagens no AI Helper, exigem modelos que possam processar imagens (visão). Garanta que o modelo escolhido suporte as modalidades necessárias.
  6. Velocidade e Modos: Modelos maiores e mais poderosos podem ser mais lentos. Para recursos em tempo real, como AI Helper ou Busca, modelos mais rápidos podem proporcionar uma melhor experiência ao usuário. Alguns modelos oferecem modos diferentes (por exemplo, esforço estendido de pensamento ou raciocínio), permitindo uma troca entre velocidade e raciocínio mais profundo.
  7. Custo: O orçamento é frequentemente um fator chave. Os custos dos modelos variam significativamente com base no provedor e no nível do modelo. Os custos são tipicamente medidos por token (entrada e saída). Modelos mais rápidos/menores geralmente são mais baratos do que modelos grandes/de alto desempenho. Modelos de código aberto podem ser executados de forma mais econômica, dependendo da hospedagem.
  8. Preocupações com privacidade: Diferentes provedores de LLM têm políticas variadas de uso de dados e privacidade. Revise os termos de serviço, especialmente no que diz respeito a se seus dados podem ser usados para fins de treinamento. Alguns provedores oferecem opções de retenção zero de dados.
  9. Código Aberto vs. Código Fechado: Modelos de código aberto oferecem transparência e a possibilidade de auto-hospedagem ou ajuste fino (fine-tuning), embora possam exigir mais esforço técnico. Modelos de código fechado são geralmente mais fáceis de usar via APIs, mas oferecem menos controle e transparência.

Escolhendo um LLM para Recursos de IA do Discourse

O cenário de LLMs evolui rapidamente. A tabela abaixo fornece uma visão geral dos modelos populares e capazes atualmente, adequados para vários recursos de IA do Discourse, categorizados por seus pontos fortes típicos e perfis de custo. Os modelos em cada categoria são listados em ordem alfabética.

:warning: Estas são diretrizes gerais. Sempre verifique a documentação oficial do plugin Discourse AI para obter a lista mais atualizada de modelos suportados e configurações necessárias. O desempenho e o custo mudam frequentemente; consulte a documentação do provedor do LLM para obter os detalhes mais recentes. A disponibilidade e o desempenho dos modelos de código aberto podem depender do provedor específico ou da configuração de hospedagem.

Uma opção alternativa para clientes hospedados é usar os LLMs pré-configurados disponíveis através da interface de administração do plugin Discourse AI. Estes podem ser configurados via Admin → Plugins → AI → LLMs, o que fornece predefinições de um clique para modelos populares da Anthropic, Google, OpenAI e OpenRouter.

Categoria Modelo Provedor Principais Pontos Fortes / Casos de Uso Notas
Alto Desempenho/Raciocínio Claude Opus 4.6 Anthropic Capacidade máxima de raciocínio, tarefas complexas, análise, geração Modelo Anthropic de custo mais alto, contexto de 200K, excelente visão
Gemini 3 Pro Google Alto desempenho, janela de contexto muito grande, forte multimodalidade Contexto de 1M de tokens, excelente geral
GPT-5.2 OpenAI Raciocínio de ponta, tarefas complexas, geração, visão Contexto de 400K, forte modelo geral da OpenAI
xAI Grok 4 Fast xAI (via OpenRouter) Raciocínio forte, desempenho competitivo Disponível via OpenRouter, com capacidade de visão
Equilibrado (Multiuso) Claude Sonnet 4.6 Anthropic Alto desempenho, bom raciocínio, contexto grande, visão, rápido Excelente escolha padrão, equilibra velocidade e capacidade, contexto de 200K
DeepSeek V3.2 DeepSeek (via OpenRouter) Forte desempenho geral, bom custo-benefício Opção de Código Aberto, econômico para uso amplo, contexto de 163K
Moonshot Kimi K2.5 Moonshot (via OpenRouter) Forte desempenho, contexto muito grande, visão Janela de contexto de 262K, bom custo-benefício
Custo-Benefício/Velocidade Claude Haiku 4.5 Anthropic Rápido e de baixo custo, adequado para tarefas mais simples, com capacidade de visão Melhor para necessidades de alto volume e baixa latência, como busca, resumos básicos
Gemini 3 Flash Google Muito rápido e econômico, boas capacidades gerais, visão Contexto de 1M, bom para sumarização, busca, tarefas de assistente
GPT-5 Mini OpenAI Rápido, acessível, bom para muitas tarefas Contexto de 400K, bom equilíbrio de custo/desempenho para recursos mais simples
GPT-5 Nano OpenAI Opção OpenAI extremamente rápida e mais barata Melhor para necessidades de maior volume e custo mais baixo
Arcee Trinity Large (Grátis) Arcee (via OpenRouter) Opção de nível gratuito, contexto de 128K Bom para testes ou implantações com orçamento muito restrito
Capacidade de Visão Claude Opus 4.6 / Sonnet 4.6 / Haiku 4.5 Anthropic Todos os modelos atuais da Anthropic suportam visão Útil para legendagem de imagens no AI Helper
Gemini 3 Pro / 3 Flash Google Fortes capacidades de visão Útil para legendagem de imagens no AI Helper
GPT-5.2 OpenAI Integração de texto e visão Útil para legendagem de imagens no AI Helper
Moonshot Kimi K2.5 Moonshot (via OpenRouter) Com capacidade de visão Disponível via OpenRouter
xAI Grok 4 Fast xAI (via OpenRouter) Com capacidade de visão Disponível via OpenRouter

Mapeamento de Recomendações Gerais (Simplificado):

  • Bot de IA (Perguntas e Respostas Complexas, Agentes): Modelos de Alto Desempenho/Raciocínio (Claude Opus 4.6, Gemini 3 Pro, GPT-5.2) ou modelos Equilibrados fortes (Claude Sonnet 4.6, DeepSeek V3.2).
  • Busca/Descoberta com IA: Modelos Custo-Benefício/Velocidade (Haiku 4.5, Gemini 3 Flash, GPT-5 Mini/Nano) ou modelos Equilibrados para uma compreensão ligeiramente melhor (Sonnet 4.6, DeepSeek V3.2).
  • AI Helper (Sugestões de Título, Revisão, Tradução): Modelos Custo-Benefício/Velocidade ou modelos Equilibrados. A velocidade é frequentemente preferida. Claude Sonnet 4.6 ou GPT-5 Mini são boas opções.
  • Sumarizar: Modelos Equilibrados (Claude Sonnet 4.6, GPT-5.2, DeepSeek V3.2) ou modelos Custo-Benefício (Gemini 3 Flash, GPT-5 Mini). Janelas de contexto mais longas (Gemini 3 Pro/Flash com 1M de tokens) são benéficas para tópicos longos.
  • Detecção de Spam: Modelos Custo-Benefício/Velocidade geralmente são suficientes e econômicos (Haiku 4.5, Gemini 3 Flash, GPT-5 Mini/Nano).
  • Tradução: Modelos Custo-Benefício/Velocidade funcionam bem para tarefas de detecção de localidade e tradução (Haiku 4.5, Gemini 3 Flash, GPT-5 Mini).
  • Automação (Triagem, Relatórios): Depende da complexidade. Regras de triagem simples funcionam bem com modelos Custo-Benefício. Triagem complexa baseada em agentes se beneficia de modelos Equilibrados ou de Alto Desempenho.

Lembre-se de configurar o(s) LLM(s) selecionado(s) no Administrador do Discourse em Plugins → AI → Features para cada recurso, e configurar as conexões do LLM em Plugins → AI → LLMs.

17 curtidas