Configurando modelos de linguagem OpenRouter

Documentação Integrações
1

:bookmark: Este guia explica como configurar chaves de API para OpenRouter para habilitar recursos de IA do Discourse que exigem chaves de LLM de terceiros.

:person_raising_hand: Nível de usuário necessário: Administrador

Neste guia, configuraremos o OpenRouter - um serviço que fornece acesso a vários modelos de linguagem grandes por meio de uma API unificada.

Nota: Você precisará de um plano e uma chave de API configurada do OpenRouter

Obter chaves de API

  1. Visite OpenRouter
  2. Crie uma conta
  3. Navegue até seu painel para encontrar sua chave de API

Quais modelos o OpenRouter suporta no Discourse AI?

O Discourse AI atualmente suporta todos os modelos no OpenRouter, incluindo:

  • Llama 3.3 70B (até 128k tokens)
  • Gemini Flash 1.5 Exp (até 1M tokens)

E muitos outros modelos disponíveis através da plataforma OpenRouter.

Usando chaves de API para Discourse AI

  1. Vá para Admin → Plugins → AI → aba LLMs
  2. Clique no botão Configurar em “Configuração manual”
  3. Configure as seguintes configurações:
  • Provedor: Selecione “OpenRouter”
  • ID do Modelo: Insira o ID do modelo (por exemplo, “meta-llama/llama-3.3-70b-instruct”)
  • Chave de API: Sua chave de API do OpenRouter
  • URL do Ponto de Extremidade: https://openrouter.ai/api/v1/chat/completions
  • Tokenizador: Use o OpenAiTokenizer

Opções Avançadas de Configuração

O OpenRouter no Discourse AI suporta opções de configuração adicionais:

  1. Ordem dos Provedores: Você pode especificar a ordem dos provedores a serem tentados (lista separada por vírgulas)
    Exemplo: “Google, Amazon Bedrock”

  2. Quantizações de Provedores: Especifique as preferências de quantização (lista separada por vírgulas)
    Exemplo: “fp16,fp8”

Devo desabilitar o suporte a ferramentas nativas ou não?

Alguns modelos no OpenRouter não suportam ferramentas nativas, nesses casos você deve desabilitar ferramentas nativas para ainda poder obter ferramentas baseadas em XML. Além disso, o desempenho varia, então você deve testar se ferramentas XML ou nativas fornecem melhores resultados para um modelo.

  • Habilite “Desabilitar ferramentas nativas” para usar a implementação de ferramentas baseada em XML
  • Deixe desabilitado para usar a implementação de ferramentas nativas
7 curtidas