Configurando modelos de lenguaje de OpenRouter

Documentación Integraciones
1

:bookmark: Esta guía explica cómo configurar claves de API para OpenRouter para habilitar las funciones de IA de Discourse que requieren claves de LLM de terceros.

:person_raising_hand: Nivel de usuario requerido: Administrador

En esta guía, configuraremos OpenRouter, un servicio que proporciona acceso a múltiples modelos de lenguaje grandes a través de una API unificada.

Nota: Necesitarás un plan y una clave de API configurada de OpenRouter

Obtener claves de API

  1. Visita OpenRouter
  2. Regístrate para obtener una cuenta
  3. Navega a tu panel para encontrar tu clave de API

¿Qué modelos soporta OpenRouter en Discourse AI?

Discourse AI actualmente soporta todos los modelos en OpenRouter, incluyendo:

  • Llama 3.3 70B (hasta 128k tokens)
  • Gemini Flash 1.5 Exp (hasta 1M tokens)

Y muchos otros modelos disponibles a través de la plataforma OpenRouter.

Usar claves de API para Discourse AI

  1. Ve a Admin → Plugins → AI → pestaña LLMs
  2. Haz clic en el botón Configurar en “Configuración manual”
  3. Configura los siguientes ajustes:
  • Proveedor: Selecciona “OpenRouter”
  • ID del modelo: Ingresa el ID del modelo (por ejemplo, “meta-llama/llama-3.3-70b-instruct”)
  • Clave de API: Tu clave de API de OpenRouter
  • URL del punto final: https://openrouter.ai/api/v1/chat/completions
  • Tokenizador: Usa el OpenAiTokenizer

Opciones de configuración avanzada

OpenRouter en Discourse AI soporta opciones de configuración adicionales:

  1. Orden de proveedores: Puedes especificar el orden de los proveedores a intentar (lista separada por comas)
    Ejemplo: “Google, Amazon Bedrock”

  2. Cuantizaciones de proveedores: Especifica las preferencias de cuantización (lista separada por comas)
    Ejemplo: “fp16,fp8”

¿Debo deshabilitar el soporte de herramientas nativas o no?

Algunos modelos en OpenRouter no soportan herramientas nativas, en esos casos deberías deshabilitar las herramientas nativas para poder seguir obteniendo herramientas basadas en XML. Adicionalmente, el rendimiento varía, por lo que deberías probar si las herramientas XML o nativas te dan mejores resultados para un modelo.

  • Habilita “Deshabilitar herramientas nativas” para usar la implementación de herramientas basada en XML
  • Déjalo deshabilitado para usar la implementación de herramientas nativas
7 Me gusta