Configurazione dei modelli linguistici di OpenRouter

Documentazione Integrazioni
1

:bookmark: Questa guida spiega come configurare le chiavi API per OpenRouter per abilitare le funzionalitĂ  di Discourse AI che richiedono chiavi LLM di terze parti.

:person_raising_hand: Livello utente richiesto: Amministratore

In questa guida, configureremo OpenRouter, un servizio che fornisce accesso a più modelli linguistici di grandi dimensioni tramite un’API unificata.

Nota: SarĂ  necessario un piano e una chiave API configurata da OpenRouter

Ottenere le chiavi API

  1. Visita OpenRouter
  2. Registrati per un account
  3. Naviga nella tua dashboard per trovare la tua chiave API

Quali modelli supporta OpenRouter in Discourse AI?

Discourse AI attualmente supporta tutti i modelli su OpenRouter, tra cui:

  • Llama 3.3 70B (fino a 128k token)
  • Gemini Flash 1.5 Exp (fino a 1M token)

E molti altri modelli disponibili tramite la piattaforma OpenRouter.

Utilizzo delle chiavi API per Discourse AI

  1. Vai su Admin → Plugins → AI → scheda LLMs
  2. Fai clic sul pulsante Imposta su “Configurazione manuale”
  3. Configura le seguenti impostazioni:
  • Provider: Seleziona “OpenRouter”
  • ID modello: Inserisci l’ID del modello (ad es. “meta-llama/llama-3.3-70b-instruct”)
  • Chiave API: La tua chiave API OpenRouter
  • URL endpoint: https://openrouter.ai/api/v1/chat/completions
  • Tokenizer: Usa OpenAiTokenizer

Opzioni di configurazione avanzate

OpenRouter in Discourse AI supporta opzioni di configurazione aggiuntive:

  1. Ordine dei provider: Puoi specificare l’ordine dei provider da provare (elenco separato da virgole)
    Esempio: “Google, Amazon Bedrock”

  2. Quantizzazioni dei provider: Specifica le preferenze di quantizzazione (elenco separato da virgole)
    Esempio: “fp16,fp8”

Devo disabilitare il supporto nativo degli strumenti o no?

Alcuni modelli su OpenRouter non supportano gli strumenti nativi, in quei casi dovresti disabilitare gli strumenti nativi in modo da poter ancora ottenere strumenti basati su XML. Inoltre, le prestazioni variano, quindi dovresti testare se gli strumenti XML o nativi forniscono risultati migliori per un modello.

  • Abilita “Disabilita strumenti nativi” per utilizzare l’implementazione degli strumenti basata su XML
  • Lascialo disabilitato per utilizzare l’implementazione degli strumenti nativi
7 Mi Piace