Konfigurieren von OpenRouter-Sprachmodellen

Dokumentation Integrationen
1

:bookmark: Diese Anleitung erklärt, wie Sie API-Schlüssel für OpenRouter konfigurieren, um Discourse AI-Funktionen zu aktivieren, die 3rd-Party-LLM-Schlüssel erfordern.

:person_raising_hand: Erforderliches Benutzerniveau: Administrator

In dieser Anleitung konfigurieren wir OpenRouter – einen Dienst, der über eine einheitliche API Zugriff auf mehrere große Sprachmodelle bietet.

Hinweis: Sie benötigen einen Plan und einen konfigurierten API-Schlüssel von OpenRouter.

API-Schlüssel abrufen

  1. Besuchen Sie OpenRouter
  2. Registrieren Sie ein Konto
  3. Navigieren Sie zu Ihrem Dashboard, um Ihren API-Schlüssel zu finden.

Welche Modelle unterstützt OpenRouter in Discourse AI?

Discourse AI unterstützt derzeit alle Modelle auf OpenRouter, einschließlich:

  • Llama 3.3 70B (bis zu 128k Tokens)
  • Gemini Flash 1.5 Exp (bis zu 1 Mio. Tokens)

Und viele andere Modelle, die über die OpenRouter-Plattform verfügbar sind.

API-Schlüssel für Discourse AI verwenden

  1. Gehen Sie zu Admin → Plugins → AI → LLMs-Tab
  2. Klicken Sie auf die Schaltfläche Einrichten unter „Manuelle Konfiguration“
  3. Konfigurieren Sie die folgenden Einstellungen:
  • Anbieter: Wählen Sie „OpenRouter“
  • Modell-ID: Geben Sie die Modell-ID ein (z. B. „meta-llama/llama-3.3-70b-instruct“)
  • API-Schlüssel: Ihr OpenRouter API-Schlüssel
  • Endpunkt-URL: https://openrouter.ai/api/v1/chat/completions
  • Tokenizer: Verwenden Sie den OpenAiTokenizer

Erweiterte Konfigurationsoptionen

OpenRouter in Discourse AI unterstützt zusätzliche Konfigurationsoptionen:

  1. Anbieterreihenfolge: Sie können die Reihenfolge der zu versuchenden Anbieter angeben (kommagetrennte Liste)
    Beispiel: „Google, Amazon Bedrock“

  2. Anbieter-Quantisierungen: Geben Sie die Quantisierungspräferenzen an (kommagetrennte Liste)
    Beispiel: „fp16,fp8“

Sollte ich die native Tool-Unterstützung deaktivieren oder nicht?

Einige Modelle auf OpenRouter unterstützen keine nativen Tools. In diesen Fällen sollten Sie native Tools deaktivieren, damit Sie weiterhin XML-basierte Tools verwenden können. Außerdem variiert die Leistung, daher sollten Sie testen, ob XML- oder native Tools für ein Modell bessere Ergebnisse liefern.

  • Aktivieren Sie „Native Tools deaktivieren“, um die XML-basierte Tool-Implementierung zu verwenden
  • Lassen Sie sie deaktiviert, um die native Tool-Implementierung zu verwenden
7 „Gefällt mir“