Self-Hosting eines OpenSource LLM für DiscourseAI

Danke! Mir ist auch aufgefallen, dass die URL nur funktioniert, wenn das AI-Plugin aktiviert ist :person_facepalming:

Für den neu hinzugefügten Anbieter, habt ihr Vorschläge, was man für die folgenden erforderlichen Einstellungen wählen/einstellen sollte?

  1. Tokenizer
  2. Kontextfenster

Für das Modell dachte ich vielleicht an stablelm2:1.6b oder translategemma:4b, aber ich bin mir noch nicht sicher.
In der README des letzteren gibt es eine Beschreibung eines Eingabe-Prompts. Ich frage mich, welche Abfrage die Übersetzungs-AI-Funktion an Ollama sendet. s. /admin/plugins/discourse-ai/ai-agents/-28/edit