Vielen Dank
1 „Gefällt mir“
Können wir Deepseek verwenden?
3 „Gefällt mir“
Sicher, es verfügt über eine mit Open AI kompatible API
5 „Gefällt mir“
Bitte, ich konnte diese Einstellung (auch die, die Sie in IHREM Screenshot gezeigt haben) nirgendwo unter Admin > KI-Einstellungen finden.
1 „Gefällt mir“
Dies ist in Personas verfügbar. Wählen Sie eine bestimmte bearbeitbare (nicht systemische) Persona aus und sehen Sie unten die Eingabeaufforderung.
2 „Gefällt mir“
4 Beiträge wurden in ein bestehendes Thema zusammengeführt: Wird RAG zukünftig PDF-Dateien unterstützen?
Ein Beitrag wurde auf ein neues Thema verschoben: Visuellen Hinweis bereitstellen, wenn ein Thema eine KI-Antwort erhält
2 Beiträge wurden in ein neues Thema aufgeteilt: Ways to add knowledge to my persona
2 Beiträge wurden in ein neues Thema verschoben: Bedenken bezüglich des Datenschutzes bei dem KI-Plugin
Willkommen bei Discourse Meta!
Sie möchten dies in Support posten.
3 „Gefällt mir“
Hallo zusammen, wir hosten vLLM selbst und generieren API-Tokens mit Fernet, die ein “=”-Zeichen enthalten. Wenn ich /var/discourse/shared/standalone/log/var-log/nginx/error.log überprüfe, sieht es für mich so aus, als ob das “=”-Zeichen durch “%3D” ersetzt wird, wodurch meine Anfrage nicht autorisiert wird.
Könnte das der Fall sein? Könnte das behoben werden?
Danke für den Input.
Mein Fall ist recht einfach. Wir haben bereits vLLM- und openWebUI-Dienste, die LLMs für die Welt zugänglich machen. Beide funktionieren gut. Ich kann auch mit einfachen cURL-Aufrufen überprüfen, ob ich tatsächlich von innerhalb des Discourse-Containers auf beide zugreifen kann:
vLLM:
curl -v ${LLM_URL} -H "Content-Type: application/json" -H "Authorization: Bearer ${LLM_TOKEN}" \
-d '{
"model": "'"${LLM_MODEL}"'",
"prompt": "'"${TEST_PROMPT}"'",
"max_tokens": 128,
"temperature": 0
}'
openWebUI:
curl -v ${LLM_URL} -H "Content-Type: application/json" -H "Authorization: Bearer ${LLM_TOKEN}" \
-d '{
"model": "'"${LLM_MODEL}"'",
"messages": [
{ "role": "user",
"content": "'"${TEST_PROMPT}"'"
}
]
}'
Nun habe ich das discourse-ai Plugin auf einem selbst gehosteten Discourse installiert und versucht, den Zugriff über “LLMs”-“>“Manuelle Konfiguration”-”>Provider=vLLM zu konfigurieren. In beiden Fällen muss ich einen API-Schlüssel angeben. Leider funktioniert keiner:
vLLM mit Fernet-Token gibt “error”:“Unauthorized” zurück}
openWebUI gibt “{“detail”:“Not authenticated”}” zurück
Ich vermute, dass das Fernet-Token fehlschlägt, weil das “=”-Zeichen in “%3D” umgewandelt wird, aber ich bin noch ratloser wegen “Not authenticated”, obwohl das Token nur eine Zeichenkette ist.
Ich habe keine Ahnung, wie das “discourse-ai” Plugin das Token/API_KEY im Fall von vLLM sendet, aber ich hoffe, es geschieht über den "Bearer ".
Jede Hilfe oder Erfahrung bei der Konfiguration von vLLM mit API_KEY ist willkommen.
Versuchen Sie, den API-Provider auf OpenAI einzustellen, wenn Sie die API im Bearer-Token-Format benötigen.
Das hat zumindest f\
2 Beiträge wurden in ein neues Thema verschoben: Beste Modelle und Prompts zum Testen der Discord-Suche und -Entdeckungen
Ich habe ein Problem mit der Ausgabe der KI in meinem Forum. Die Sprache meines Forums ist “Arabisch”, daher sollte die Sprache der KI-Ausgabe so eingestellt sein, dass sie zur Sprache des Forums passt, da es nicht angemessen ist, eine Themenzusammenfassung und alle Themen auf Arabisch anzufordern und die Ausgabe auf “Englisch” erfolgt.
Gib in den Prompts an, dass die KI auf Arabisch antworten soll. Theoretisch sollte auch „in derselben Sprache antworten“ funktionieren, aber im finnischen Kontext hat es bei OpenAI-Modellen sowieso selten funktioniert.
Du hast also eine Einstellung, und das ist der System-Prompt des verwendeten KI-Agenten/der verwendeten Person.
Ist es sinnvoll, dieses Verhalten als Standard zu verwenden, wenn eine andere Sprache als Englisch erkannt wird?
Ich wiederhole alle Personas auf Spanisch, es ist schwierig, sie bei so vielen (guten) Änderungen auf dem neuesten Stand zu halten.
Sie können es im Tab „Personas“ des KI-Plugins konfigurieren.
4 „Gefällt mir“