Merci beaucoup
1 « J'aime »
Pouvons-nous utiliser Deepseek ?
3 « J'aime »
Oui, il dispose d’une API compatible avec OpenAI.
5 « J'aime »
S’il vous plaît, je n’ai pas pu trouver ce réglage (ni celui que vous montrez dans VOTRE capture d’écran) dans Admin > Paramètres de l’IA.
1 « J'aime »
Ceci est disponible dans Personas, sélectionnez une persona spécifique modifiable (non système) et regardez sous l’invite.
2 « J'aime »
4 messages ont été fusionnées dans un sujet existant : Will RAG Support PDF Files in the Future?
Un message a été transféré vers un nouveau sujet : Fournir un indice visuel lorsqu’un sujet reçoit une réponse d’IA
2 messages ont été divisées dans un nouveau sujet : Moyens d’ajouter des connaissances à mon persona
2 publications ont été séparées dans un nouveau sujet : Inquiétudes concernant la vie privée personnelle avec le plugin d’IA
Bienvenue sur Discourse Meta !
Vous voudrez poster ceci dans Support
3 « J'aime »
Bonjour à tous, nous auto-hébergeons vLLM et générons des jetons API avec Fernet, qui contiennent le signe “=”. Il me semble, en vérifiant dans /var/discourse/shared/standalone/log/var-log/nginx/error.log, que le signe “=” est remplacé par “%3D” et que ma requête n’est donc pas autorisée.
Est-ce possible ? Pourrait-on résoudre ce problème ?
Merci pour votre contribution.
Mon cas est plutôt simple. Nous avons déjà des services vLLM et openWebUI qui exposent des LLM au monde entier. Tous deux fonctionnent bien. Je peux également vérifier avec de simples appels cURL que je peux effectivement accéder aux deux depuis l’intérieur du conteneur Discourse :
vLLM :
curl -v ${LLM_URL} -H "Content-Type: application/json" -H "Authorization: Bearer ${LLM_TOKEN}" \
-d '{
"model": "'"${LLM_MODEL}"'",
"prompt": "'"${TEST_PROMPT}"'",
"max_tokens": 128,
"temperature": 0
}'
openWebUI :
curl -v ${LLM_URL} -H "Content-Type: application/json" -H "Authorization: Bearer ${LLM_TOKEN}" \
-d '{
"model": "'"${LLM_MODEL}"'",
"messages": [
{ "role": "user",
"content": "'"${TEST_PROMPT}"'"
}
]
}'
Maintenant, j’ai installé le plugin discourse-ai sur un Discourse auto-hébergé et j’ai essayé de configurer l’accès via “LLMs”-“>“Configuration manuelle”-”>Provider=vLLM. Dans les deux cas, je dois fournir une CLÉ API. Malheureusement… rien ne fonctionne :
vLLM avec un jeton Fernet renvoie “error”:“Unauthorized”}
openWebUI renvoie “{“detail”:“Not authenticated”}”
Je soupçonne que le jeton Fernet échoue parce que le signe “=” est converti en “%3D”, mais je suis encore plus perplexe avec openWebUI à cause de “Not authenticated”, alors que le jeton est juste une chaîne de caractères.
Je n’ai aucune idée de la façon dont le plugin “discourse-ai” envoie le jeton/API_KEY dans le cas de vLLM, mais j’espère que c’est via l’en-tête "Bearer ".
Toute aide est la bienvenue ou l’expérience dans la configuration de vLLM avec API_KEY
Essayez de définir le fournisseur d’API sur OpenAI si vous avez besoin de l’API au format de jeton du porteur (bearer token).
Cela a fonctionné au moins pour openWebUI ! Merci beaucoup !
2 messages ont été déplacés vers un nouveau sujet : Meilleurs modèles et invites pour tester la recherche et les découvertes Discord
J’ai un problème lié à la sortie de l’IA dans mon forum. La langue de mon forum est « arabe », il faudrait donc configurer la langue de la sortie de l’IA pour qu’elle corresponde à la langue du forum, car il n’est pas approprié de demander un résumé du sujet et tous les sujets en arabe et que la sortie me parvienne en « anglais ».
Indiquez dans les invites que l’IA doit répondre en arabe. En théorie, « répondre en utilisant la même langue » devrait également fonctionner, mais cela a rarement fonctionné pour moi, dans un contexte finlandais avec les modèles OpenAI en tout cas.
Vous avez donc un paramètre qui est l’invite système de l’agent/personne IA utilisé.
Est-il logique d’utiliser ce comportement par défaut lorsqu’une autre langue que l’anglais est détectée ?
Je répète toutes les personas en espagnol, il est difficile de les maintenir à jour avec autant de (bons) changements.
Vous pouvez le configurer dans l’onglet Personas du plugin IA.
4 « J'aime »