Thanks a lot
לייק 1
Can we use Deepseek?
3 לייקים
Sure, it has an Open AI compatible API
5 לייקים
Pls I couldn’t find this setting (also the one shown by you in YOUR screen shot) anywhere in Admin> AI Settings.
לייק 1
This is available within Personas, select a specific editable (non system) persona and see below the prompt
2 לייקים
4 posts were merged into an existing topic: Will RAG Support PDF Files in the Future?
הודעה חולקה לנושא חדש: ספק אות חזותי כאשר נושא מקבל תגובת AI
2 posts were split to a new topic: Ways to add knowledge to my persona
2 פוסטים חולקו לנושא חדש: דאגות לגבי פרטיות אישית עם תוסף ה-AI
Welcome to Discourse Meta!
You will want to post this in Support
3 לייקים
שלום לכולם, אנחנו מארחים את vLLM בעצמנו ומייצרים טוקנים (tokens) של API עם Fernet, שלהם יש סימן “=”. נראה לי, על ידי בדיקה ב-/var/discourse/shared/standalone/log/var-log/nginx/error.log, שהסימן “=” מוחלף ב-“%3D” וכך הבקשה שלי לא מאושרת.
האם זה יכול להיות המקרה? האם אפשר לפתור את זה?
תודה על המידע.
המקרה שלי די פשוט. יש לנו כבר שירותי vLLM ו-openWebUI שחושפים מודלי LLM לעולם. שניהם פועלים היטב. אני יכול גם לבדוק באמצעות קריאות cURL פשוטות שאני אכן יכול לגשת לשניהם מתוך קונטיינר Discourse:
vLLM:
curl -v ${LLM_URL} -H "Content-Type: application/json" -H "Authorization: Bearer ${LLM_TOKEN}" \
-d '{
"model": "'"${LLM_MODEL}"'",
"prompt": "'"${TEST_PROMPT}"'",
"max_tokens": 128,
"temperature": 0
}'
openWebUI:
curl -v ${LLM_URL} -H "Content-Type: application/json" -H "Authorization: Bearer ${LLM_TOKEN}" \
-d '{
"model": "'"${LLM_MODEL}"'",
"messages": [
{ "role": "user",
"content": "'"${TEST_PROMPT}"'"
}
]
}'
כעת התקנתי את הפלאגין discourse-ai על Discourse באירוח עצמי וניסיתי להגדיר גישה דרך “LLMs”-“>“תצורה ידנית”-”>Provider=vLLM. בשני המקרים אני צריך לספק מפתח API. לצערי.. אף אחד לא עובד:
vLLM עם אסימון Fernet מחזיר “error”:“Unauthorized”}
openWebUI מחזיר “{“detail”:“Not authenticated”}”
החשד שלי הוא שאסימון Fernet נכשל עקב סימן “=” שהומר ל-“%3D” אבל אני אפילו יותר מבולבל עם openWebUI בגלל “Not authenticated”, כאשר האסימון הוא סתם מחרוזת.
אין לי מושג איך הפלאגין “discourse-ai” שולח אסימון/API_KEY במקרה של vLLM אבל אני מקווה שזה דרך כותרת "Bearer ",.
כל עזרה תתקבל בברכה או ניסיון בהגדרת vLLM עם API_KEY
נסה להגדיר את ספק ה-API ל-“OpenAI” אם אתה צריך את ה-API בפורמט של אסימון bearer.
זה עבד לפחות עבור openWebUI! תודה רבה!
2 פוסטים פוצלו לנושא חדש: המודלים וההנחיות הטובים ביותר לבדיקת חיפוש וגילויים ב-Discord
יש לי בעיה הקשורה לפלט של הבינה המלאכותית בפורום שלי. השפה של הפורום שלי היא “ערבית” ולכן יש להגדיר את שפת הפלט של הבינה המלאכותית כך שתתאים לשפת הפורום, מכיוון שלא מתאים לבקש סיכום נושא וכל הנושא בערבית והפלט מגיע אליי ב-“אנגלית”.
ציין בהנחיות שהבינה המלאכותית צריכה להגיב בערבית. בתיאוריה, “להגיב באותה שפה” אמור לעבוד גם כן, אבל זה כמעט ולא עבד לי, בהקשר פיני עם מודלים של OpenAI בכל מקרה.
אז יש לך הגדרה וזו הנחיית המערכת של סוכן/אדם הבינה המלאכותית המשמש.
האם הגיוני להשתמש בהתנהגות הזו כברירת מחדל כאשר מזוהה שפה אחרת מאנגלית?
אני חוזר על כל הפרסונות באמצעות ספרדית, קשה לעדכן אותן עם כל כך הרבה שינויים (טובים).
You can configure it in the Personas tab of the AI plugin.
4 לייקים