Огромное спасибо
1 лайк
Можно ли использовать DeepSeek?
3 лайка
Конечно, у него есть API, совместимый с Open AI
5 лайков
Пожалуйста, я не смог найти эту настройку (также ту, которую вы показали на своём скриншоте) нигде в Администрирование > Настройки ИИ.
1 лайк
Это доступно в разделе Персоны: выберите конкретную редактируемую (несистемную) персону и посмотрите ниже промпт.
2 лайка
4 сообщения были объединены в существующую тему: Будет ли RAG поддерживать PDF-файлы в будущем?
Пост был перенесён в новую тему: Предоставить визуальный индикатор, когда тема получает ответ от ИИ
2 сообщения были перенесены в новую тему: Способы добавить знания в мою персону
2 поста были перенесены в новую тему: Опасения по поводу личной конфиденциальности с плагином ИИ
Добро пожаловать в Meta Discourse!
Вам следует разместить это в Support
3 лайка
Всем привет, мы развернули vLLM на собственном сервере и генерируем токены API с помощью Fernet, которые содержат символ «=». Судя по логу /var/discourse/shared/standalone/log/var-log/nginx/error.log, этот символ заменяется на «%3D», из-за чего мой запрос не проходит авторизацию.
Может ли это быть причиной проблемы? Можно ли это исправить?
Спасибо за ваш ответ.
Мой случай довольно прост. У нас уже есть службы vLLM и openWebUI, предоставляющие доступ к LLM. Обе работают нормально. Я также могу проверить с помощью простых вызовов cURL, что действительно могу получить доступ к обоим изнутри контейнера Discourse:
vLLM:
curl -v ${LLM_URL} -H "Content-Type: application/json" -H "Authorization: Bearer ${LLM_TOKEN}" \
-d '{
"model": "'"${LLM_MODEL}"'",
"prompt": "'"${TEST_PROMPT}"'",
"max_tokens": 128,
"temperature": 0
}'
openWebUI:
curl -v ${LLM_URL} -H "Content-Type: application/json" -H "Authorization: Bearer ${LLM_TOKEN}" \
-d '{
"model": "'"${LLM_MODEL}"'",
"messages": [
{ "role": "user",
"content": "'"${TEST_PROMPT}"'"
}
]
}'
Теперь я установил плагин discourse-ai на самодостаточный Discourse и попытался настроить доступ через «LLMs» → «Ручная настройка» → Provider=vLLM. В обоих случаях необходимо предоставить API-ключ. К сожалению, ни один из них не работает:
vLLM с токеном Fernet возвращает “error”:“Unauthorized”}
openWebUI возвращает "{“detail”:“Not authenticated”}
Мне кажется, что токен Fernet не работает из-за знака «=», преобразованного в «%3D», но меня ещё больше сбивает с толку openWebUI из-за сообщения “Not authenticated”, хотя токен — просто строка.
Я не знаю, как плагин “discourse-ai” отправляет токен/API-ключ в случае vLLM, но надеюсь, что это делается через заголовок “Bearer ”.
Любая помощь или опыт настройки vLLM с использованием API-ключа будут очень кстати.
Попробуйте установить провайдера API на OpenAI, если вам нужен API в формате токена Bearer.
@Falco Это сработало, по крайней мере, для openWebUI! Большое спасибо!
2 сообщения были перенесены в новую тему: Лучшие модели и промпты для тестирования поиска и открытий в Discord
У меня проблема с выводом ИИ в моём форуме. Язык моего форума — «арабский», поэтому необходимо настроить язык вывода ИИ в соответствии с языком форума, так как неуместно запрашивать краткое содержание темы и весь текст темы на арабском, а получать ответ на «английском».
Укажите в промптах, что ИИ должен отвечать на арабском. В теории, фраза «отвечать на том же языке» тоже должна работать, но в моем опыте с финским контекстом и моделями OpenAI это редко срабатывало.
Итак, у вас есть настройка — это системный промпт используемого ИИ-агента или персонажа.
Имеет ли смысл использовать это поведение по умолчанию, когда обнаруживается другой язык, кроме английского?
Я перевожу все персонажи на испанский, и их сложно поддерживать в актуальном состоянии из-за стольких (хороших) изменений.
Вы можете настроить это на вкладке «Персоны» в плагине ИИ.
4 лайка