대단히 감사합니다
1개의 좋아요
Deepseek을 사용할 수 있을까요?
3개의 좋아요
네, Open AI 호환 API를 갖추고 있습니다.
5개의 좋아요
제발 이 설정(그리고 당신 스크린샷에 표시된 설정)을 Admin > AI 설정에서 어디에도 찾을 수 없어요.
1개의 좋아요
이 기능은 Personas(페르소나)에서 사용할 수 있습니다. 편집 가능한 특정 페르소나(시스템 페르소나 제외)를 선택하면 프롬프트 아래에서 확인하실 수 있습니다.
2개의 좋아요
게시물 4개가 기존 주제에 병합되었습니다: Will RAG Support PDF Files in the Future?
게시물이 새 주제로 분리되었습니다: Provide visual cue when a topic is recieving an AI response
2개의 게시물이 새로운 주제로 분리되었습니다: 내 페르소나에 지식을 추가하는 방법
2개의 게시물이 새 주제로 분리되었습니다: AI 플러그인에 대한 개인 정보 보호 우려
Discourse Meta에 오신 것을 환영합니다!
Support 채널에 게시하시면 됩니다.
3개의 좋아요
안녕하세요 여러분, 저희는 vLLM을 셀프호스팅하고 있으며, Fernet을 사용하여 API 토큰을 생성하고 있습니다. 이 토큰에는 “=” 기호가 포함되어 있습니다. /var/discourse/shared/standalone/log/var-log/nginx/error.log 파일을 확인해 본 결과, “=” 기호가 "%3D"로 대체되는 것 같고, 이로 인해 제 요청이 인증되지 않는 것 같습니다.
이런 경우일 수 있을까요? 해결할 수 있을까요?
피드백 감사합니다.
제 상황은 꽤 단순합니다. 이미 vLLM과 openWebUI 서비스를 통해 LLM을 외부에 노출하고 있습니다. 두 서비스 모두 잘 작동합니다. 또한 간단한 cURL 호출을 통해 Discourse 컨테이너 내부에서 두 서비스 모두에 실제로 접근할 수 있음을 확인했습니다.
vLLM:
curl -v ${LLM_URL} -H "Content-Type: application/json" -H "Authorization: Bearer ${LLM_TOKEN}" \
-d '{
"model": "'"${LLM_MODEL}"'",
"prompt": "'"${TEST_PROMPT}"'",
"max_tokens": 128,
"temperature": 0
}'
openWebUI:
curl -v ${LLM_URL} -H "Content-Type: application/json" -H "Authorization: Bearer ${LLM_TOKEN}" \
-d '{
"model": "'"${LLM_MODEL}"'",
"messages": [
{ "role": "user",
"content": "'"${TEST_PROMPT}"'"
}
]
}'
이제 셀프호스팅된 Discourse에 discourse-ai 플러그인을 설치하고 “LLMs” → “수동 구성” → Provider=vLLM으로 접근을 구성해 보았습니다. 두 경우 모두 API KEY를 제공해야 합니다. 불행히도… 아무것도 작동하지 않습니다:
vLLM의 경우 Fernet 토큰을 사용하면 “error”:"Unauthorized"가 반환됩니다.
openWebUI의 경우 "{“detail”:“Not authenticated”}가 반환됩니다.
Fernet 토큰이 “=” 기호가 "%3D"로 변환되어 실패하는 것 같지만, 토큰이 단순히 문자열임에도 openWebUI에서 “Not authenticated” 오류가 나는 것이 더 의아합니다.
vLLM의 경우 discourse-ai 플러그인이 토큰/API_KEY를 어떻게 전송하는지 정확히 알지 못하지만, “Bearer ” 헤더를 통해 전송되기를 바랍니다.
도움이나 vLLM을 API_KEY로 구성하는 경험담이 있다면 환영합니다.
Bearer 토큰 형식의 API가 필요하면 API 제공자를 OpenAI(오픈AI)로 설정해 보세요.
@Falco openWebUI에서는 효과가 있었어요! 정말 감사합니다!
2개의 게시글이 새 주제 Discord 검색 및 Discoveries 테스트를 위한 최고의 모델 및 프롬프트로 분리되었습니다.
포럼에서 AI의 출력과 관련된 문제가 있습니다.
제 포럼의 언어는 "아랍어"이므로, AI 출력 언어를 포럼 언어에 맞게 설정해야 합니다. 모든 주제가 아랍어로 작성되어 있고 주제 요약을 요청했는데, 출력은 "영어"로 나와서 적절하지 않습니다.
프롬프트에서 AI가 아랍어로 응답하도록 지시하세요. 이론적으로는 “동일한 언어로 응답” 설정도 작동할 수 있지만, 제 경우(핀란드어 환경에서 OpenAI 모델 사용 시)에는 거의 작동하지 않았습니다.
따라서 설정값은 사용하는 AI 에이전트/퍼슨의 시스템 프롬프트가 됩니다.
영어가 아닌 다른 언어가 감지될 때 이 동작을 기본값으로 사용하는 것이 합리적이라고 생각하나요?
스페인어로 모든 페르소나를 반복하고 있는데, (좋은) 변경 사항이 너무 많아서 업데이트를 유지하는 것이 어렵습니다.
AI 플러그인의 Personas 탭에서 설정할 수 있습니다.
4개의 좋아요