tom_eric
(tom eric )
1
여러분, 안녕하세요.
Discourse AI가 제3자 릴레이/프록시 API를 지원하는지에 대해 질문이 있습니다.
NewAPI(제3자 OpenAI 호환 프록시)의 릴레이 API를 사용해 보았지만, Discourse AI에서 **“Internal Server Error”**가 발생합니다. 제 설정 문제인지, 아니면 Discourse AI의 한계인지 확실하지 않습니다.
따라서 다음과 같이 궁금합니다:
-
Discourse AI는 현재 OpenAI 호환 제3자/릴레이/프록시 API를 지원합니까?
-
아니면 현재 공식 OpenAI 및 Google API만 지원합니까?
-
제3자 API가 지원된다면, 특별한 설정(헤더, 기본 URL 형식, 모델 명명 등)이 필요합니까?
제 공식 API 키를 사용하면 비용이 많이 들기 때문에, 가능하다면 더 저렴한 릴레이 옵션을 사용하고 싶습니다.
또한 재미로 이미지 생성을 위해 Google BananaPro를 연결하고 싶지만, 이것이 지원되는지 여부도 알 수 없습니다.
관련 문서나 조언을 주시면 감사하겠습니다. 감사합니다!
Falco
(Falco)
2
수많은 고객이 OpenAI 호환 프록시를 통해 매일 수천 건의 AI 호출을 수행하고 있으므로, 이 방식이 작동한다는 것을 잘 알고 있습니다. 주요 문제는 "OpenAI 호환"이라고 할 때, 실제로 얼마나 호환되는지 여부입니다.
vLLM, Google, Ollama, LMStudio 모두 OpenAI 호환 API를 제공하며, 우리는 매일 이를 테스트하고 사용しています.
특정 제공자의 요청이 실패하는 경우, /logs 페이지의 로그를 통해 원인을 찾는 것이 보통 쉽습니다. 해당 페이지에서 발생한 오류를 공유해 주시겠습니까?
tom_eric
(tom eric )
3
답변 주셔서 감사합니다. 내일 몇 가지 다른 서드파티 API를 테스트해 보겠습니다.
discourse ai 지원은 openrouter, newapi 등 제가 아는 거의 모든 서드파티 API를 지원합니다.
LLM 설정만 구성하면 됩니다.
API 기본 URL, API 키 및 모델 이름을 입력하세요.
tom_eric
(tom eric )
5
형님, 답변해 주셔서 감사합니다.
하지만 이 답변이 좀 이상하네요.
discourse에서는 시스템 프롬프트를 반드시 입력해야 하는데, 시스템 프롬프트를 넣고 싶지 않아서 그냥 ‘.’ 하나만 입력했습니다.
@로 멘션한 사용자의 질문에 대해 모델이 직접 답변만 하면 되거든요.
아직 어떻게 설정해야 하는지 잘 모르겠습니다.
봇을 @로 멘션하면 왜 기본값이 '사용자 정의 프롬프트’로 설정되어 있는지 모르겠습니다. (봇이 답변하는 형식을 찾아보니 이 '사용자 정의 프롬프트’만 일치했기 때문입니다.) 아래 그림과 같이 설정을 변경해도 여전히 효과가 없는데, 왜 그런지 모르겠습니다.
AI helper custom prompt persona를 설정하기 전에 새로운 페르소나를 생성할 수 있습니다.
이것은 제 새로운 번역기 페르소나의 예시입니다(프롬프트와 기타 옵션을 설정할 수 있습니다).
그런 다음 AI helper custom prompt persona에서 새로 만든 사용자 지정 페르소나를 선택하세요.
