대체 AI 제공업체 사용 옵션이 있나요?

@Falco @sam 설정에서 제공되는 것 외에 자체 AI 제공업체를 사용하려면 가능한 옵션이 있을까요? 예를 들어 자체 호스팅을 하거나 mendable.ai 같은 서비스를 사용하는 경우 등입니다.

LLM 추론을 위해 vLLM과 TGI API를 모두 지원하며, OpenAI API를 모방하는 어떤 API도 ai openai gpt4 url을 해당 API로 설정하면 작동할 수 있습니다.

OpenAI의 경우 정확히 1:1은 아니지만, 매우 비슷해 보입니다:

API를 살펴본 결과, newConversation를 호출하고 상태를 저장해야 하므로 discourse AI의 dialect/api 엔드포인트를 구현하는 데 며칠 정도의 작업이 필요할 것으로 보입니다.

제 판단으로는 충분히 가능하지만, 이는 커스텀 작업입니다. 원하시면 스폰서십을 통해 진행할 수 있습니다.

개인적으로는 이러한 커스텀 모델들이 장기적으로 프런티어 모델들보다 우위를 점할 수 있을지 확신할 수 없습니다. 불행히도 mendable의 경우, GPT-5가 한 번만 더 출시되면 상당히 구식이 될 수도 있습니다.

오늘날 GPT-4 / Claude Opus 같은 모델들도 세심하게 조율한다면 이보다 더 나은 성능을 낼 수 있을 것입니다.

@Roman이 퍼소나에 파일을 통해 추가적인 외부 컨텍스트를 주입할 수 있도록 작업을 진행 중입니다.

오늘날 커스텀 퍼소나를 사용하면 이미 상당히 인상적인 결과를 낼 수 있습니다. 예를 들어 GitHub 헬퍼를 Sailpoint에 맞게 쉽게 조정할 수 있습니다:

https://meta.discourse.org/discourse-ai/ai-bot/shared-ai-conversations/hEMSaY1kNJBzMhf735a9Tg