안녕하세요 여러분,
저는 엔터프라이즈 환경에서 근무 중이며, 클라우드 플랫폼 지원을 위해 Discourse를 토론 보드로 사용하고 있습니다.
여러 사용 사례를 위해 Discourse AI 플러그인을 사용하고자 하며, OpenAI와 호환되는 내부 AI 엔드포인트도 갖추고 있습니다.
문제는 이 엔드포인트로 나가는 요청에는 사전에 내부 m2m 인증 엔드포인트에서 가져와야 하는 oauth2 토큰을 포함한 인증 헤더가 포함되어야 한다는 점입니다.
Discourse가 호스팅되는 ec2 인스턴스에서 로컬 프록시를 사용해 요청에 해당 인증 정보를 추가하는 방식이나, 토큰을 가져오는 authorizer lambda가 있는 API 게이트웨이 방식 등 여러 접근법을 고려해 보았습니다.
아직까지 이해가 가지 않는 부분은 Discourse AI 플러그인 자체 내에 추가할 수 있는 도구들입니다.
제가 원하는 것을 달성하는 데 이 도구를 사용할 수 있을까요?
도움 주셔서 감사합니다. 좋은 하루 보내세요!
감사합니다,
WS
1개의 좋아요
sam
(Sam Saffron)
3
이건 좀 까다로운 문제네요.
보통은 너무 많은 설정 옵션(knob)을 추가하는 것을 피하려고 합니다. 사람들이 혼란스러워할 수 있기 때문이죠. 하지만 지금은 이 문제를 해결하기가 어렵다는 말씀은 이해합니다. 아마도 새로운 설정 옵션이 필요할 수도 있겠네요.
한 가지 옵션은 OpenAI 호환 설정에 “커스텀 헤더” 섹션을 허용하는 것입니다.
도구(Tools)로는 쉽게 해결하기 어렵습니다. 이렇게 하면 incredibly 복잡한 워크플로우가 만들어지는데, 도구가 필요한 모든 정보를 쉽게 전달할 수 있는 기능이 없기 때문입니다.
@Falco 의견 좀 주세요?
이건 기능 요청이므로 기능 요청으로 변경합니다.
1개의 좋아요
안녕하세요 @sam,
답변과 의견을 주셔서 감사합니다.
커스텀 헤더를 위한 필드만으로는 충분하지 않을 것 같습니다. 각 API 호출 전에 토큰을 동적으로 가져와야 하기 때문이죠.
아마도 파이프라인/미들웨어 형태가 더 적합할 수 있습니다. 이렇게 하면 전송 전에 사용자 코드로 전체 외보 호출을 변환할 수 있을 텐데요?
많은 도움 주셔서 감사합니다. 좋은 하루 보내세요!
감사합니다,
WS
sam
(Sam Saffron)
5
와, 이건 정말 상당히 고급스러운 내용입니다.
커스텀 도구가 충분히 풍부한 기능을 갖추면 이걸 해낼 수 있을 것 같긴 한데… 좀 루브 골드버그 머신처럼 느껴지긴 합니다. 하지만 한번 상상해 보세요.
- IF 페르소나를 가진 구성이라면:
- 도구 호출을 강제하고
- 강제된 커스텀 도구가 매개변수가 전혀 없다면
- THEN LLM을 호출하지 않고 단순히 제어권을 도구로 넘깁니다.
- THEN 제어 역전(inversion of control) 방식으로 도구가 결과를 앱으로 스트리밍할 수 있도록 충분한 인프라를 제공합니다.
꽤나 방대한 변경 사항이라 유지보수가 정말 까다로울 것입니다.
대안으로, Discourse-AI에 종속되는 새로운 커스텀 플러그인을 정의하고, 자신의 Dialect와 Endpoint를 정의하는 방법이 있습니다. 이 방법이 확실히 가장 간단한 접근 방식입니다.
Falco
(Falco)
6
이 특정 요구사항을 Nginx와 LUA 스크립팅 같은 경량 프록시를 통해 해결하는 것이 훨씬 쉬우므로, @Wurzelseppi는 그 방향으로 가는 것이 더 나을 것 같습니다.
1개의 좋아요
여러분,
나 같은 작은 사용자가 필요로 하는 것을 진지하게 논의해 주셔서 정말 감사합니다. 항상 여러분의 헌신에 감동을 받습니다. 진심으로요 (농담 아닙니다 
)
사실 전체 시스템이 EC2 인스턴스에서 돌아가고, 이미 AWS API Gateway → Lambda → LLM 엔드포인트 방식으로 진행하기로 결정했거든요 …
Discourse에 내장되어 있다면 더 좋았겠지만, 그로 인해 생길 복잡성은 충분히 이해합니다 …
소중한 시간을 내어 주시고, 이곳의 모든 사용자를 도와주신 시간까지 감사드립니다!
소프트웨어의 성숙도 때문이기도 하지만, 특히 지원을 아끼지 않는 분들 덕분에 더 나은 보드 소프트웨어를 떠올릴 수 없었습니다.
좋은 주말 보내세요 … 그리고 지금처럼 유지해 주세요!
감사합니다,
WS
1개의 좋아요