Discourse 챗봇 🤖

[exlabs (Daniel)]

안녕하세요,

이제 OpenAI 계정을 만들었습니다. "Assistant"를 생성해야 할까요? 플러그인에 AI를 통합하기 위해 따라야 할 단계가 있는지 궁금합니다.

감사합니다.

[merefield (Robert)]

아니요, 토큰만 있으면 됩니다. 더 고급 모델과 더 높은 속도 한도에 접근하려면 OpenAI 계정에 크레딧을 충전해야 할 수 있습니다.

API 관련 작업은 모두 플러그인이 처리합니다.

(참고로, 재미있는 사실 하나 - Chatbot은 자체적으로 개발한 대화 및 “내부 사고” 시스템을 구현하고 있으며, 이 시스템은 Chat Completions API와 Embeddings API만을 활용합니다. 따라서 Assistants API를 명시적으로 지원하지 않습니다. 이는 매우 좋은 점인데, Assistants API는 토큰을 낭비하는 것으로 악명 높고 비용을 많이 소모하기 때문입니다. Chatbot은 절약형으로 설계되어 있습니다!)

[exlabs (Daniel)]

와, 제가 생각했던 것보다 훨씬 많은 기능을 하네요.

ChatGPT에서 말하는 토큰이 무엇인지 설명해 주실 수 있나요? 저는 현재 월 20달러를 내고 ChatGPT 프리미엄을 이용 중입니다. 제가 원했던 것은 chatgpt.com에서 학습해 온 AI에 우리 Discourse 사용자가 접근할 수 있도록 하는 것이었습니다.

이 내용이 잘 전달되고 있는지, 그리고 사용 사례가 명확한지 모르겠네요!

[Jagster (Jakke Flemming)]

토큰은 돈과 비슷합니다. 토큰을 단어 또는 단어의 일부로 생각할 수 있습니다. 질문을 하면 토큰 X만큼의 가치가 발생합니다. OpenAI가 질문을 처리할 때 더 많은 토큰이 사용되며, 마지막으로 답변이 생성될 때에도 토큰이 소모됩니다.

사용하는 모델과 대화 내용에 따라 이 토큰 사용량에 대한 비용을 지불하게 되며, 경우에 따라 더 많이 또는 적게 지불할 수 있습니다.

[Jagster (Jakke Flemming)]

o1 사용 가능 여부가 제 AI 사용 방식에 꽤 큰 변화를 가져왔습니다(그리고… 신이 아니라 로버트의 코딩 실력 덕분에 오직 저만 사용할 수 있도록 제한할 수 있었습니다). 하지만 o1 시리즈는 시스템 프롬프트를 사용하지 않으므로, 수학 표현 방법 등 필요한 지침을 제 프롬프트에 직접 추가해야 합니다.

실제 프롬프트, 즉 게시물 뒤에 자동으로 표준 텍스트를 추가할 수 있는 기능이 있다면 더 쉬울 텐데요. Discourse에는 이런 기능이 일종의 형태로 존재하지만, 제가 제대로 사용하지 못하거나 잘못된 방식으로 사용하려는 것 같습니다. 챗봇이 언급되거나 개인 메시지에 포함된 경우, 모든 카테고리 및 개인 메시지에 해당 텍스트가 나타나야 합니다. 그리고 오1 또는 o1-mini가 사용될 때만 작동해야 합니다

o1 시리즈는 아직 완성되지 않았으므로, 도구 사용 방식 등이 언제든 변경될 수 있습니다. 따라서 새로운 기능 요청보다는 옵션에 대한 논의를 더 원합니다. 또한 o1 시리즈는 너무 전문적이고(비싸서) 대량 처리 솔루션이 될 수 없으므로, 사용자가 이러한 추가 규칙을 직접 기억하고 추가해야 하는 요구는 정당화될 수 있습니다.

본론에서 약간 벗어났지만, GPT 모델들은 o1이 공개될 때 수학을 학습했습니다.

[merefield (Robert)]

음, Open AI의 비일관성을 메우기 위해 커스터마이징에 너무 깊이 들어갈 수는 없어요.

o1이 프리뷰를 종료할 때 도구, 그리고 아마도 시스템 프롬프트 기능까지 함께 출시될 거라고 강력히 추정합니다.

다만, 스니펫 시스템을 구현할 장소로 채팅봇이 적합하다고는 생각하지 않아요. 팀 중 한 명이 그걸 만들었던 기억이 나는데, 찾아서 게시글을 업데이트해 보겠습니다 …

[merefield (Robert)]

여기 있습니다:

Insertable, centrally maintained text/markdown snippets

One possible option is to use a theme component. This goes in header.html <script type="text/discourse-plugin" version="0.8"> var disclaimer = settings.Disclaimer_text, disclaimer_selector = 'div[data-theme="disclaimer"]'; $.fn.disclaimer = function() { if (!this.length) { return; } else { this.each(function() { $(this).html(disclaimer); }); return this; } }; api.decorateCooked($elem => $elem.children(disclaimer_selector).disclaimer()); // create composer butto…

[exlabs (Daniel)]

@Jagster 정말 명확하게 설명해 주셔서 감사합니다. 제가 다른 의미를 의도했던 건 아닌지 모르겠네요. 이 플러그인을 OpenAI와 통합하려고 이

를 사용 중입니다. 어떻게 연결해야 하는지에 대한 기본적인 정보만 얻어보려 합니다.

[Jagster (Jakke Flemming)]

그것은 액세스를 위해 생성하는 API 키일 뿐입니다. 더 이상은 아니고, 일종의 비밀번호라고 할 수 있습니다.

[merefield (Robert)]

아, 이제 혼동의 원인을 알겠네요.

네, API 토큰(또는 키, OpenAI에서 받아야 하는 것)과 단어의 일부를 나타내는 텍스트 _토큰_이 있습니다. 후자는 LLM에 의해 처리되며, 전자는 API 인증을 위해 사용됩니다.

The Verge에서 용어에 대해 꽤 좋은 가이드를 제공했으니 참고해 보세요:

AI is confusing — here’s your cheat sheet

[Amicable]

로컬에서 Llama를 실행 중이고, 로컬 Discourse 인스턴스에서 이걸 돌리려는 작업이 거의 다 되어 가고 있습니다. 챗봇은 잘 대화하고 있어요 하지만 임베딩(Embedding) 처리를 하는데 어려움을 겪고 있습니다. 벤치마크 사용자는 신뢰 수준(Trust Level) 1로 설정되어 있습니다. rake chatbot:refresh_embeddings[1] 레이크 태스크가 인증 문제로 실패하고 있습니다.

Faraday::UnauthorizedError: the server responded with status 401 (Faraday::UnauthorizedError)

챗봇의 Open AI 토큰 필드에 Llama가 제공한 URL을 붙여넣었습니다.

올바르게 인증하는 방법에 대해 조언을 주실 수 있을까요?

[merefield (Robert)]

시도해 주셔서 좋습니다!

@Amicable

Chatbot은 대화 중입니다 하지만 임베딩(embedding)을 완료하는 데 어려움을 겪고 있습니다.

대화 중이라는 점이 좋습니다

Chatbot이 로컬에서 임베딩을 사용할 수 있는지는 확신할 수 없습니다.

해당 기능을 추가하는 좋은 PR을 기꺼이 수용하겠습니다.

다음 링크를 찾았습니다:

Embedding models · Ollama Blog

따라서 적절한 모델과 Chatbot에 필요한 추가 코드 및 설정이 있다면 가능할 수 있습니다. 아직 존재하지 않는 커스텀 임베딩 모델 설정이 필요할 것입니다.

다만 이미 다음 설정이 있습니다:

chatbot open ai embeddings model custom url

이것은 주로 Azure 지원을 돕기 위해 구현되었지만, Chat Completions가 로컬 ollama 서비스로 가리킬 수 있는 것과 유사한 방식으로 재사용할 수 있습니다.

현재 이것이 로컬에서 봇의 유용성을 제한하고 있다는 점을 인지하고 있습니다.

@Amicable

적절하게 인증하는 방법에 대한 제안이 있으신가요?

이것은 엔드포인트로 전송되는 토큰입니다. 단순히 텍스트 필드입니다. 여기에 URL이 작동할 가능성은 매우 낮습니다. 아래쪽에 커스텀 채팅 완성(Chat Completions) 엔드포인트 URL 설정이 더 있습니다:

예: chatbot open ai model custom url high trust

포크를 하고 기존에 존재하는 내용과 일치하며, 이미 사용 가능한 것을 활용하되, ollama로 로컬 임베딩 지원을 달성하는 데 필요한 최소한의 추가만 수행하고, Open AI 및 Azure의 기존 동작을 그대로 유지한다면, 반드시 병합(Merge)을 목표로 PR을 검토하겠습니다.

[Amicable]

@merefield

이것을 찾았습니다:

Embedding models · Ollama Blog

따라서 Chatbot에서 적절한 모델과 관련 추가 코드 및 설정을 사용한다면 가능할 수도 있습니다.

곧 출시 예정
임베딩을 포함하는 워크플로를 지원하기 위해 더 많은 기능이 추가될 예정입니다:
…
OpenAI API 호환성: OpenAI 호환 /v1/embeddings 엔드포인트 지원

이처럼 빠르게 변화하는 분야에서 '곧’이라는 말은 실제로 '곧’인 경우가 많으므로, 제 사용 사례를 해결하기 위해 이 기능을 기다려 볼 가치가 있는 것일까요?

저희 인스턴스는 20년 전까지 거슬러 올라가는 정보의 보고이지만, 정보 유출 가능성도 큰 우려 사항이라 로컬 테스트를 원하게 되었습니다.

[Amicable]

API 엔드포인트 호환성을 해결하는 것 같은 Ollama PR을 찾은 것 같습니다. 이 부분을 더 잘 이해해야겠지만, 지금 방향이 맞나요?

[merefield (Robert)]

현재 커스텀 임베딩 모델을 설정할 수 있는 옵션이 없어서, 이건 치명적인 문제입니다.

로컬에서 실행하는 경우, ollama를 위해 다운로드한 모델로 하드코딩하여 시도해 볼 수 있습니다.

더 생각해보면, 직면하게 될 또 다른 문제는 임베딩 테이블 정의에서 차원이 OpenAI의 소형 모델 표준으로 설정되어 있다는 점인데, 이게 매우 큽니다… 어떻게 그 문제를 극복할 수 있을지 한번 생각해 보세요…

[merefield (Robert)]

Chatbot 1.2.는 AI 기반 사용자 필드 수집을 실험적 기능으로 도입했습니다.

사용자가 현재 비어 있는 선택적 사용자 필드가 있는 경우, 이 설정을 활성화하면 봇이 사용자에게 해당 정보를 요청하기 시작합니다. 미완료된 사용자 필드가 모두 채워질 때까지 진행한 후, 정상 동작으로 복귀합니다.

(응답이 느린 점 양해 부탁드립니다 - 이는 개발 환경에서 녹화되었습니다)

참고로 이 기능은 다음 항목만 지원합니다:

• 텍스트
• 드롭다운
• 확인

다중 선택은 아직 지원되지 않습니다.

필드는 _선택적_이어야 합니다.

사용자 필드의 순서가 우선순위를 결정합니다.

[merefield (Robert)]

Chatbot 1.3 버전이 출시되었습니다

• 기능 추가: 토큰별로 할당량(quota)을 관리할 수 있는 옵션 추가
  • 새로운 설정 chatbot_quota_basis를 통해 이를 활성화할 수 있으며, 그렇지 않으면 기존처럼 쿼리 수 기준으로 관리됩니다.
  • 기본 설정에서의 유일한 차이는 할당량이 시작 최대 할당량(여전히 동일한 신뢰 수준 설정에 기반함)에서 _내려_오는 방식으로 계산된다는 점입니다.
• 기능 추가: DALL-E와 같은 API 호출 비용을 사용자 사용량에 포함
  • 토큰 기준에서만 적용
  • API 기능의 토큰 비용을 조절하기 위해 세밀하게 조정할 수 있는 다양한 새로운 설정 추가
• 기능 추가: 사용자가 남은 할당량을 확인할 수 있는 기능 추가

FEATURE: add option to manage quotas by token (#124)

Chatbot은 항상 사용량 할당량 강제 기능을 포함하고 있었습니다.

오늘 이 기능이 더 정교해졌습니다!

Chatbot은 이제 토큰별 사용량에 대한 할당량을 추적하고 강제할 수 있습니다.

API 호출에 비용을 부과하여 과도한 사용을 억제할 수 있으므로, 예를 들어 이미지 생성에 대한 액세스를 제공해도 덜 걱정할 수 있습니다.

토큰 추적은 선택 사항(opt-in)입니다. 토큰 추적 방식으로 변경하는 경우, 값이 몇 배(orders of magnitude) 더 커야 하므로 각 신뢰 수준의 할당량을 늘리는 것이 중요합니다. 실험해 보세요.

그러나 쿼리별 추적 방식은 약간 변경되었습니다. 이제 허용된 최대 쿼리 수로 리셋되어 _0_까지 _내려_오는 방식으로 계산됩니다.

모든 사용자가 풀 할당량(full quota)으로 시작하도록 전역 할당량 리셋 작업을 한 번 실행하는 것을 고려해 볼 수 있습니다. 이것은 일회성 작업입니다!

/sidekiq/scheduler의 sidekiq에서:

트리거 버튼을 누르세요.

어떤 경우든 이제 사용자는 남은 할당량이 얼마인지 물을 수 있습니다:

참고: 알려진 문제: 리셋 작업이 실행되기 전에 이 질문이 처음으로 묻히는 경우, 답변이 다소 이상할 수 있습니다! 리셋 작업이 실행되었든 아니든, 두 번째로 이 질문을 물으면 정상적으로 작동해야 합니다.

[Epoch]

로버트, 안녕하세요.

봇에 쏟아부은 노고에 감사드립니다. 하지만 채팅에서 봇을 호출할 때 로그에 다음과 같은 오류가 발생하고 있습니다.

재설치 없이 해결할 수 있는 방법이 있을까요?

[willie]

로버트 씨, 이 봇을 관리자처럼 설정할 수 있을까요? 시도해 봤는데 봇에는 그런 옵션이 아예 없어요.

[merefield (Robert)]

첫 번째 오류는 채팅(“Post Embedding”)과 아무런 관련이 없습니다. 이 오류는 무해하며, 시스템이 임베딩을 생성할 시간이 주어지기 전에 게시글을 생성 직후 삭제할 때 발생합니다. 삭제 이벤트는 해당 임베딩을 삭제할 작업을 시작하지만, 이러한 경우 해당 임베딩이 존재하지 않기 때문입니다. 무시하셔도 됩니다.

두 번째 오류의 백트레이스를 로그 탭에서 공유해 주시겠습니까?

채팅에서 봇을 호출하려면 봇을 @멘션하거나 플러그인 설정에서 활성화된 빠른 액세스(Quick Access) 기능을 사용해야 합니다. 또한 채팅에서 봇이 활성화되어 있는지(이것도 플러그인 설정) 확인해야 합니다.

참고로 봇은 현재 채팅 스레드(Chat Threads)를 지원하지 않으며, 최상위 레벨 채팅에서만 작동합니다. 스레드에서 접근을 시도하고 계신 건가요?