Discourse 챗봇 🤖

[37Rb (Ryan)]

추론(reasoning)을 최소로 설정하기 전까지 저희 봇은 계속 타임아웃이 발생했습니다. 감사합니다!

[merefield (Robert)]

솔직히 GPT-5는 추론 수준이 높을 때 전반적으로 너무 느리고, 응답 대기 시간이 길어지는 것이 명확한 이점을 주지 않는 것 같습니다.

고객 지원 봇에 사용해보셨을 때 어땠나요? 최소 추론 수준의 GPT-5가 4o나 4.1보다 더 나은 성능을 발휘하나요?

[Jagster (Jakke Flemming)]

ChatGPT에서 gpt-5를 사용해 봤는데, API를 통해 사용하는 것과 정말로 많이 다른 것 같아요. gpt-5는 4o나 o1이 내놓는 답변보다 약간 더 나은 답변을 주기 위해 긴 추론 시간이 필요하거든요. 빠른 답변이 필요할 때는 4.1보다 나은 점이 전혀 없습니다.

API를 사용할 때는 도구와 프롬프팅의 부족으로 인해 상황이 비슷하거나 더 나을 것이라고 꽤 확신합니다. 하지만 gpt-5가 너무 느리고 포럼 환경에서는 거의 빛의 속도로 답변해야 하므로, 확신할 수는 없습니다.

[37Rb (Ryan)]

콘텐츠 성능 측면에서, 개인적인 경험에 따르면 gpt-5가 gpt-4o보다 기술적인 답변에서 눈에 띄게 더 나은 결과를 내는 것 같습니다. 이를 어떻게 정량화해야 할지 모르겠지만, 정말 인상적이었습니다.

응답 시간이 얼마나 걸리는지에 따라 결과가 제각각입니다. 오늘 아침 실험을 해본 결과, gpt-5가 평균적으로 더 느린 것 같지만 큰 차이는 아니며, gpt-5가 더 빠르게 응답하는 경우도 있었습니다. 답변까지 걸리는 시간은 5초에서 35초 사이로 측정되었습니다.

저희는 RAG를 사용하고 있는데, 지연 시간 중 어느 부분이 RAG 검색에서 발생하고 어느 부분이 채팅 완성(chat completion)에서 발생하는지 구분하기가 어렵습니다. 가끔 RAG 검색을 선택하지 않거나, 검색이 더 빨리 수행되거나, 검색이나 완성 과정에서 무언가가 캐시되는 것일 수도 있습니다.

저희는 일반적으로 더 빠른 응답보다 더 나은 답변을 선택합니다. 고객에게 잘못된 기술 조언을 주는 것은 비용이 크기 때문입니다. 다만, 일정 수준을 넘어 타임아웃이 발생하면 사용자 경험에 매우 치명적입니다.

GPT-5는 저희 사용 사례에 대해 주로 gpt-5-mini를 사용하고, 특정 상황에서는 gpt-5로 에스컬레이션하는 것을 권장했습니다. 흥미롭지만 복잡한 접근법입니다. 모델을 동적으로 전환하는 것을 고려해 보셨나요? 왜 OpenAI가 이를 자동으로 하지 않을까요? ChatGPT - Compare GPT models performance

[37Rb (Ryan)]

gpt-5-mini는 할 수 없는 일을 할 수 있다고 생각하는 것 같아 gpt-4o로 돌아가야 했습니다. 이 모델은 자신감 있게 고객의 경보 모니터링 서비스를 설정하고 가정에 설치된 경보 장비와 연결해 주겠다고 제안했습니다. 마치 컨시어지처럼 모든 것을 설정해 주는 척하며 장비 ID 번호를 요청하고 환각(hallucination)을 일으켰습니다. 우리 웹사이트는 이런 기능을 제공할 수 있지만, 챗봇은 제공할 수 없습니다. gpt-4o가 그랬던 것처럼 시스템 프롬프트의 가드레일을 존중하지 않는 것 같습니다. 사람들이 이 모델을 사용할 수 있도록 하기 전에 프롬프트를 더 엄격하게 조정해야 할 것 같습니다.

업데이트: gpt-5가 gpt-5-mini보다 프롬프트의 지시를 따르고 규칙을 존중하는 데 훨씬 더 뛰어난 것으로 밝혀졌습니다. 봇이 브랜드를 대표하도록 할 계획이라면, gpt-5-mini가 통제에서 벗어날 위험이 너무 크기 때문에 느리고 5배 비싸더라도 gpt-5 사용을 권장합니다.

[StevePlex (Steve King)]

GTP-5-mini를 에이전트 플로우에서 도구 호출, 코드 작성 및 구조화된 데이터를 활용해 정말 좋은 결과를 얻었습니다. 일반적으로 구조화된 데이터가 비구조화된 데이터보다 AI 앱에서 다루기 쉽다는 것을 알게 되었습니다! .. 예상과는 달랐습니다! 하지만 가드레일(제약 조건)을 설정하기가 더 쉽습니다 .. (코드 인 루프, 휴먼 인 루프, LLM-as-judge 등)

고성능, 저비용 GPT-5-mini와 GPT-4o의 단계별 상세 분석을 담은 이 영상을 꼭 확인해 보세요.

AI 4 BI: Query complex business data w/ natural language. The holy grail for quant software arrives!

누군가가 Discourse에 플러그인 등으로 구조화된 데이터 처리 기능을 통합하는 데 관심이 있다면 연락 주세요.

예를 들어 Data Explorer에 SQL/통계/데이터 과학을 위한 NLP 확장을 추가하는 것 같은 방식이 될 수 있습니다.. 하지만 컨테이너에 로드된 읽기 전용 SQLite 또는 DuckDB 등 OLAP 파일에 대해 자연어 쿼리를 허용하는 도구/플러그인/기능도 가능할까요? 그저 아이디어 하나일 뿐입니다..

[merefield (Robert)]

참고로, 플러그인에 GPT 5.1을 추가하고 몇 가지 수정 사항을 반영했습니다:

COMPATIBILITY: use new modifyClass syntax and fix import (#147)

[merefield (Robert)]

@tom_eric 님은 다른 포럼 멤버들과 게임을 할 수 있는 기능에 대해 다른 주제에서 질문하셨습니다.

저는 이 프롬프트를 Chatbot과 함께 시도해 보았는데, GPT 5.1에서는 잘 작동하는 것 같습니다. 한번 시도해 보세요:

@Chatbot 9x9 바둑 게임을 @Other_Player와 제가 진행하도록 해주세요. 마크다운 테이블을 사용하여 보드를 렌더링하고, 제가 먼저 돌을 놓게 해주세요. 제 차례와 @Other_Player의 차례일 때만 저와 @Other_Player의 수를 받아들이고, 보드를 렌더링한 후 제가 시작하도록 요청하세요 …

[tom_eric]

아, 감사합니다. 정말 창의적인 아이디어네요.아, 감사합니다. 정말 창의적인 아이디어네요.

[merefield (Robert)]

괜찮아요, 어떻게 되는지 알려주세요

[merefield (Robert)]

약간 커스터마이즈된 개발 환경 덕분에 이 플러그인과 Discourse Frotz를 사용하여 챗봇이 Zork를 플레이하는 실험을 해볼 수 있었습니다.

(여기서는 낮은 추론 수준으로 GPT 5.1을 사용했습니다)

약간의 시간이 지난 후:

점수가 꽤 쌓이고 있습니다! 그리고:

(사과드립니다. 설정이 너무 복잡해서 여기에서 간단히 공유하기 어렵습니다.)

[NateDhaliwal]

와! 그게 가능할 줄은 몰랐어요. 좋은 프롬프트라면 거의 모든 게 가능한 것 같네요

[merefield (Robert)]

채팅봇 모델 드롭다운에 gpt 5.2와 5.2 pro가 추가되었습니다 - 그리고 5.2에는 이제 토큰 소모와 환경 파괴를 좋아하는 분들을 위해 xhigh 추론 레벨이 있습니다

수학 플러그인 사용자는 시스템 프롬프트에 아무것도 추가하지 않아도 채팅봇이 잘 렌더링된 수식과 함께 수학을 쉽게 논의할 수 있다는 점도 주목할 만합니다 …

[merefield (Robert)]

발사 버튼을 오른쪽 하단의 훨씬 깔끔한 위치로 옮겼습니다 (iOS PWA/앱 제외). 의도와 다르게 작동한다면 알려주세요.

이건 원래 iOS에서 귀찮은 컨트롤 바를 고려하면서 CSS를 단순화하기 위한 것이었지만, 더 이상 그대로 둘 수가 없었습니다. 눈이 아팠거든요

[merefield (Robert)]

@ThisSource 이거 디스커스용 첫 AI 챗봇이었는데요, 아직까지도 잘 돌아가고 있어요

[merefield (Robert)]

Chatbot의 첫 번째 정기 비즈니스 스폰서인 Surety를 발표하게 되어 기쁩니다. 이제 Surety는 README의 새로운 프로젝트 스폰서 섹션을 차지하고 있습니다.

Surety는 DIY 사용자들에게 가장 투명하고 효율적인 방식으로 전문가 수준의 보안 경보 모니터링과 홈 자동화를 제공하기 위해 노력하고 있으며, 이는 가정용 보안 업계의 기존 흐름에 반하는 것입니다.

감사합니다, Surety!

README.md

@37Rb

저의 프로젝트 중 하나를 스폰서로 참여하고 싶으시다면 다음 링크를 확인해 주세요: Sponsor @merefield on GitHub Sponsors · GitHub

[merefield (Robert)]

최근 PR 요약 — 2026년 8월 1일~3일

Discourse Chatbot 및 그 확장 플러그인 전반에서 여러 관련 PR이 병합되었습니다.

주요 내용

• verify-and-revise, best-of-two, 불확실성 기반 추론을 포함한 고급 로컬 추론 전략을 도입했습니다.
• 최신 OpenAI 모델과 새로운 최대 추론 노력(max reasoning effort)을 추가했습니다.
• 임베딩 유사도를 활용한 의미론적 차단 질문 게이트를 추가했습니다.
  • LLM 토큰 비용 없이 봇이 처리하지 않기를 원하는 주제를 임베딩을 통해 차단하므로 상당한 비용 절감 효과가 있습니다.
• 기본 구현과 RAG 구현을 단일 DiscourseChatbot::Bot으로 통합했습니다.
• 봇 모드 설정을 신뢰 수준 내장 도구 선택자로 대체했습니다.
• 확장 API 명칭을 “Function”에서 “Tool”로 변경했습니다.
• SafeRuby 기반 계산기 도구를 제약된 Dentaku 표현식 평가기로 대체했습니다 - 이름과는 달리 SafeRuby에는 취약점이 존재하므로 보안 측면에서 큰 개선 사항입니다.
• Chatbot 및 그 확장 플러그인 전반에 걸쳐 Zeitwerk 로딩을 채택했습니다.
• 위치 관련 도구를 Locations Early Access 플러그인으로 이동했습니다 (접근 권한 재획득을 위해 스폰서를 해주세요)
• 계산기 오류 복구 및 일반 π/e 표기법에 대한 지원을 개선했습니다.
• README를 갱신했습니다.
• 메인 플러그인 버전을 1.8.0에서 2.4.1로 업데이트했습니다.

Discourse Chatbot

• #162 — 수정: Responses API 추론 상태 보존 (FIX: Preserve Responses API reasoning state - Pull Request #162 - merefield/discourse-chatbot - GitHub)
  Responses API의 추론 및 도구 연속성을 안정화하고, 구성 가능한 반복 및 토큰 한도를 도입했으며, URL 출처 검증을 개선하고 유용한 부분 응답을 보존하며, 빈 응답이나 형식이 잘못된 응답이 수용되는 것을 방지했습니다.

• #163 — 기능: 고급 로컬 추론 전략 추가 (FEATURE: Add advanced local reasoning strategies - Pull Request #163 - merefield/discourse-chatbot - GitHub)
  Chat Completions을 위한 단순, verify-and-revise, best-of-two, 불확실성 기반 추론 전략을 추가했으며, 보조 요청에 한계를 두었고 스태프가 볼 수 있는 감사 기록을 도입했습니다.

• #164 — 기능: 최신 OpenAI 모델 추가 (FEATURE: Add current OpenAI models - Pull Request #164 - merefield/discourse-chatbot - GitHub)
  모델 선택기에 최신 GPT-5.x 및 Pro 변형을 업데이트하고, 적절한 모델을 Responses API로 라우팅하며, 최대 추론 노력을 추가했습니다.

• #165 — 수정: 계산기 재시도 가이드 개선 (FIX: Improve calculator retry guidance - Pull Request #165 - merefield/discourse-chatbot - GitHub)
  모델이 계산기 구문과 복구 가이드를 더 명확하게 이해할 수 있도록 하여, 수정 가능한 실패가 적절히 재시도되도록 했습니다.

• #166 — 기능: 의미론적 차단 질문 게이트 추가 (FEATURE: Add semantic blocked-question gate - Pull Request #166 - merefield/discourse-chatbot - GitHub)
  관리자가 정의한 차단된 주식을 식별하고 메인 모델을 호출하기 전에 표준 응답을 반환할 수 있는 선택적 임베딩 기반 게이트를 추가했습니다. 캐싱, 스태프 감사, 실패 시 개방(fail-open) 동작, 사용자 정의 임베딩 모델 지원을 포함합니다.

• #167 — 개발: SafeRuby 대체 및 Zeitwerk 로딩 채택 (DEV: Replace SafeRuby and adopt Zeitwerk loading - Pull Request #167 - merefield/discourse-chatbot - GitHub)
  벤더링된 SafeRuby 평가기를 Dentaku로 대체하고, 네임스페이스와 파일명을 Zeitwerk와 정렬했으며, 플러그인의 로딩 및 린트 구성을 현대화했습니다. SafeRuby에 취약점이 있었던 것으로 밝혀져 이 마이그레이션이 이루어졌습니다.

• #168 — 개발: Chatbot에서 Locations 함수 추출 (DEV: Extract Locations functions from Chatbot - Pull Request #168 - merefield/discourse-chatbot - GitHub)
  메인 플러그인에서 위치 관련 도구와 설정을 제거하여, discourse-locations가 독립적으로 제공할 수 있도록 했습니다.

• #169 — 기능: 봇 모드를 신뢰 수준 도구 선택으로 대체
  (FEATURE: Replace bot modes with trust-level tool selection - Pull Request #169 - merefield/discourse-chatbot - GitHub)
  이는 주요 아키텍처 합리화 작업이었습니다:

  • 개별 기본 및 RAG 봇을 DiscourseChatbot::Bot으로 대체했습니다.
  • 각 신뢰 수준에 대한 내장 도구 선택자를 추가했습니다.
  • 빈 선택자를 도구 없이 단순한 봇과 동등하게 취급하도록 했습니다.
  • 비전(Vision) 및 페인팅을 도구 선택 시스템에 통합했습니다.
  • 외부에서 공급되는 플러그인 도구는 내장 선택자 외부에 두었습니다.
  • Function 용어, 설정 및 클래스를 Tool로 변경했습니다.
  • 설정을 재배치, 인접 배치 및 조건부로 숨겼습니다.
  • 기존 구성을 위한 마이그레이션 처리를 추가했습니다.
  • 할당량 차감을 동시성 안전하도록 만들었습니다.
  • 응답 문자 수 제한, 로깅 선택, 바이너리 PDF 읽기를 수정했습니다.

• #170 — 수정: 계산기 도구 복구 개선 (FIX: Improve calculator tool recovery - Pull Request #170 - merefield/discourse-chatbot - GitHub)
  Math::PI, Math.PI, Math::E, Math.E, π와 같은 친숙한 표현식을 Dentaku 호환 구문으로 정규화했습니다.
  변경되지 않은 잘못된 호출이 반복될 경우 실행 가능한 가이드와 함께 거부됩니다.

• #171 — 개발: 챗봇 문서 갱신 (DEV: Refresh chatbot documentation - Pull Request #171 - merefield/discourse-chatbot - GitHub)
  통합된 봇 및 도구 아키텍처, 추론 전략, 차단된 질문, 계산기 동작, 한도, 할당량, 사용자 정의 엔드포인트, 이미지/PDF 지원, 현재 설정에 대해 README를 업데이트했습니다. 비전 지원은 더 이상 실험적이라고 설명되지 않습니다.

동반 플러그인

• discourse-locations #4 — 수정: 도구 API에 맞게 Chatbot 위치 확장 업데이트 (https://github.com/merefield/discourse-locations-early-access/pull/4)
  추출된 위치 통합을 DiscourseChatbot::Tool로 마이그레이션하고, Locations::Chatbot::Tools 아래에 배치했으며, 통합된 봇에 맞게 업데이트했습니다.

• Function 확장 예제 #1 — 수정: Chatbot 도구 API에 맞게 예제 확장 업데이트 (FIX: Update example extension for Chatbot tool API - Pull Request #1 - merefield/discourse-chatbot-function-extension-example - GitHub)
  예제 플러그인을 DiscourseChatbot::Tool, Zeitwerk 로딩, 도구 지향 설정 및 번역, 레거시 호환성 코드 없이 초점을 맞춘 동작 테스트를 시연하도록 업데이트했습니다.

[merefield (Robert)]

[merefield (Robert)]

AI 에이전트가 포럼 관련 질문에만 답변하도록 제한하는 방법은?

Although prompts can influence an agent’s behavior, they aren’t always reliable. I was able to trick the agent at ask.discourse.com into answering a few off-topic questions. [image]

@Karthik_K1 마지막 게시물에 있는 스크린샷을 확인해 주십시오.

채팅봇이 이 문제를 거의 비용 효율적으로 해결합니다:

@merefield

• #166 — 기능: 시맨틱 차단 질문 게이트 추가 ( FEATURE: Add semantic blocked-question gate - Pull Request #166 - merefield/discourse-chatbot - GitHub )
  관리자가 정의한 차단 주제를 식별하고, 메인 모델을 호출하기 전에 미리 정의된 응답을 반환할 수 있는 선택적 임베딩 기반 게이트를 추가했습니다. 캐싱, 스태프 감사, 장애 시 열림(fail-open) 동작, 사용자 정의 임베딩 모델 지원이 포함됩니다.

물론 제3자 플러그인을 설치할 수 없는 경우, 이 방법은 큰 도움이 되지 않을 것입니다.

해결책이 시스템 프롬프트 기반 가드보다 낫기를 기대하지만, 완벽하게 foolproof(실수 방지)는 아니며, 경우에 따라 지나치게 엄격하여 원래 합리적인 메시지들을 차단할 수도 있습니다.

[merefield (Robert)]

캐시 최적화를 적용했습니다. 이를 통해 Chatbot 사용 비용이 낮아지고 응답 속도가 빨라질 것입니다.

PERF: Maximize prompt cache reuse (#172)