Discourse 챗봇 🤖

[merefield (Robert)]

AI 에이전트가 포럼 관련 질문에만 답변하도록 제한하는 방법은?

Although prompts can influence an agent’s behavior, they aren’t always reliable. I was able to trick the agent at ask.discourse.com into answering a few off-topic questions. [image]

@Karthik_K1 마지막 게시물에 있는 스크린샷을 확인해 주십시오.

채팅봇이 이 문제를 거의 비용 효율적으로 해결합니다:

@merefield

• #166 — 기능: 시맨틱 차단 질문 게이트 추가 ( FEATURE: Add semantic blocked-question gate - Pull Request #166 - merefield/discourse-chatbot - GitHub )
  관리자가 정의한 차단 주제를 식별하고, 메인 모델을 호출하기 전에 미리 정의된 응답을 반환할 수 있는 선택적 임베딩 기반 게이트를 추가했습니다. 캐싱, 스태프 감사, 장애 시 열림(fail-open) 동작, 사용자 정의 임베딩 모델 지원이 포함됩니다.

물론 제3자 플러그인을 설치할 수 없는 경우, 이 방법은 큰 도움이 되지 않을 것입니다.

해결책이 시스템 프롬프트 기반 가드보다 낫기를 기대하지만, 완벽하게 foolproof(실수 방지)는 아니며, 경우에 따라 지나치게 엄격하여 원래 합리적인 메시지들을 차단할 수도 있습니다.