Discourse 챗봇 🤖

[merefield (Robert)]

	요약	Discourse용 원본 AI 챗봇
	리포지토리 링크	GitHub - merefield/discourse-chatbot: An AI bot with RAG capability for Topics, Chat & Customer Support in Discourse, currently powered by OpenAI · GitHub
	설치 가이드	Discourse에 플러그인 설치 방법
	스폰서십	이 플러그인이 마땅히 받아야 할 유지보수를 받고 향후에도 사용자의 사이트에서 계속 작동할 수 있도록, 사용자의 조직과 개인의 자원 및 필요에 맞는 수준으로 저의 오픈소스 작업에 대한 정기적인 스폰서가 되어 주십시오.

이 플러그인을 즐기고 계신가요? GitHub에서 를 눌러 주세요!

이는 독립적으로 기여된 플러그인이므로, 지원, 버그, UX, 기능 요청은 이 토픽에서 해 주십시오. 참고: 이 플러그인은 Discourse.org 호스팅에서는 사용할 수 없습니다. 셀프 호스팅을 하고 있거나, 제3자 호스팅을 사용 중이라면(단, 제공업체와 확인 필요) 설치할 수 있습니다.

Discourse용 원본 AI 챗봇

Chatbot은 토픽, 개인 메시지, 채팅 채널, 채팅 스레드에 설정 가능한 AI 대화를 제공합니다. 커뮤니티에 적합한 캐릭터를 봇에 부여하고, 어떤 그룹이 이를 사용할 수 있는지 결정하며, 신뢰도가 낮거나 중간이거나 높은 사용자를 위해 서로 다른 모델과 도구를 선택할 수 있습니다.

다음과 같은 기능을 수행할 수 있습니다:

• 현재 대화에서 정상적으로 답변;
• 선택된 포럼 콘텐츠를 시맨틱 또는 하이브리드 검색으로 탐색;
• 위키백과, 최신 뉴스, 웹 검색;
• 원격 페이지 크롤링 및 종일 시장 데이터 조회;
• 신뢰할 수 있는 식기 기반 계산 수행;
• 업로드된 이미지 보기 및 선택적으로 PDF 읽기;
• 이미지 생성 및 편집;
• 비공개 대화에서 미입력된 편집 가능한 사용자 필드 수집;
• 비공개 채팅 대화를 설정된 스태프 그룹으로 에스컬레이션;
• 선택된 카테고리에서 새로운 토픽에 자동으로 응답; 그리고
• 다른 플러그인이 제공하는 추가 도구 수용.

실용적인 지원 워크플로우에 대해서는 기술 지원 챗봇 구축하기를 참고하십시오.

로컬 포럼 검색이 활성화되면, 봇은 커뮤니티의 콘텐츠에 기반하여 답변을 뒷받침할 수 있습니다:

더 단순한 대화를 위해, 호출 횟수, 지연 시간, 비용을 줄이려면 도구를 적게 노출하거나 노출하지 마십시오:

프로바이더 지원

응답, 임베딩, 비전, 이미지 생성을 위해 프로바이더를 독립적으로 선택하십시오. 각 기능은 선택된 프로바이더에 속한 API 키를 재사용합니다.

기능	OpenAI	Anthropic	Google Gemini	xAI
LLM 응답 및 도구
임베딩		—
비전
이미지 생성		—
이미지 편집	GPT Image 모델	—	—
PDF 대화 입력		—	—	—

커스텀 URL이 설정되지 않은 경우, Chatbot은 선택된 프로바이더의 내장된 공식 엔드포인트를 사용합니다. 커스텀 모델 이름과 URL은 지원되는 프로바이더의 API 형식을 구현하는 Azure OpenAI, Ollama, 프록시 및 기타 서비스를 지원합니다.

프로바이더별 모델 드롭다운은 해당 프로바이더가 활성화된 경우에만 표시됩니다. 응답 모델은 신뢰 수준에 따라 달라질 수 있으며, 임베딩, 비전, 이미지 생성은 각각 고유한 프로바이더와 모델 선택기를 가집니다.

전체 프로바이더 및 커스텀 엔드포인트 가이드 보기

액세스, 할당량 및 도구

Chatbot의 낮은, 중간, 높은 신뢰 수준 그룹 설정에 그룹을 할당하기 전까지는 아무도 액세스할 수 없습니다. 사용자는 가장 높은 일치하는 Chatbot 신뢰 수준의 할당량, 모델, 도구 허용 목록을 상속받습니다. 할당량은 쿼리 또는 토큰으로 측정할 수 있습니다.

내장 도구는 각 신뢰 수준별로 독립적으로 선택됩니다. 자격 증명 및 지원 설정은 여전히 런타임 가용성을 제어하므로, API 키 없이 웹 도구를 선택해도 노출되지 않습니다.

액세스 및 할당량과 신뢰 수준별 도구에 대해 읽어보세요.

로컬 포럼 검색 및 개인정보 보호

로컬 포럼 검색을 활성화하기 전에 임베딩 범위를 이해하십시오.

기본 benchmark_user 전략은 구성된 신뢰 수준에서 적합한 사용자에게 보이는 콘텐츠를 임베딩합니다. categories 전략은 명시적으로 선택된 카테고리의 콘텐츠를 임베딩합니다. 시맨틱 검색은 속도를 최적화하도록 설계되어 봇에게 질문하는 모든 사람에게 가시성 검사를 반복하지 않으므로, 범위에 제한된 콘텐츠가 포함되면 원래 대상 밖으로 공유될 수 있습니다.

개인 메시지는 절대 임베딩되지 않습니다. 벤치마크 신뢰 수준을 낮게 유지하고, 콘텐츠가 모든 Chatbot 사용자에게 공개될 수 있는 경우를 제외하고는 비공개 카테고리를 피하며, 사용하지 않아야 하는 신뢰 수준에서 local_forum_search를 제거하십시오.

선택된 프로바이더는 대화 콘텐츠, 업로드, 임베딩된 검색 결과, 도구 결과를 받을 수 있습니다. 해당 프로바이더의 보유 및 데이터 사용 약관을 검토하고, 포럼의 약관 및 개인정보 보호 고지에 이 처리를 명시하십시오.

전체 임베딩, 범위 및 개인정보 보호 가이드 보기

빠른 시작

1. 일반적인 셀프 호스팅 플러그인 절차를 사용하여 플러그인을 설치하십시오.
2. chatbot_llm_provider를 선택하고 해당 프로바이더의 API 키를 입력한 후, 각 신뢰 수준에 대한 모델을 선택하십시오.
3. 낮은, 중간, 또는 높은 신뢰 액세스 설정에 그룹을 추가하고 할당량을 구성하십시오.
4. 각 신뢰 수준에서 사용할 수 있는 내장 도구를 선택하십시오.
5. local_forum_search를 활성화하는 경우, 그 임베딩 프로바이더를 구성하고 범위를 신중하게 검토하십시오.
6. 봇을 멘션하거나, 봇에게 답장하거나, 빠른 액세스 버튼을 사용하거나, 카테고리 자동 응답 프롬프트를 구성하십시오.

빠른 OpenAI 예시

1. OpenAI API 키를 생성하고 API 결제가 활성화되어 있는지 확인하십시오.
2. chatbot_llm_provider를 OpenAI로 설정하고 키를 chatbot_open_ai_token에 붙여넣으십시오.
3. 커스텀 URL을 비워 두고, 사용하려는 각 신뢰 수준에 OpenAI 모델을 선택한 후, 테스트 그룹을 일치하는 Chatbot 액세스 설정에 추가하십시오.
4. 허용된 토픽, 개인 메시지, 채팅에서 봇을 멘션하여 테스트하십시오.

리포지토리 README는 사전 요구 사항, 모든 주요 설정 그룹, 프로바이더별 동작, 커스텀 엔드포인트, 임베딩 유지보수, 프롬프트 커스터마이징, 디버깅, 확장 개발, 언인스톨링에 대한 사실의 원천입니다:

전체 README 열기

선택된 UI 기능

카테고리는 새로운 토픽을 환영하고 봇이 관련 커뮤니티 콘텐츠를 검색하도록 요청할 수 있습니다:

선택적인 빠른 액세스 버튼은 봇과의 직접적인 채팅 또는 개인 메시지를 열 수 있습니다:

사용자 필드 도구는 지원되는 빈 필드를 비공개로 수집할 수 있습니다:

지원 및 스폰서십

지원 요청, 버그, UX 피드백, 기능 아이디어를 이 Meta 토픽에서 보고해 주십시오. API 키와 비공개 콘텐츠를 제거한 상태에서 프로바이더, 모델 이름, 관련 설정, HTTP 상태 및 프로바이더 응답 본문을 포함하십시오.

이 작업은 커뮤니티의 지원에 의존합니다. 이 플러그인이 사용자의 사이트에 가치 있다면, 지속적인 유지보수를 스폰서해 주십시오.

프로젝트 스폰서

스폰서	레벨	웹사이트
Surety	Silver Plus	suretyhome.com

면책 조항

LLM은 설득적이지만 잘못된 출력을 생성할 수 있습니다. 플러그인을 커뮤니티의 필요에 맞게 테스트하고, 개인정보 보호 및 비용 영향을 이해하며, 적절한 모더레이션을 적용하십시오. 생성된 출력에 대한 약관은 프로바이더와 관할권에 따라 다르며, 활성화하는 모든 프로바이더의 약관을 검토하십시오.

[merefield (Robert)]

I added Jina.ai to the list of supported API’s which can be used for web search and web crawling. One key serves both services. Existing API’s are used if you do not remove their keys.

FEATURE: add jina.ai API for web search and crawl (#115)

There were two main reasons:

• crawling performance seems really good
• they offer a pay as you go model as opposed to a monthly fee which suits me and may suit you.

Link in settings.

Jina AI - Your Search Foundation, Supercharged.

[merefield (Robert)]

Hey thanks for your interest in Discourse Chatbot.

Two things may be relevant:

• the bot will Reply to every Post if invoked in a Topic with only a single User until more people join the Topic
• Per Category, you can get Chatbot to Reply to every new Topic and you can give it special instructions on what to do, governed by a Category specific prompt that you set up in the Category settings.

the bot will always be invoked if you @ mention it so I don’t know if you can utilise that feature too.

[merefield (Robert)]

@Festinger

We have a second private support category where the AI chatbot should reply to ‘every’ post without being mentioned. The AI chatbot should be triggered by a keyword.

‘every’ post? Or only those with a keyword? Are those two different requirements?

@sam

Automated Responses: The post classifier can generate replies to posts using predefined responses. This is useful for addressing frequently asked questions or common queries, sending spam to junk categories, and more.

Perhaps you could mention Chatbot in the predefined response and the bot will follow up? That would mean two Posts but might work.

So if your predefined response was “@Chatbot (or whatever you’ve renamed it to) please handle this” then Chatbot would follow up. Obviously you can tailor that response.

Note Chatbot can respond to whispers too (if you configure it so), so if the predefined response was in a whisper then normal users would only see the Chatbot response which might look neater.

I’m open to extending the capability of Chatbot if you wish to hire me to do so, so long as we can come up with a sufficiently generic solution that would be useful to others, but it makes sense to leverage what exists I think?

I wonder if the best action here is to add a Whisper capability to the AI Post Classifier? You could hire someone to PR that or raise it as a Contribute > Feature and hope it gets prioritised. That would undoubtedly be genericly useful?

[merefield (Robert)]

I made some code simplifications by making use of a feature that was added to the Open AI API. Let me know if you encounter any issues.

https://github.com/merefield/discourse-chatbot/pull/116

I decided it was time to call this 1.0.0

[merefield (Robert)]

Added the ability to add other functions in separate plugins, so you don’t have to maintain a fork of the Chatbot repo.

Example function plugin here:

https://github.com/merefield/discourse-chatbot-function-extension-example

but of course you could add this to any plugin …

PR:

https://github.com/merefield/discourse-chatbot/pull/117

[merefield (Robert)]

@Festinger did you solve this?

[ozkn (Mathx)]

Post Embedding: There was a problem, but will retry til limit: undefined method `destroy!’ for nil

After the last update, I started getting the above error. I get this error especially when it comes to images. My vision mode setting is: directly. I wasn’t getting such an error before.

[merefield (Robert)]

Do you recall deleting a Post (or Topic) shortly after creating one?

This error will occur if you create a Post then delete it before it has chance to create an embedding, so when you delete it, Chatbot tries to delete a non-existent embedding which creates an annoying log message but does not harm

If you can think of a better way of doing that, feel free to PR.

[ozkn (Mathx)]

It gave an error like this in the issue sent by the user. It wasn’t something I deleted.

[merefield (Robert)]

@ozkn

Post Embedding: There was a problem, but will retry til limit: undefined method `destroy!’ for nil

How did the user see this? This is only in logs?

[ozkn (Mathx)]

I saw it in the logs. I’ve been following it for a day, especially the problem occurs in the posts of users who have been members for a long time. If a new member opens a topic with a picture, there is usually no problem, no error is received. When old users open a topic with a picture, there is a problem.

[merefield (Robert)]

Can you please share the backtrace?

@ozkn

I saw it in the logs.

Then why did the user send you an issue? What did they tell you? The user should not be aware of any issue, it just shows up in the logs?

Sounds like your “old members” might be deleting their recently new topic or post (as they know how to do this) ?

Do you have any automation of any kind in place?

There is no destruction during posting of a post containing a picture, so I’m not sure how that could happen.

Update: I just uploaded an image to a site and cannot repro.

[Jagster (Jakke Flemming)]

SerpAPI is ok, and theirs statistic shows that request to use Google is done, but Chatbot claims it can’t use Google. That situations has been on for longer time, but I didn’t react because at the moment DAI didn’t want to use Google either.

No error messages.

[merefield (Robert)]

What happens if you say “search the web for …”?

The internal prompt is generic so doesn’t assume Google …

Let me show you a very good demo of this powerful capability:

Star Wars Outlaws impressions

(although this is using the bundled alternative jina.ai)

[Jagster (Jakke Flemming)]

I tried that. The system prompt had ”when an user asks seaching using Google user actually means you should use that web seaching function you had access to”. I deleted that part and then tried web search wording in my user prompt — after all, it isn’t using API by Google. No luck and similar answer: I can’t do web search…

This is only I found, but it doesn’t open this:

{
  "id": "chatcmpl-A1wT9Dp1fCIVSzRsVPhr3NnNCcPjW",
  "object": "chat.completion",
  "created": 1725026447,
  "model": "gpt-4o-2024-05-13",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": null,
        "tool_calls": [
          {
            "id": "call_MvzexRPsDj6EGuXhuiFcmtrd",
            "type": "function",
            "function": {
              "name": "web_search",
              "arguments": "{\"query\":\"International Dog Day date, reason, and history\"}"
            }
          }
        ],
        "refusal": null
      },
      "logprobs": null,
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 1203,
    "completion_tokens": 20,
    "total_tokens": 1223
  },
  "system_fingerprint": "fp_157b3831f5"
}

[Jagster (Jakke Flemming)]

I can live without that because my target is using Chatbot as an internal Q/A-bot, and Jina may solve out the issue of using my maincontent site (by WordPress).

But the result when I tried searching from outside world wasn’t expected.

[merefield (Robert)]

I’ll see if I can repro

[merefield (Robert)]

It’s working for me either via Serp API or Jina.ai.

Can you provide the bots “inner thoughts” from the PM please?

Inner Thoughts

[
  {
    "role": "assistant",
    "content": "",
    "tool_calls": [
      {
        "id": "call_mKY7pfG54xRduRKCz5xee9E0",
        "type": "function",
        "function": {
          "name": "web_search",
          "arguments": "{\"query\":\"list of English butterflies\"}"
        }
      }
    ]
  },
  {
    "role": "tool",
    "tool_call_id": "call_mKY7pfG54xRduRKCz5xee9E0",
    "content": "A-Z of butterflies · A. Adonis Blue · B Black Hairstreak · Brimstone · Brown Argus · Brown Hairstreak · C Chalk Hill Blue · Chequered Skipper · Clouded Yellow · D."
  }
]

[Jagster (Jakke Flemming)]

Should we do this using PM? We are now just polluting this topic.

But:

[
  {
    "role": "assistant",
    "content": "",
    "tool_calls": [
      {
        "id": "call_4xitHqRBJ8Wc1HI546r3Wj1U",
        "type": "function",
        "function": {
          "name": "web_search",
          "arguments": "{\"query\":\"International Dog Day date and history\"}"
        }
      }
    ]
  },
  {
    "role": "tool",
    "tool_call_id": "call_4xitHqRBJ8Wc1HI546r3Wj1U",
    "content": "International Dog Day date and history: my search for this on the internet failed."
  }
]