자체 호스팅 Discourse 사이트에 의미 검색 기능 추가

제품 지원
,
1

디스코어 AI를 처음 사용하게 되었습니다. 임베딩 모델로 "sentence-transformers/all-mpnet-base-v2"를 사용하고 있습니다. 이 모델만으로도 의미론적 검색(semantic search)을 수행하는 데 충분한가요?
아니면 하이데(Hyde) 모델을 추가로 사용해야 하나요?

이 부분에 대해 조언을 부탁드립니다.

2

시맨틱 검색을 위해 LLM도 필요합니다. 자체 호스팅을 원하신다면 Self-Hosting an OpenSource LLM for DiscourseAI를 참고해 주세요.

3

정말 감사합니다.

기업용 웹사이트에서 "mistralai/Mistral-7B-Instruct-v0.2"와 같은 모델을 온프레미스와 클라우드에 호스팅하기 위한 요구 사항에 대해 조언을 주실 수 있을까요?

또한 관리자 패널에서 이 모델에 대한 토크나이저를 찾을 수 없는데, 어떻게 해야 할까요?

4

여기에는 Discourse에 특화된 사항이 없으므로 표준 규칙이 적용됩니다. 7B 모델은 fp16으로 실행될 경우 컨텍스트 공간을 포함하여 약 14GB의 VRAM이 필요합니다. fp8 양자화를 사용하면 이 용량을 절반으로 줄일 수 있지만, 해당 모델은 오래된 모델이라 fp8 양자화에 가장 적합한 모델은 아닙니다.

모든 가능한 토크나이저를 제공하기는 현실적으로 불가능하므로, 사용 가능한 토크나이저 목록에서 가장 유사한 것을 선택해야 합니다.

5

이 시나리오에 사용할 수 있는 LLM 모델을 추천해 주시겠어요? 모델을 온프레미스 환경에서 호스팅할 가능성이 있어, Discourse와의 호환성이 어떤지 알고 싶습니다.

감사합니다.

6

예산, 지원할 언어, 그리고 Discourse AI에서 원하는 기능에 따라 달라집니다.

현재 Qwen 2.5 Instruct의 32B 또는 72B 모델이 강력한 대안이 될 수 있습니다.

7

요약 기능에 더 작은 모델을 사용할 수 있는 방법이 있을까요? LLM은 예산이 더 많이 들기 때문에, 당분간은 더 작은 모델로 타협해야 할 수도 있을 것 같아서요…

8

네, 원하는 모델을 자유롭게 사용하실 수 있습니다.

9

요약 또는 기타 기능을 위해 모델에 전달되는 페이로드를 수정할 수 있을까요?

특히 시스템의 내용을 변경하고 싶습니다.

{‘role’: ‘system’, ‘content’: ‘You are an advanced summarization bot that generates concise, coherent summaries of provided text.\n\n- Only include the summary, without any additional commentary.\n- You understand and generate Discourse forum Markdown; including links, italics, bold.\n- Maintain the original language of the text being summarized.\n- Aim for summaries to be 400 words or less.\n- Each post is formatted as “<POST_NUMBER>) ”\n- Cite specific noteworthy posts using the format DESCRIPTION\n - Example: links to the 3rd and 6th posts by sam: sam (#3, #6)\n - Example: link to the 6th post by jane: agreed with\n - Example: link to the 13th post by joe: joe\n- When formatting usernames either use @USERNMAE OR USERNAME’}

가능하다면 어떻게 해야 하나요?

10

현재는 불가능하지만, 가능하도록 만드는 작업은 이미 시작했습니다. 몇 주 안에 반영될 예정입니다.