# 자체 호스팅 Discourse 사이트에 의미 검색 기능 추가
**URL:** https://meta.discourse.org/t/adding-semantic-search-feature-for-our-self-hosted-discourse-site/355630
**Category:** Support
**Tags:** ai, ai-search
**Created:** [3월 4, 2025, 11:35오전 UTC](https://meta.discourse.org/t/adding-semantic-search-feature-for-our-self-hosted-discourse-site/355630 "2025-03-04T11:35:56Z")
**Posts on this page:** 10
**Page:** 1
### Author:  [@Ajay26](https://meta.discourse.org/u/Ajay26)
#### Post date: [3월 4, 2025, 11:35오전 UTC](https://meta.discourse.org/t/adding-semantic-search-feature-for-our-self-hosted-discourse-site/355630/1 "2025-03-04T11:35:56Z")
디스코어 AI를 처음 사용하게 되었습니다. 임베딩 모델로 "sentence-transformers/all-mpnet-base-v2"를 사용하고 있습니다. 이 모델만으로도 의미론적 검색(semantic search)을 수행하는 데 충분한가요?
아니면 하이데(Hyde) 모델을 추가로 사용해야 하나요?
이 부분에 대해 조언을 부탁드립니다.
---
### Author:  [@Falco](https://meta.discourse.org/u/Falco)
#### Post date: [3월 4, 2025, 1:42오후 UTC](https://meta.discourse.org/t/adding-semantic-search-feature-for-our-self-hosted-discourse-site/355630/2 "2025-03-04T13:42:41Z")
> [@Ajay26](#):
>
> 아니면 하이더(Hyde) 모델을 추가해야 하나요?
시맨틱 검색을 위해 LLM도 필요합니다. 자체 호스팅을 원하신다면 [Self-Hosting an OpenSource LLM for DiscourseAI](https://meta.discourse.org/t/self-hosting-an-opensource-llm-for-discourseai/290923)를 참고해 주세요.
---
### Author:  [@Ajay26](https://meta.discourse.org/u/Ajay26)
#### Post date: [3월 5, 2025, 5:18오전 UTC](https://meta.discourse.org/t/adding-semantic-search-feature-for-our-self-hosted-discourse-site/355630/3 "2025-03-05T05:18:00Z")
정말 감사합니다.
기업용 웹사이트에서 "mistralai/Mistral-7B-Instruct-v0.2"와 같은 모델을 온프레미스와 클라우드에 호스팅하기 위한 요구 사항에 대해 조언을 주실 수 있을까요?
또한 관리자 패널에서 이 모델에 대한 토크나이저를 찾을 수 없는데, 어떻게 해야 할까요?
---
### Author:  [@Falco](https://meta.discourse.org/u/Falco)
#### Post date: [3월 5, 2025, 4:45오후 UTC](https://meta.discourse.org/t/adding-semantic-search-feature-for-our-self-hosted-discourse-site/355630/4 "2025-03-05T16:45:02Z")
> [@Ajay26](#):
>
> 엔터프라이즈 수준의 웹사이트에서 "mistralai/Mistral-7B-Instruct-v0.2"와 같은 모델을 온프레미스 및 클라우드 환경에 호스팅하기 위한 요구 사항에 대해 조언을 주실 수 있을까요?
여기에는 Discourse에 특화된 사항이 없으므로 표준 규칙이 적용됩니다. 7B 모델은 fp16으로 실행될 경우 컨텍스트 공간을 포함하여 약 14GB의 VRAM이 필요합니다. fp8 양자화를 사용하면 이 용량을 절반으로 줄일 수 있지만, 해당 모델은 오래된 모델이라 fp8 양자화에 가장 적합한 모델은 아닙니다.
> [@Ajay26](#):
>
> 또한 관리 패널에서 이 모델에 사용할 수 있는 토크나이저를 찾을 수 없습니다.
모든 가능한 토크나이저를 제공하기는 현실적으로 불가능하므로, 사용 가능한 토크나이저 목록에서 가장 유사한 것을 선택해야 합니다.
---
### Author:  [@Abinav\_22](https://meta.discourse.org/u/Abinav_22)
#### Post date: [3월 6, 2025, 9:30오전 UTC](https://meta.discourse.org/t/adding-semantic-search-feature-for-our-self-hosted-discourse-site/355630/5 "2025-03-06T09:30:30Z")
이 시나리오에 사용할 수 있는 LLM 모델을 추천해 주시겠어요? 모델을 온프레미스 환경에서 호스팅할 가능성이 있어, Discourse와의 호환성이 어떤지 알고 싶습니다.
감사합니다.
---
### Author:  [@Falco](https://meta.discourse.org/u/Falco)
#### Post date: [3월 6, 2025, 4:22오후 UTC](https://meta.discourse.org/t/adding-semantic-search-feature-for-our-self-hosted-discourse-site/355630/6 "2025-03-06T16:22:25Z")
예산, 지원할 언어, 그리고 Discourse AI에서 원하는 기능에 따라 달라집니다.
현재 Qwen 2.5 Instruct의 32B 또는 72B 모델이 강력한 대안이 될 수 있습니다.
---
### Author:  [@Abinav\_22](https://meta.discourse.org/u/Abinav_22)
#### Post date: [3월 10, 2025, 5:19오전 UTC](https://meta.discourse.org/t/adding-semantic-search-feature-for-our-self-hosted-discourse-site/355630/7 "2025-03-10T05:19:10Z")
요약 기능에 더 작은 모델을 사용할 수 있는 방법이 있을까요? LLM은 예산이 더 많이 들기 때문에, 당분간은 더 작은 모델로 타협해야 할 수도 있을 것 같아서요…
---
### Author:  [@Falco](https://meta.discourse.org/u/Falco)
#### Post date: [3월 10, 2025, 2:22오후 UTC](https://meta.discourse.org/t/adding-semantic-search-feature-for-our-self-hosted-discourse-site/355630/8 "2025-03-10T14:22:09Z")
네, 원하는 모델을 자유롭게 사용하실 수 있습니다.
---
### Author:  [@Ajay26](https://meta.discourse.org/u/Ajay26)
#### Post date: [3월 18, 2025, 3:40오후 UTC](https://meta.discourse.org/t/adding-semantic-search-feature-for-our-self-hosted-discourse-site/355630/9 "2025-03-18T15:40:14Z")
요약 또는 기타 기능을 위해 모델에 전달되는 페이로드를 수정할 수 있을까요?
특히 시스템의 내용을 변경하고 싶습니다.
> {‘role’: ‘system’, ‘content’: ‘You are an advanced summarization bot that generates concise, coherent summaries of provided text.\n\n- Only include the summary, without any additional commentary.\n- You understand and generate Discourse forum Markdown; including links, _italics_, **bold**.\n- Maintain the original language of the text being summarized.\n- Aim for summaries to be 400 words or less.\n- Each post is formatted as “\) ”\n- Cite specific noteworthy posts using the format [DESCRIPTION](https://meta.discourse.org/t/-/4/POST_NUMBER)\n - Example: links to the 3rd and 6th posts by sam: sam ([#3](https://meta.discourse.org/t/-/4/3), [#6](https://meta.discourse.org/t/-/4/6))\n - Example: link to the 6th post by jane: [agreed with](https://meta.discourse.org/t/-/4/6)\n - Example: link to the 13th post by joe: [joe](https://meta.discourse.org/t/-/4/13)\n- When formatting usernames either use @USERNMAE OR [USERNAME](https://meta.discourse.org/t/-/4/POST_NUMBER)’}
가능하다면 어떻게 해야 하나요?
---
### Author:  [@Falco](https://meta.discourse.org/u/Falco)
#### Post date: [3월 19, 2025, 7:12오후 UTC](https://meta.discourse.org/t/adding-semantic-search-feature-for-our-self-hosted-discourse-site/355630/10 "2025-03-19T19:12:07Z")
현재는 불가능하지만, 가능하도록 만드는 작업은 이미 시작했습니다. 몇 주 안에 반영될 예정입니다.