# Discourse AI 페르소나, 업로드 지원
**URL:** https://meta.discourse.org/t/discourse-ai-persona-upload-support/304049
**Category:** Announcements
**Tags:** ai, ai-bot
**Created:** [4월 16, 2024, 7:21오전 UTC](https://meta.discourse.org/t/discourse-ai-persona-upload-support/304049 "2024-04-16T07:21:43Z")
**Posts on this page:** 20
**Page:** 1
### Author:  [@sam](https://meta.discourse.org/u/sam)
#### Post date: [4월 16, 2024, 7:21오전 UTC](https://meta.discourse.org/t/discourse-ai-persona-upload-support/304049/1 "2024-04-16T07:21:43Z")
이제 AI 페르소나에 대량의 텍스트를 포함할 수 있습니다!
이 기능은 여러 가지 이점을 제공합니다:
1. 모델 학습 데이터에 없는 대량의 텍스트(예: 내부 학습 문서, 내부 보고서)를 사용자 정의 AI 봇에 도입할 수 있습니다.
2. 페르소나를 구체적인 데이터로 더 잘 뒷받침할 수 있습니다(모델 학습 세트에 존재하더라도). 이를 통해 모델이 특정 정보를 올바르게 인용하고 결과의 품질을 높이는 데 도움이 됩니다.
업로드를 추가하려면:
1. `/admin/plugins/discourse-ai/ai-personas/` 인터페이스를 사용하여 새로운 페르소나를 생성합니다.
2. 페르소나에 포함하려는 텍스트 파일을 업로드합니다.
> ℹ 파일 업로드 전에 사이트 설정의 `authorized extensions`를 통해 관련 확장명(`.md` 및 `.txt`)을 추가하여 페르소나가 이를 사용할 수 있도록 하세요.
1. 색인화 옵션을 원하는 대로 조정합니다.
### 사전 요구 사항
이 옵션이 작동하려면 `ai_embeddings_enabled`이 활성화되어 있고 `ai_embeddings_model`이 구성되어 있어야 합니다.
Discourse AI는 매우 많은 양의 임베딩 모델을 지원합니다.
호스팅 고객은 최첨단 [bge-large-en](https://huggingface.co/BAAI/bge-large-en-v1.5) 모델에 대한 무료 액세스를 제공합니다.
자체 호스팅 사용자나 더 많은 선택지를 원하는 사용자는 임베딩 모델을 자체 호스팅하거나 Open AI, Google(Gemini) 등의 모델을 사용할 수 있습니다.
### 이것이 RAG인가요?
우리의 업로드 지원 구현은 실제로 [검색 증강 생성(Retrieval-Augmented Generation)](https://research.ibm.com/blog/retrieval-augmented-generation-RAG)입니다.
높은 수준에서 설명하면, LLM에게 사용자의 질문에 대한 답변을 요청하기 전에 사용자가 입력한 텍스트를 기반으로 매우 관련성 높은 정보를 찾아 시스템 프롬프트에 주입합니다.
### 다양한 색인화 옵션 설명
> 토큰이란 무엇인가요? 토큰은 대규모 언어 모델이 텍스트를 분할하는 데 사용되는 기본 단위입니다. 훌륭한 시각적 설명은 여기에서 볼 수 있습니다: [https://platform.openai.com/tokenizer](https://platform.openai.com/tokenizer)
Discourse AI 업로드 구현에는 다음과 같은 토글이 포함되어 있습니다:
**Upload Chunk Tokens** : 파일이 업로드되면 조각으로 분할됩니다. 이를 통해 조각의 크기를 제어할 수 있습니다. 조각이 임베딩 모델에 대해 너무 크면 임베딩이 잘립니다(토큰의 일부만 처리됨).
**Upload Chunk Overlap Tokens** : 이는 현재 조각에 포함된 이전 조각의 토큰 수입니다. 이 숫자가 클수록 색인화에 저장되는 중복 정보가 많아집니다.
**Search Conversation Chunks** : 이는 완성 프롬프트에서 관련성에 기반하여 무조건적으로 포함될 토큰 "조각"의 수를 제어합니다. 숫자가 클수록 LLM에 제공되는 컨텍스트가 많아지고(호출 비용이 증가합니다). 예를 들어: 이 값이 10이고 `Upload Chunk Tokens`가 200으로 설정되어 있다면 모든 완성 호출에는 2000개의 토큰이 추가 오버헤드로 포함됩니다.
### Discourse AI는 대량의 텍스트를 어떻게 분할하나요?
Discourse는 재귀적 문자 텍스트 분할기(Recursive Character Text Splitter)를 사용하여 분할 시 단락, 줄, 그리고 마지막으로 단어를 함께 유지하도록 시도합니다.
또한 Discourse는 텍스트가 분할되는 방식에 대한 추가 제어를 제공합니다.
`[[metadata YOUR METADATA HERE]]` 구분자는 대량의 텍스트를 분할하고 각 섹션이 무엇을 다루는지 올바르게 강조하는 데 사용할 수 있습니다.
예를 들어:
```plaintext
[[metadata about cats]]
고양이에 대한 긴 이야기
[[metadata about dogs]]
개에 대한 긴 이야기
```
이를 통해 단일 텍스트 문서가 다양한 콘텐츠를 다루도록 할 수 있으며 "조각 오염(chunk contamination)"으로부터 보호됩니다. 고양이 관련 데이터만 고양이 조각에, 개 관련 데이터만 개 조각에 포함됨이 보장됩니다.
### 복잡해 보이는데, 어떻게 디버깅하나요?
Discourse AI에는 사이트 설정 `ai bot debugging enabled groups`가 포함되어 있으며, 이 그룹의 사용자는 AI 디버깅에 액세스할 수 있습니다:
AI 디버깅 화면은 AI에게 보내는 정보를 들여다볼 수 있는 창을 제공합니다.
> ⚠ **쓰레기 입력 - 쓰레기 출력(Garbage in - Garbage out)** LLM에게 쓸모없거나 모호한 정보를 제공하면 이를 마법처럼 유용한 정보로 변환할 수 없습니다.
이 화면은 조각의 크기를 어떻게 설정해야 하는지 또는 너무 많거나 적은 조각을 포함하고 있는지 판단하는 데 도움이 될 수 있습니다.
### 이것이 실제로 작동하나요?
실제 사례로는 HAProxy 문서를 분할하여 페르소나에 공급하는 것이 있습니다:
시스템 프롬프트:
> 당신은 HAProxy에 대한 질문에 답하는 데 전문적인 봇입니다.
>
> 당신은 Discourse 포럼에 거주하며 Discourse 마크다운을 _렌더링_합니다.
>
> 답변을 제공할 때는 항상 HAProxy 문서로 돌아가는 링크를 포함하려고 하세요.
>
> 예를 들어, 섹션 10.1.1에 링크를 걸려면 이렇게 합니다. 섹션이나 옵션 내에 링크를 걸 수 있음을 명심하세요.
>
> `[fcgi-app](https://www.haproxy.com/documentation/haproxy-configuration-manual/latest/#10.1.1-fcgi-app)`
>
> 링크를 아낌없이 사용하세요. 매우 유용합니다.
업로드 내용:
[processed-haproxy-2.txt](https://meta.discourse.org/uploads/short-url/78Drf3NhAnYaRHm5fvqWC8zv9h4.txt) (1.2 MB)
이는 다음 스크립트를 사용하여 생성되었습니다:
```ruby
file_content = File.read("configuration.txt")
title = nil
body = nil
last_line = nil
sections = []
file_content.each_line do |line|
if line.strip.match?(/^[-]+$/)
section_number, title = title.to_s.split(" ", 2)
sections << {
section_number: section_number,
title: title,
body: body.to_s.strip
}
title = last_line
body = nil
last_line = nil
else
body = body.to_s + last_line.to_s
last_line = line
end
end
section_number, title = title.to_s.split(" ", 2)
sections << { section_number: section_number, title: title, body: body }
section_names =
sections.map { |section| [section[:section_number], section[:title]] }.to_h
sections[4..-1].each do |section|
title = []
current = +""
section_number = section[:section_number]
section_number
.split(".")
.each do |number|
current << number
current << "."
title << section_names[current].to_s.strip
end
title = title.join(" - ")
body = section[:body]
next if body.strip.empty?
puts "[[metadata section=\"#{section_number}\" title=\"#{title.strip}\"]]"
puts body
end
```
Claude Opus와 GPT-4 모두 복잡한 질문에 대해 상당히 엉망으로 실패할 수 있습니다. 이는 이해할 수 있는 일입니다. 인터넷의 모든 토큰을 학습하므로 50가지 다른 버전의 HAProxy 문서와 전 세계에 대한 모든 논의가 뇌로 들어가기 때문에 매우 혼란스러워할 수 있기 때문입니다:
**혼란스러운 GPT-4 및 Claude 3 Opus의 예**
[https://meta.discourse.org/discourse-ai/ai-bot/shared-ai-conversations/r1PWS1LOsMsJny6VqNQ2vQ](https://meta.discourse.org/discourse-ai/ai-bot/shared-ai-conversations/r1PWS1LOsMsJny6VqNQ2vQ)
[https://meta.discourse.org/discourse-ai/ai-bot/shared-ai-conversations/iaUfc3xSyLliRGZ\_3RFm8w](https://meta.discourse.org/discourse-ai/ai-bot/shared-ai-conversations/iaUfc3xSyLliRGZ_3RFm8w)
둘 다 Discourse RAG가 제공하는 미세 조정된 답변만큼 객관적으로 훌륭하지 않습니다:
**덜 혼란스러운 GPT-4 및 Claude Opus의 예**
[https://meta.discourse.org/discourse-ai/ai-bot/shared-ai-conversations/4eaV4H5qMgV7XU\_NyKtIGQ](https://meta.discourse.org/discourse-ai/ai-bot/shared-ai-conversations/4eaV4H5qMgV7XU_NyKtIGQ)
[https://meta.discourse.org/discourse-ai/ai-bot/shared-ai-conversations/UuvYZFFsQc1Vwkre0shXQw](https://meta.discourse.org/discourse-ai/ai-bot/shared-ai-conversations/UuvYZFFsQc1Vwkre0shXQw)
### 미래
우리는 피드백을 기다리고 있으며, 미래에 대한 아이디어로는 다음과 같은 것이 있을 수 있습니다:
- 텍스트로 변환할 필요가 없도록 PDF/DOCX/XLS 등 지원
- 소스 코드/HTML에 대한 더 지능적인 청킹(chunking)
- 색인화 전 수신 데이터의 스마트한 변환
여러분의 생각을 알려주세요!
이 기능을 구현해 주신 @Roman님께 큰 감사를 드립니다 🤗
---
### Author:  [@mattdm](https://meta.discourse.org/u/mattdm)
#### Post date: [4월 17, 2024, 11:28오전 UTC](https://meta.discourse.org/t/discourse-ai-persona-upload-support/304049/3 "2024-04-17T11:28:27Z")
수동으로 업로드된 텍스트 외에도, 특정 기준에 맞는 포럼 게시물을 포함할 수 있을까요?
예를 들어:
- 지정된 카테고리 내의 게시물
- 특정 태그가 있는 (또는 없는) 게시물
- 해결로 표시된 주제의 일부인 게시물 (또는 구체적으로 해결책 게시물인 경우)
- 답글이 아닌 주제 원문(OP)인 게시물
- 지정된 그룹의 사용자가 작성한 게시물
- 특정 날짜 이전 또는 이후에 작성된 게시물
아니면, 이러한 항목들을 체크박스 대신 "지정된 포럼 검색에서 상위 N개 주제 중 하나"로 처리하는 것은 어떨까요?
---
### Author:  [@sam](https://meta.discourse.org/u/sam)
#### Post date: [4월 17, 2024, 11:07오후 UTC](https://meta.discourse.org/t/discourse-ai-persona-upload-support/304049/5 "2024-04-17T23:07:49Z")
이 모든 것은 커스텀 검색 명령어를 통해 현재도 가능합니다:
- 필터에서 카테고리 선택 가능
- 태그
- 해결됨
- OP만 (가능할 것 같습니다)
- 지정된 그룹
- 날짜 이전/이후
🤗
---
### Author:  [@mattdm](https://meta.discourse.org/u/mattdm)
#### Post date: [4월 18, 2024, 6:51오후 UTC](https://meta.discourse.org/t/discourse-ai-persona-upload-support/304049/6 "2024-04-18T18:51:02Z")
> [@sam](#):
>
> 이 모든 것은 커스텀 검색 명령어로 현재도 가능합니다:
음, 혹시 제가 오해하고 있는 건가? 그것을 페르소나에게 제공하면 같은 효과를 내는 건가?
시켜 봤는데, 대부분 Mistral이 주제 제목을 환각(환상)하고 완전히 무작위인 게시물 번호를 링크할 뿐입니다. 🙂
---
### Author:  [@MarcP](https://meta.discourse.org/u/MarcP)
#### Post date: [4월 18, 2024, 6:53오후 UTC](https://meta.discourse.org/t/discourse-ai-persona-upload-support/304049/7 "2024-04-18T18:53:18Z")
> [@mattdm](#):
>
> Mistral
Mistral이 이러한 작업에 실제로 충분히 좋은가요? 그 때문에 환각 현상이 발생할 것 같습니다. Sam의 말처럼, 기본 쿼리를 변경하면 OP에서 언급한 모든 것을 수행할 수 있습니다.
---
### Author:  [@mattdm](https://meta.discourse.org/u/mattdm)
#### Post date: [4월 18, 2024, 6:56오후 UTC](https://meta.discourse.org/t/discourse-ai-persona-upload-support/304049/8 "2024-04-18T18:56:35Z")
> [@MarcP](#):
>
> Mistral이 실제로 이러한 작업에 충분한가요? 그로 인해 환각 현상이 발생한다고 생각합니다. Sam이 맞습니다, 기본 쿼리를 변경하면 OP에서 언급한 모든 것을 수행할 수 있습니다.
그리고, 생각을 다 마치기도 전에 게시물을 올렸네요. 질문은 이거였습니다: 검색 명령과 매개변수를 제공하는 것이 업로드된 파일을 제공하는 것과 실질적으로 동일한 효과를 내는 건가요?
하지만 네, Mistral은 충분히 좋지가 않을 수도 있습니다.
---
### Author:  [@sam](https://meta.discourse.org/u/sam)
#### Post date: [4월 18, 2024, 10:07오후 UTC](https://meta.discourse.org/t/discourse-ai-persona-upload-support/304049/9 "2024-04-18T22:07:04Z")
> [@mattdm](#):
>
> Mistral은 충분히 좋지 않을 수 있습니다.
여기서 조금 더 보충하자면:
[https://chat.lmsys.org/?leaderboard](https://chat.lmsys.org/?leaderboard)
Mistral은 다양한 버전이 있습니다 … Mistral 7b, Mixtral 8x7b(현재 사용 중인 모델), 그리고 최근에 나온 [mistralai/Mixtral-8x22B-Instruct-v0.1 · Hugging Face](https://huggingface.co/mistralai/Mixtral-8x22B-Instruct-v0.1) 등이 있습니다. 이 모델과 함께 공개될 예정인 5~6개의 모델(일부는 비공개 소스)이 있습니다.
"Mistral이 충분하지 않다"는 말에 주의해야 하며, 항상 명확히 해야 합니다.
저는 Mixtral-8x7b가 도구 지원에는 단순히 적합하지 않다고 생각합니다. 너무 많이 벗어나기 때문입니다.
저는 이 모델이 다음과 같은 특성을 가진다고 생각합니다.
1. “업로드” 지원에는 꽤 좋습니다.
2. 사용자 정의 페르소나 지원에는 매우 좋습니다.
3. 도구 지원에는 취약합니다.
우리는 8x22b로 업그레이드할 수 있는지 확인해 보고 있습니다(이 모델은 좋은 도구 지원을 제공합니다). 문제는 메모리 요구 사항이 꽤 높아 서버에 잘 맞도록 모델을 양자화해야 한다는 것입니다.
하지만 정말로… Amazon과 데이터 프라이버시 계약을 맺고 있다면 Claude 3 Opus와 Haiku에 접근할 수 있는 Bedrock을 강력히 추천합니다.
오픈 소스 모델과 비공개 소스 모델 사이의 긴장 관계는 잘 이해합니다. 비공개 소스 모델들이 현재로서는 훨씬 앞서 있기 때문에 상황이 어렵습니다.
---
### Author:  [@MarcP](https://meta.discourse.org/u/MarcP)
#### Post date: [4월 18, 2024, 10:10오후 UTC](https://meta.discourse.org/t/discourse-ai-persona-upload-support/304049/10 "2024-04-18T22:10:13Z")
> [@sam](#):
>
> 클로즈드 소스 모델들이 현재 꽤 앞서 있는 것이 사실이라 어려움이 큽니다.
맞는 말씀입니다. 제가 더 잘 표현했어야 했는데, 실제로는 클로즈드 소스 모델들이 전반적으로 더 우수하다는 점을 암시하고 있었습니다.
---
### Author:  [@MarcP](https://meta.discourse.org/u/MarcP)
#### Post date: [4월 23, 2024, 4:01오전 UTC](https://meta.discourse.org/t/discourse-ai-persona-upload-support/304049/11 "2024-04-23T04:01:52Z")
여러 개의 .txt 파일을 한 번에 업로드하면 버그가 발생합니다. 파일이 빠르게 표시되긴 하지만, 결국 파일 하나만 보이고, 그 이후로는 파일 추가 버튼에 반응이 없습니다.
또한 .md 파일 지원이 추가되면 좋을 것 같습니다.
---
### Author:  [@sam](https://meta.discourse.org/u/sam)
#### Post date: [4월 23, 2024, 4:53오전 UTC](https://meta.discourse.org/t/discourse-ai-persona-upload-support/304049/12 "2024-04-23T04:53:37Z")
아이고 … 좋은 지적이네요 @Roman 확인해볼게요.
> [@MarcP](#):
>
> 그리고 .md 파일 지원이 큰 도움이 될 것 같습니다.
이것은 잘 작동할 것입니다. 이미 지원되고 있으니 확장만 활성화하면 됩니다.
---
### Author:  [@Roman](https://meta.discourse.org/u/Roman)
#### Post date: [4월 25, 2024, 1:50오후 UTC](https://meta.discourse.org/t/discourse-ai-persona-upload-support/304049/13 "2024-04-25T13:50:08Z")
다중 파일 버그에 대한 수정 사항을 push했습니다:
>
>
> Updating the editing model's rag\_uploads in the editor component broke multi-fil…e uploading. Instead, we'll keep the uploads in the uploader and update the model when we finish.
>
> This PR also fast-tracks the initial update so we can show feedback to the user quickly, and allows uploading MD files.
>
> Bug reported on https://meta.discourse.org/t/discourse-ai-persona-upload-support/304049/11
---
### Author:  [@sam](https://meta.discourse.org/u/sam)
#### Post date: [6월 11, 2024, 3:41오전 UTC](https://meta.discourse.org/t/discourse-ai-persona-upload-support/304049/14 "2024-06-11T03:41:27Z")
게시물 2개가 새 주제로 분리되었습니다: [Discourse AI에서 검색 필터 품질 개선](https://meta.discourse.org/t/improving-quality-of-search-filters-in-discourse-ai/311499)
---
### Author:  [@tpetrov](https://meta.discourse.org/u/tpetrov)
#### Post date: [6월 20, 2024, 9:07오전 UTC](https://meta.discourse.org/t/discourse-ai-persona-upload-support/304049/15 "2024-06-20T09:07:20Z")
> [@sam](#):
>
> 또한 Discourse는 텍스트가 어떻게 나뉘어질지에 대한 추가적인 제어 기능을 제공합니다.
>
> `[[metadata YOUR METADATA HERE]]` 구분자는 대량의 텍스트를 나누고 각 섹션이 어떤 내용을 다루는지 적절히 강조하는 데 사용할 수 있습니다.
>
> 예를 들어:
>
> ```plaintext
> [[metadata about cats]]
> 고양이에 관한 긴 이야기
> [[metadata about dogs]]
> 개에 관한 긴 이야기
>
> ```
>
> 이렇게 하면 단일 텍스트 문서가 다양한 콘텐츠를 다룰 수 있으며 “청크 오염(chunk contamination)”으로부터 보호받을 수 있습니다. 고양이 관련 청크에는 오직 고양이 데이터만, 개 관련 청크에는 오직 개 데이터만 포함되도록 보장됩니다.
샘, 이 기능이 정확히 어떻게 작동하는지 궁금합니다. 이것이 AI에게 이것이 고양이 또는 개에 대한 데이터임을 알려주긴 하지만, 청크가 이미 고정된 토큰 수(예: 2000개)로 설정되어 있는 경우 청크에 어떤 영향을 미칠까요? `[[metadata about dogs]]`와 같은 줄을 만나면 청크를 잘라내고 새로운 청크를 시작하게 될까요?
---
### Author:  [@sam](https://meta.discourse.org/u/sam)
#### Post date: [6월 20, 2024, 9:28오전 UTC](https://meta.discourse.org/t/discourse-ai-persona-upload-support/304049/16 "2024-06-20T09:28:33Z")
네, 일찍 종료됩니다
---
### Author:  [@MarcP](https://meta.discourse.org/u/MarcP)
#### Post date: [7월 6, 2024, 4:14오전 UTC](https://meta.discourse.org/t/discourse-ai-persona-upload-support/304049/17 "2024-07-06T04:14:25Z")
> [@sam](#):
>
> [[metadata YOUR METADATA HERE]]
아, 정말 당황스러웠네요. 대부분의 LLM 모델에서 작동하는 `content` 형식을 사용했는데, [[brackets]] 방식을 선택한 이유가 있나요? Discourse에서는 ``가 여전히 작동하나요, 아니면 괄호 방식이 더 나은가요?
---
### Author:  [@sam](https://meta.discourse.org/u/sam)
#### Post date: [7월 8, 2024, 8:01오전 UTC](https://meta.discourse.org/t/discourse-ai-persona-upload-support/304049/18 "2024-07-08T08:01:23Z")
이것은 LLM이 전혀 소비하지 않습니다(우리는 메타데이터를 파싱하고 소비합니다). 인덱싱된 데이터에 거의 나타나지 않을 구분자를 원했습니다.
---
### Author:  [@Saif](https://meta.discourse.org/u/Saif)
#### Post date: [8월 27, 2024, 2:54오전 UTC](https://meta.discourse.org/t/discourse-ai-persona-upload-support/304049/20 "2024-08-27T02:54:02Z")
이 부분을 카피에 추가했습니다
> [@sam](#):
>
> 1. 페르소나에 포함할 텍스트 파일을 업로드하세요
>
> > ℹ 파일을 업로드하기 전에, 사이트 설정의 `authorized extensions`에 관련 확장자(`.md`와 `.txt`)를 추가하여 페르소나가 사용할 수 있도록 해 주세요.
---
### Author:  [@MachineScholar](https://meta.discourse.org/u/MachineScholar)
#### Post date: [9월 17, 2024, 6:52오전 UTC](https://meta.discourse.org/t/discourse-ai-persona-upload-support/304049/21 "2024-09-17T06:52:15Z")
AI 페르소나를 위해 생성된 임베딩들이 동일한 벡터 데이터베이스에 저장되어 있습니까? 그리고 실제로 Discourse를 위해 생성된 모든 임베딩도 동일한 벡터 데이터베이스에 저장되어 있습니까?
---
### Author:  [@sam](https://meta.discourse.org/u/sam)
#### Post date: [9월 17, 2024, 6:59오전 UTC](https://meta.discourse.org/t/discourse-ai-persona-upload-support/304049/22 "2024-09-17T06:59:59Z")
모두 동일한 Postgres DB를 사용
---
### Author:  [@BrianC](https://meta.discourse.org/u/BrianC)
#### Post date: [1월 30, 2025, 3:03오전 UTC](https://meta.discourse.org/t/discourse-ai-persona-upload-support/304049/23 "2025-01-30T03:03:05Z")
페르소나에 업로드된 텍스트 파일을 업로드된 파일 목록에서 삭제하면 어떤 일이 일어나는지 알려 주실 수 있나요? RAG에 사용된다는 점은 이해하고 있지만, 파일을 삭제하면 인덱싱된 내용에서도 함께 삭제되는지 궁금합니다. 텍스트 파일을 삭제한 후 수정 사항을 적용하고 다시 업로드하는 방식으로 인덱싱된 내용을 편집할 수 있는지 궁금합니다.
[Next page](https://meta.discourse.org/t/discourse-ai-persona-upload-support/304049.md?page=2)