해당 서비스를 원할 수도 있고, 실제로 원할지도 모르지만, 내가 구상 중인 포럼은 아직 초기 단계라 분석할 데이터가 충분하지 않습니다.
이 기술을 직접 다루고 계신 분이라면, AI 학습에서 태그가 어떤 역할을 하는지 알려주실 수 있을까요? 저는 특정 포럼의 코퍼스(문서 집합)를 클러스터링하는 데 상당한 노력을 기울여, 이후 주제 분류와 태그 생성에 활용할 수 있는 라벨을 생성했습니다. 분류 자체는 잘 이루어졌지만, 태그 구현은 관련 용어의 수가 워낙 많아 문제가 되고 있습니다. 모든 용어를 실용적으로 제시할 방법이 없습니다.
AI가 해당 용어를 활용하여 자체 결과를 개선할 수 있을 것이라 생각합니다.
현재 Discourse에서는 모델 학습이 이루어지지 않습니다. 현재 각 모듈에서 사용하는 모든 모델은 이미 학습이 완료된 상태입니다.
태그는 태그 제안이나 관련 주제와 같은 기능의 프롬프트에 컨텍스트를 추가하는 데 도움이 될 수 있지만, 현재로서는 두 기능 모두 사용되지 않고 있습니다.
안녕하세요 @nodomain,
Discourse AI가 이제 임베딩을 다른 모든 작업에 사용하는 것과 동일한 DB 인스턴스에 저장합니다. 이를 통해 설치 및 유지보수가 훨씬 쉬워졌으며, 업데이트 시 기존 데이터베이스에서 임베딩을 자동으로 가져옵니다. 이후 기존 데이터베이스를 폐기할 수 있습니다.
아, 이제 내 환경에서 문제가 발생하는 이유를 알겠네요:
I, [2023-07-18T09:29:11.218667 #1] INFO -- : > cd /var/www/discourse && su discourse -c 'bundle exec rake db:migrate'
------------------------------DISCOURSE AI ERROR----------------------------------
Discourse AI requires the pgvector extension on the PostgreSQL database.
Run a `./launcher rebuild app` to fix it on a standard install.
Alternatively, you can remove Discourse AI to rebuild.
------------------------------DISCOURSE AI ERROR----------------------------------
내 데이터베이스는 RDS Aurora 서버리스 v2이므로 pgvector 확장 기능을 사용할 수 없습니다. 이전 동작 방식으로 설정할 수 있는 방법이 있을까요?
내가 직접 답변을 드립니다: 실현 가능한 방법 중 하나는 “non-serverless” Aurora 서비스로 전환하는 것입니다: Neuigkeiten bei AWS – Innovationen und Neuigkeiten in Bezug auf die Cloud
그럼에도 불구하고 여전히 제 질문에 대한 답변에 관심이 있습니다.
주 Discourse DB에 서버리스를 사용 중인지, 임베딩용 DB에만 사용 중인지 확인해 주세요. Discourse AI는 이제 임베딩을 주 DB에 저장하며,在那里 pgvector 확장이 활성화되어 있어야 합니다. RDS PostgreSQL 13.11 이상에서 사용할 수 있습니다. 우리는 프로덕션에서 Aurora를 사용하지 않고 RDS PostgreSQL만 사용하므로, 이것이 제가 추천할 수 있는 유일한 방법입니다.
나한테는 괜찮아, 고마워.
그리고 맞아, 메인 DB는 현재 서버리스야.
그렇다면 Amazon RDS PostgreSQL은 Docker 배포판에 담겨 있는 버전인가요?
RDS는 AWS의 SaaS 서비스이므로 Docker 이미지로 패키징할 수 없습니다.
Discourse AI는 Docker 이미지에 패키징된 PostgreSQL 버전, Amazon RDS 또는 해당 확장이 설치된 PostgreSQL 인스턴스 중 하나와 함께 작동합니다.
안녕하세요 
메타의 오픈소스 "Llama 2"를 사용하여 사용자에게 게시물을 추천하는 데 사용할 수 있을까요?
이러한 도구를 사용해 본 경험이 있는 분이 있을까요?
감사합니다 
“관련 주제” 추천을 말씀하시는 건가요? 그렇다면 아직 안 됩니다. 아직 Llama 2 기반의 임베딩 모델이 없기 때문입니다.
참고로 우리가 제공하는 모델(오픈소스 모델 1개와 OpenAI API 모델 1개)은 정말 훌륭하며, 관련 주제 기능을 구동하는 데绰绰有余합니다.
설명해 주셔서 감사합니다!
docker 이미지에 대한 git 저장소가 있나요?
현재는 아닙니다. 그렇게 하려면 두 개의 별도 저장소를 유지해야 하는데, 하나는 앱 코드용이고 다른 하나는 이미지를 빌드하고 내부 저장소에 푸시하기 위한 내부 도구용입니다. 하지만 이 설정을 제대로 할 시간을 찾지 못했습니다.
다만, API 코드는 컨테이너 이미지 안에 모두 포함되어 있습니다. 코드를 살펴보기에는 가장 좋은 방법은 아니지만, 적어도 모든 코드가那里에 있습니다.
표준 방문자 수를 가진 포럼의 정확한 최소 및 권장 서버 요구 사항을 공유해 주실 분 계신가요? 솔직히 시도해 보고 싶지만, 명확한 서버 요구 사항이 없어 어디서 시작해야 할지 모르겠습니다.
합리적이라고 생각하는 사양으로 시도해 보면 됩니다. 16GB RAM 정도가 최소 사양으로 보입니다.
일반적인 사용자들을 위한 서버라면, 표준 서버를 사용하는 게 좋겠죠. 
제 포럼에는 200~250명의 온라인 사용자가 있고, 하루 평균 300개의 게시물이 생성됩니다. 그래서 그렇게 많다고 할 수는 없어서 표준이라고 말씀드린 것입니다. 말씀하신 뜻을 이해하지만, 현재 사용 중인 클라우드 서버는 업그레이드가 많이 제한되어 있어 새 서버를 임대할 계획입니다. 답변 감사합니다 
정말 대답하기가 매우 어려운 질문입니다.
예를 들어, 임베딩(embeddings)만 다루고 싶다면 CPU에서 구동되는 6달러짜리 드롭렛(Droplet)으로도 충분하며, 이를 통해 유사 주제(Similar Topics) 기능을 사용할 수 있습니다.
반면 AIHelper와 AIBot을 사용하려면 다음과 같은 선택지가 있습니다:
OpenAI에서 호출당 과금 방식을 선택할 수 있으며, 비용은 사용량에 따라 달라집니다.
프라이버시를 위해 직접 소유한 서버에서 오픈소스 LLM을 실행할 수 있습니다. 다만 Llama2-70B-Chat과 같은 모델을 구동하려면 월 1만~2만 5천 달러(10k ~ 25k)에 달하는 서버가 필요합니다.
시간당 과금 서비스를 통해 오픈소스 LLM을 실행할 수도 있습니다. HuggingFace 엔드포인트에서 Llama2의 양자화(quantized) 버전을 시간당 6.50달러에 실행할 수 있으며, 15분 동안 요청이 없으면 자동으로 슬립 상태로 전환됩니다.
ML/Ops 분야는 빠르게 변하고 있으며, GPU는 매우 부족하고 매일 새로운 모델이 출시되고 있습니다. 예측이 어려우며, 우리 모두 실험을 하고 있는 중입니다.
자세한 설명 감사합니다. 그러면 각 단계마다 플러그인을 하나씩 사용해 보겠습니다. 상황에 따라 자세히 배울 수 있을 것 같습니다
게시물이 새 주제로 분리되었습니다: DigitalOcean에서 Discourse AI 구현하기