안녕하세요,
디스코urs의 관련 콘텐츠 기능에 대해 문의드립니다. 해당 기능이 외부 AI에 의존하고 있는 것 같아, 태그나 카테고리를 기반으로 직접 관련 콘텐츠를 제공할 수 있는 내부 시스템을 개발하는 것보다 왜 이런 방식을 선택했는지 궁금합니다. 같은 카테고리의 주제를 제안하는 옵션은 보았지만, 태그에 대한 기능은 찾아볼 수 없었습니다.
이 기능을 제공하는 공식 디스코urs 플러그인이나 구성 요소가 있는지 알고 싶습니다. 매일의 노력과 플랫폼에 가져다주는 끊임없는 혁신에 감사드립니다.
참고: 저는 Discourse 직원도, OpenAI 직원도 아니며, OpenAI 포럼(ChatGPT와 GPT 4의 개발사)에서 카테고리 모더레이터로 활동하고 있습니다. 개발 단계에서도 Discourse의 AI 기능을 많이 사용해 왔습니다.
언급하신 방식은 구문 기반 검색(syntactic searches)이며, 이는 키워드가 아닌 임베딩(embeddings)을 사용하는 의미 기반 검색(semantic search)입니다.
how does semantic search work로 구글 검색을 하면 많은 기사가 나오는데, 여기서는 이곳에서 많은 분들이 좋아하실 만한 기사가 하나 있습니다.
네, Discourse AI 플러그인의 일부이며, 구체적으로는 Semantic Related Topics 기능입니다.
외부 리소스 사용에 대해, 원하시면 LLM을 로컬에서 실행할 수도 있습니다:
하지만 프로젝트에서 실제로 이렇게 해보셨나요?
특히 인상적인 하드웨어를 소유하거나 임대해야 합니다!
(호스팅을 고려할 수 있는) 더 작은 언어 모델들을 직접 사용해 보고 얼마나 인상적인지 확인해 보세요:
경험에 따라 다르겠지만, 제 생각에는 셀프 호스팅하려면 최소 700억 개 매개변수 모델 이상을 고려해야 할 것이며, 이는 셀프 호스팅 비용이 상당히 비쌀 것입니다.
참고로, GPT 3.5는 1,750억 개 매개변수 모델이라고 하며, GPT 4는 거의 2조 개(그들의 주장에 따르면)입니다 
저는 이 플러그인을 작성했습니다:
그리고 AI 태깅 기능이 있습니다. 제 경험상 잘 작동하려면 GPT 4 Turbo가 필요하며(그리고 그렇게 하면 정말 잘 작동합니다!)
그만큼 강력한 것을 셀프 호스팅하려면 매우 큰 자본이 필요합니다.
이것이 외부 LLM API 사용이 여전히 매력적인, 사용한 만큼만 지불하는(pay-as-you-go) 옵션인 이유이며, 특히 비싼 인프라가 유휴 상태로 시간을 보내는 것이 아니라 실제 호출한 것만 지불하기 때문입니다.
물론 프라이버시가 주요하고 충분한 우려 사항이라면, 이 계산이 달라질 수 있습니다.
@EricGT @merefield 빠른 답변과 제공해 주신 정보에 감사드립니다. AI가 Discourse 플랫폼에 가져오는 혁신을 이해하고 그 가치를 인정합니다. 다만 유럽, 특히 GDPR이 적용되는 프랑스의 엄격한 데이터 보호 요건에 대해 우려가 있습니다. 개인정보 보호 정책과의 준수를 보장하기 위해 변호사를 상담하는 데 상당한 비용이 들 수 있습니다.
이 때문에 외부 AI 없이도 관련 콘텐츠 기능을 제공하는 Discourse 플러그인이 있는지 궁금해했습니다.
또한 제 개인적인 경험을 공유하고 싶습니다. 저는 사용 가능한 가이드가 있음에도 불구하고 올바르게 진행하지 못할까 봐 두려워 Discourse 포럼을 개설하는 것을 오랫동안 망설여 왔습니다. ChatGPT의 등장은 제게 게임 체인저였습니다. 제 삶을 어떻게 변화시켰는지 믿기 어려울 정도입니다. ChatGPT의 도움으로 이전에 감히 도전하지 못했던 프로젝트를 진행할 수 있었습니다. 이는 저에게 새로운 가능성을 열어주고 자신감 있게 앞으로 나아갈 수 있게 해주는 혁명입니다.
다시 한번 모든 노력과 지속적인 지원에 감사드립니다.
앞서 언급했듯이, AI 플러그인은 외부 서비스를 사용할 수 있으며, 동일한 작업을 수행하는 개인용 클라우드 시스템을 직접 구축할 수도 있습니다. 그러나 자체 AI 서비스를 운영하려면 비용이 많이 들고, 추가적인 유지보수가 필요하며, 외부 서비스와 비교할 수 있는 결과를 제공하지 못합니다.
이것은 AI 기술 자체의 한계로, 유지보수와 운영이 매우 까다로운 것이며, Discourse 측에서 해결할 수 있는 문제가 아닙니다. Discourse 플러그인은 외부 서비스를 사용하는지, 아니면 “내부” 서비스를 사용하는지에 관계없이 동일하게 작동합니다.
이 맥락에서는 전혀 관련이 없습니다.
하지만… 변호사는 셀프호스팅 LLM보다 훨씬 빠르게 문제를 해결해 줍니다.