로컬에 설치된 LLM을 Discourse에 설정하는 방법?

[Lilly (Lillian)]

이 주제가 도움이 될 수 있습니다

DiscourseAI를 위한 오픈소스 LLM 셀프호스팅

Discourse AI 플러그인은 요약, AI 헬퍼, AI 검색, AI 봇과 같이 LLM이 활성화되어야 하는 여러 기능을 제공합니다. OpenAI API 키 설정이나 Anthropic API 키 설정과 같은 제3자 API를 사용할 수는 있지만, Discourse AI는 처음부터 이러한 서비스에 종속되지 않도록 설계되었습니다. HuggingFace TGI로 실행하기 HuggingFace는 빠르게 실행 환경을 구축할 수 있는 훌륭한 컨테이너 이미지를 제공합니다. 예를 들어: mkdir -p /opt/tgi-cache docker run --rm --gpus all --shm-size 1g -p 8080:80 \ -v /opt/tgi-cache:/data \ ghcr.io/huggingface/text-generation-inference:latest \ --model-id mistralai/Mistral-7B-Instruct-v0.2 이 명령어를 실행하면 로컬호스트의 …