Discourse Translator

[NateDhaliwal]

이 가이드를 확인하세요:

DiscourseAI를 위한 오픈소스 LLM 셀프호스팅

Discourse AI 플러그인은 요약, AI 헬퍼, AI 검색, AI 봇과 같이 LLM이 활성화되어야 하는 여러 기능을 제공합니다. OpenAI API 키 설정이나 Anthropic API 키 설정과 같은 제3자 API를 사용할 수는 있지만, Discourse AI는 처음부터 이러한 서비스에 종속되지 않도록 설계되었습니다. HuggingFace TGI로 실행하기 HuggingFace는 빠르게 실행 환경을 구축할 수 있는 훌륭한 컨테이너 이미지를 제공합니다. 예를 들어: mkdir -p /opt/tgi-cache docker run --rm --gpus all --shm-size 1g -p 8080:80 \ -v /opt/tgi-cache:/data \ ghcr.io/huggingface/text-generation-inference:latest \ --model-id mistralai/Mistral-7B-Instruct-v0.2 이 명령어를 실행하면 로컬호스트의 …

@happyhappy

또한, 우리 사용자 중 많은 분들이 프라이버시 문제로 AI 번역을 사용하기를 원하지 않습니다.

그런데… 왜 LLM을 호스팅하고 싶으신 건가요?

다른 사례는 관련 주제인 Using Discourse and LibreTranslate without AI 를 참고하세요.