DiscourseAI를 위한 오픈소스 LLM 셀프호스팅

:sweat_smile:

선택할 모델에 가장 가까운 것을 선택해야 합니다. Gemma의 경우, Gemini용 토크나이저를 선택할 수 있습니다.

여기서 배포 환경의 최대 컨텍스트를 설정합니다.

그렇게 하지 마세요. 그 모델은 아주, 아주, 아주, 아주, 아주 오래되었습니다. 선택할 수 있는 최악의 선택지입니다.

그 모델은 한 세대 전의 모델이며, Discourse와 호환되지 않는 매우 엄격한 프롬프트 요구사항이 있습니다. 우리는 보다 표준적인 범용 LLM을 기대하고 있습니다.

해당 크기에서라면 Qwen 3.5 또는 Gemma 4를 권장합니다.

3개의 좋아요