Desculpem, pessoal, não consegui descobrir neste artigo se o LLM instalado localmente pode ser configurado através da interface de configurações padrão?
2 curtidas
Acho que, desde que exponha uma API compatível, deve ser possível.
Existe algum LLM específico que você está planejando (ou já tem) instalado localmente?
4 curtidas
este tópico pode ajudar
6 curtidas
Esse é outro exercício para escolher o certo - eu não tinha certeza, mesmo depois de ler seus artigos relacionados à IA aqui na Meta.
Eu acho que uma ferramenta Seletora de LLM de Código Aberto da Equipe Discourse seria muito útil - porque vocês conhecem os internos e o que exatamente o LLM precisa ser capaz de fazer para se destacar em vários tipos de tarefas relevantes para as comunidades Discourse. Assim, a ferramenta/assistente/LLM faria perguntas ou me permitiria marcar/desmarcar em uma lista de mais de 20 tarefas típicas que eu gostaria que o LLM fizesse em minha comunidade, e então obteria um Top 3 recomendado (incompromissível, mas mais pesado e requer hardware caro; equilibrado, que requer um servidor dedicado de preço médio; e leve para tarefas básicas em comunidades pequenas a médias que podem rodar em um VPS de US$ 20-40).
2 curtidas
Acho que manter a resposta correta para isso seria um trabalho em tempo integral. 
5 curtidas
Se você procura algo barato, o nível gratuito do Gemini é o caminho a seguir:
O Gemini Flash 2.0 é um modelo muito capaz e o nível gratuito oferece uso suficiente para realizar bastante coisa em seu fórum.
5 curtidas
Estou procurando por hospedagem local porque não posso enviar nenhum de nossos conteúdos para nenhum serviço fora de nossos servidores.
Sobre opções baratas, obrigado pela dica!
4 curtidas
Implacável
- DeepSeek V3 0324
- Qwen 3 235B A22
Equilibrado
- Qwen 3 32B / 30B A3B
- Llama 3.3 70B
- Qwen 2.5 70B
Leve
Talvez unsloth/gemma-3-4b-it-qat-GGUF · Hugging Face? É difícil nesse nível, muito mais econômico usar uma API hospedada, como a OpenRouter.
4 curtidas