Existe uma maneira de Adicionar uma chave de API de um LLM que não está listado?
Usamos este LLM chamado Deepseek e gostaríamos de integrá-lo. Já temos as chaves de API, etc.
2 curtidas
Pelo que sei, não, pois o Discourse provavelmente só suporta os listados.
Se eu estiver errado, qualquer um, sinta-se à vontade para me contradizer.
1 curtida
Funciona com VLLM, você pode configurar um endpoint VLLM e ele deve funcionar imediatamente.
6 curtidas
UAU!!
Muito obrigado. Vou experimentar isso.
2 curtidas
Ter suporte para quase todos os LLMs modernos existentes foi um grande foco para a versão 3.3, e finalmente conseguimos, bem a tempo de os LLMs de pesos abertos estarem a alcançar os fechados.
Avise-me se precisar de ajuda para configurar o DeepSeek na sua instância, esta funcionalidade é novíssima e ainda estamos a atualizar toda a documentação para refletir as suas novas capacidades.
2 curtidas
Sim, preciso de ajuda. Procurei, mas não vejo como adicioná-lo sem VLLM. VLLM é outra sobrecarga que prefiro evitar devido aos requisitos.
Seria ótimo se houvesse uma integração não apenas para Deepseek, mas para muitos outros LLMs de código aberto. Sou de opinião que é para onde esta corrida de LLMs está se dirigindo.
Pelo que vemos, as empresas hesitam em entregar seus dados para a “nuvem”. Código aberto que permite que elas executem instâncias locais usando ferramentas como GPT4ALL, HuggingFace acabará sendo o modelo preferido.
Obrigado
1 curtida
Sim, concordo com isso, e é por isso que apoiamos a execução do seu próprio LLM desde o primeiro dia.
O quê?
vLLM é o motor de inferência mais popular e está longe de ser uma “sobrecarga”, pois implantar com ele significa que você obterá inferência mais rápida do que qualquer script Python improvisado que um desenvolvedor possa escrever em alguns dias e está a um simples docker run --gpus all vllm/vllm-openai:latest --model deepseek-ai/DeepSeek-Coder-V2-Instruct de distância para a maioria dos modelos.
Nossa implementação funcionará com qualquer API que adira à especificação de facto usual da OpenAI, então você pode executá-la sem vLLM ou Hugging Face TGI, desde que sua API adira ao que é esperado.
1 curtida
Obrigado, pelo que entendi (posso ter entendido errado), não preciso de um novo Droplet [Digital Ocean], também conhecido como VPS, para implantar um VLLM? Ou ele pode ser implantado no mesmo Droplet que hospeda minha instância do Discourse?
Se sim, na mesma instância, seria no mesmo diretório do Discourse ou em um diretório separado?
Obrigado novamente.
Qual droplet exato você está executando seu site Discourse atual? O de US$6?
O de US$ 15. Acho que tem 2 GB de RAM. Assim que terminarmos os testes, vou aumentar a escala.
Obrigado.
Hmm, você está ciente de que um droplet para executar este modelo Deepseek que você quer custará cerca de US$ 10.000 por mês?
4 curtidas
Acho que @oga quer usar o serviço oficial da API Deepseek em vez de implantar um modelo de código aberto por conta própria.
A API oficial da Deepseek é compatível com a API da OpenAI, então basta adicionar um novo LLM em admin/plugins/discourse-ai/ai-llms.
3 curtidas
Exatamente o que estamos tentando fazer. Estamos configurando uma plataforma para treinar crianças e jovens em como escrever PROMPT eficazes, mas queremos fazer isso em um ambiente onde possamos monitorar o que eles solicitam.
Deixe-me tentar isso e ver. Implantar um modelo de código aberto para isso será proibitivo em termos de custo.
Obrigado.
1 curtida
Nuggets de Frango Sagrados!! Não é o que queremos nem o que podemos pagar.
1 curtida