Suporte ao provedor DeepSeek? O que fazer quando o provedor do modelo não está na lista "Provider"?

Olá! Fico feliz em ajudar :slight_smile:

A partir de hoje, aqui estão os custos do menor para o maior, por 1 milhão de tokens:
Gemini 1.5 Flash
Entrada: $0,075
Saída: $0,30

Claude 3.5 Haiku
Entrada: $0,80
Saída: $4,00

Claude 3.5 Sonnet
Entrada: $3,00
Saída: $15,00

GPT-4o
Entrada: $2,50
Saída: $10,00

DeepSeek-R1
Entrada: $0,55
Saída: $2,19

Os preços de tokens aqui não levam em consideração o cache de prompt, que pode reduzir drasticamente os custos. Além disso, a comunidade de IA parece relatar consistentemente que o Claude 3.5 Sonnet produz código consistentemente melhor do que os modelos da OpenAI, embora eu ache que eles frequentemente alternam em sua qualidade.

Não obstante, o DeepSeek-R1 é o vencedor claro aqui, pois não é apenas o melhor custo-benefício, mas o melhor em geral. O Chatbot Arena Leaderboard também o comprova, pois está classificado acima do o1:

Ontem, o DeepSeek sofreu um forte ataque cibernético, o que provavelmente estava causando o mau funcionamento de sua API, mas acabei de testar novamente e agora está funcionando. Abri um tópico sobre esse problema também

Quanto à privacidade, o DeepSeek declara claramente em sua política que os dados são armazenados na China (quebrando completamente a lei da UE, por exemplo), e não é segredo que o PCC tem acesso a todos os dados de empresas na China. Mas se são todos dados públicos, quem se importa, realmente, já que seu site poderia teoricamente ser raspado/minerado de qualquer maneira.

Felizmente, este modelo é totalmente de código aberto e os provedores de LLM estão cientes disso. Por exemplo, o fireworks.ai já oferece este modelo, embora esteja especulando o preço, na minha opinião, em $8,00 de entrada / $8,00 de saída. Portanto, a API DeepSeek é certamente econômica.


Em minha comunidade, uso GPT-4o-mini com RAG (ele é forçado a ler um tópico relevante antes de responder para fornecer uma resposta mais factual/útil) e engenharia de prompt rigorosa. Ele ainda não falhou comigo e é muito barato a $0,15 de entrada / $0,60 de saída. No entanto, eu não confiaria nele para codificação — isso certamente é melhor deixado para o o1-mini ou DeepSeek-R1. Geralmente, de 1/3 a 1/2 de todos os tokens usados em minha comunidade são cacheados (o que você pode ver em /admin/plugins/discourse-ai/ai-usage), o que reduz ainda mais meus custos, pois os tokens cacheados são 50% mais baratos.

Portanto, se minha comunidade usa 2 milhões de tokens de entrada e 100.000 tokens de saída todos os dias, meus custos aproximados são:
Custo diário de entrada: ~$0,22
Custo diário de saída: ~$0,06
…multiplicado por 30 dias = ~$6,60 de entrada e ~$1,8 de saída = $8,40 por mês.

Isso nem é dinheiro de almoço.

4 curtidas