O DeepSeek acaba de lançar seu modelo de raciocínio de código aberto “R1” (junto com uma API) que está no mesmo nível do o1 da OpenAI, mas custa o mesmo que o GPT-4o-mini. É realmente incrível e útil, especialmente por causa do custo, mas atualmente não é suportado na página de configuração do LLM. 
2 curtidas
8 curtidas
omfg por que eu não pensei nisso… valeu cara 
Recebi uma API e me conectei como o @Falco descreveu, ajustei um prompt e tive respostas incríveis. Realmente ótimo. Infelizmente, depois li a política de privacidade e os termos de serviço deles e eles usam, compartilham e são donos de tudo que você faz. Baseado na China. Infelizmente, por mais maravilhoso que seja, não acho que posso usá-lo na comunidade por motivos de privacidade.
Alguma sugestão de modelos de código aberto que possam ser usados no Discourse com chave de API? Gpt4o e mini são ótimos, mas esses modelos de raciocínio são realmente tentadores.
5 curtidas
Esse é um bom ponto. Felizmente, o R1 é totalmente de código aberto e é apenas uma questão de tempo até que alguém o ajuste para remover o chinês, livrando-se dos filtros/censores/etc. Então, suspeito que será um modelo importante em vários provedores de nuvem (bedrock, groq, etc.). Por enquanto, não há outro modelo que se compare a ele além do o1. Na verdade, o R1 é até um pouco melhor em alguns aspectos, de acordo com benchmarks.
3 curtidas
@MachineScholar obrigado por abrir este tópico e também pela sua avaliação. Estou um pouco sobrecarregado com este novo mundo da IA. Estou supervisionando um estagiário que está implementando e analisando os custos de IA para nós. Você pode dar uma visão geral simplificada da diferença de custo?
No momento, estamos executando estes LLMs:
- Claude 3.5 Haiku
- Claude 3.5 Sonnet
- Gemini 1.5 Flash
- GPT-4 Omni
Estou considerando implementar o DeepSeek R1 porque um estagiário diferente estava realmente elogiando hoje o quão ótimo ele é em comparação com o GPT-o4 e o o1 para tarefas de programação específicas.
Ambos os estagiários são cientistas da computação e são jovens, então não há falta de entusiasmo por novas tecnologias. 
Além disso, se o meu fórum Discourse tiver dados públicos, preciso me preocupar com os termos de uso de privacidade do DeepSeek? Acho que estou pensando, se for bom e me economizar dinheiro, por que não? Mas, obviamente, não quero prejudicar a comunidade.
Olá! Fico feliz em ajudar
A partir de hoje, aqui estão os custos do menor para o maior, por 1 milhão de tokens:
Gemini 1.5 Flash
Entrada: $0,075
Saída: $0,30
Claude 3.5 Haiku
Entrada: $0,80
Saída: $4,00
Claude 3.5 Sonnet
Entrada: $3,00
Saída: $15,00
GPT-4o
Entrada: $2,50
Saída: $10,00
DeepSeek-R1
Entrada: $0,55
Saída: $2,19
Os preços de tokens aqui não levam em consideração o cache de prompt, que pode reduzir drasticamente os custos. Além disso, a comunidade de IA parece relatar consistentemente que o Claude 3.5 Sonnet produz código consistentemente melhor do que os modelos da OpenAI, embora eu ache que eles frequentemente alternam em sua qualidade.
Não obstante, o DeepSeek-R1 é o vencedor claro aqui, pois não é apenas o melhor custo-benefício, mas o melhor em geral. O Chatbot Arena Leaderboard também o comprova, pois está classificado acima do o1:
Ontem, o DeepSeek sofreu um forte ataque cibernético, o que provavelmente estava causando o mau funcionamento de sua API, mas acabei de testar novamente e agora está funcionando. Abri um tópico sobre esse problema também
Quanto à privacidade, o DeepSeek declara claramente em sua política que os dados são armazenados na China (quebrando completamente a lei da UE, por exemplo), e não é segredo que o PCC tem acesso a todos os dados de empresas na China. Mas se são todos dados públicos, quem se importa, realmente, já que seu site poderia teoricamente ser raspado/minerado de qualquer maneira.
Felizmente, este modelo é totalmente de código aberto e os provedores de LLM estão cientes disso. Por exemplo, o fireworks.ai já oferece este modelo, embora esteja especulando o preço, na minha opinião, em $8,00 de entrada / $8,00 de saída. Portanto, a API DeepSeek é certamente econômica.
Em minha comunidade, uso GPT-4o-mini com RAG (ele é forçado a ler um tópico relevante antes de responder para fornecer uma resposta mais factual/útil) e engenharia de prompt rigorosa. Ele ainda não falhou comigo e é muito barato a $0,15 de entrada / $0,60 de saída. No entanto, eu não confiaria nele para codificação — isso certamente é melhor deixado para o o1-mini ou DeepSeek-R1. Geralmente, de 1/3 a 1/2 de todos os tokens usados em minha comunidade são cacheados (o que você pode ver em /admin/plugins/discourse-ai/ai-usage), o que reduz ainda mais meus custos, pois os tokens cacheados são 50% mais baratos.
Portanto, se minha comunidade usa 2 milhões de tokens de entrada e 100.000 tokens de saída todos os dias, meus custos aproximados são:
Custo diário de entrada: ~$0,22
Custo diário de saída: ~$0,06
…multiplicado por 30 dias = ~$6,60 de entrada e ~$1,8 de saída = $8,40 por mês.
Isso nem é dinheiro de almoço.
4 curtidas
Este é basicamente apenas mais um meta-post, mas testei o DeepSeek com uma pergunta sobre exercícios e perda de peso. Obtive uma resposta muito ruim com toneladas de alucinações. E isso está alinhado com outras experiências que ouvi.
Portanto, o preço é apenas parte da história. O que se obtém por esse preço é uma parte importante também.
1 curtida
Ah, sim, esse é um bom ponto mesmo. Eu me esqueci disso porque praticamente nunca uso LLMs sem RAG ou alguma outra forma de injeção de informação quando estou procurando conhecimento/informação. O R1 realmente brilha para mim quando se trata de ter ideias com “pensamento crítico”. Tudo isso requer excelente engenharia de prompt, no entanto.
Para esclarecer: o R1 foi treinado com aprendizado por reforço orientado a raciocínio desde o início, então sua simples “recuperação de informação” interna pode estar produzindo alucinações devido a “pensar demais”. Mas eu ainda não li completamente o artigo de pesquisa deles, então leve isso com uma pitada de sal, pois é apenas minha intuição.
Também é verdade que é fácil fazer jailbreak no R1 
Também recebi algumas respostas incoerentes. Consegui usá-lo intencionalmente para criar alguns bons exemplos de treinamento que coloquei em um arquivo de texto RAG para algo específico. Definitivamente não está pronto para o horário nobre. Espero que a OpenAI lance um modelo de raciocínio mais econômico que possamos usar.
@MachineScholar Quero realmente agradecer sua análise de custos e por me ajudar a entender isso. Estou um pouco sobrecarregado com todas as novas informações, mas os jovens estagiários de ciência da computação parecem absorver as informações como uma esponja. Eles podem estar pensando 8x mais rápido do que eu…
Tenho um estagiário trabalhando no plugin de IA para duas comunidades diferentes do Discourse. Estamos pagando os estagiários, mas eles são baratos e certamente entusiasmados. O estagiário que faz o trabalho de IA está em um programa de ciência da computação da Universidade da Califórnia e eu me pergunto como são as discussões no campus em um grupo tão jovem, onde o futuro é claramente deles para criar.
Também me pergunto como é o seu próprio ambiente de pesquisa? Você parece estar profundamente envolvido na tecnologia. Que ótimo momento para estar envolvido. Tão emocionante.
Provavelmente iniciarei um novo tópico em minha próxima pergunta. O estagiário está implementando o Google Custom Search e o acesso ao GitHub Token para o bot de IA. Não tenho certeza do que são essas coisas. No entanto, espero que o bot de IA possa acessar os repositórios do GitHub para examinar a documentação… Não tenho certeza do que é possível. Também não sei se a Geração Aumentada por Recuperação (RAG) é usada no plugin Discourse AI.
Em relação à eficácia do DeepSeek R1 versus o1, um estagiário diferente estava falando comigo sobre usá-lo para seus projetos de CS usando a interface do aplicativo Web (usando ChatGPT Plus). Assim, o teste foi super informal, mas o entusiasmo pelo DeepSeek por um dos estagiários foi grande.
O estagiário que está realmente trabalhando na implementação de IA tem sido muito mais reservado sobre as diferenças entre os LLMs. Eles estão fornecendo principalmente tabelas de custos e uso com comentários limitados até agora sobre as diferenças de uso. Disponibilizaremos todos os LLMs para a comunidade e pediremos que avaliem. Assim, é inteligente do estagiário manter sua opinião baixa no momento.
Obrigado novamente por sua ajuda em minha jornada.
1 curtida
Deepseek está impactando profundamente todo o mundo da IA, negócios e corporações.
Eles fazem mais com menos em todos os aspectos. Você pode pesquisar sobre as diferenças técnicas deles, eu encontrei informações no Reddit usando um cliente local porque não concordo com as políticas deles, mas você pode encontrá-las lá.
Sou impactado pela paciência deles em trabalhar melhor sem bilhões através de Fundos de Venture Capital. A OpenAI é muito cara para muitos países e não é sobre isso que a internet ou nossa era digital deveriam ser.
Claro, o PCC está diretamente envolvido, mas hoje em dia as leis e governos ocidentais quebrados são quase os mesmos.
O modelo é censurado como a OpenAI (Tiananmen Square ou Gaza), mas tem um desempenho muito bom por 1/10-20 do custo antigo comum.
Acho que isso é bom para os usuários e para a tecnologia. Serviços antigos precisam mudar sua abordagem ou deixar as pessoas escolherem.
1 curtida
Fico muito feliz por ter podido ajudar!
Sim, estar na área de ciência da computação hoje em dia significa ter que ser capaz de se adaptar e aprender extremamente rápido. É bastante cansativo às vezes, no entanto. Imagino que os campi inovadores na Califórnia estejam na vanguarda. Estou familiarizado com muitos laboratórios em universidades californianas onde pesquisas de ponta em inteligência e cognição estão sendo realizadas.
Atualmente, tenho minha própria empresa na qual desenvolvo tecnologia educacional inteligente e também trabalho em um pequeno laboratório de IA onde estamos tentando construir uma proto-mente e, em seguida, encontrar algum caso de uso comercial para ela. Em um futuro próximo, iniciarei meu próprio laboratório de pesquisa em meu nicho de interesse de pesquisa, que são os sistemas inteligentes de exploração espacial. O mundo da IA é bastante empolgante — isso é verdade — mas uma parte de mim às vezes gostaria que tudo desacelerasse para que eu não tivesse que continuar correndo atrás, haha!
O Google Custom Search e o acesso ao GitHub Token permitirão que o AI Bot acesse o Google Search e o GitHub (para coisas de programação), respectivamente. Além disso, o Discourse AI Bot realmente faz RAG sempre que lê tópicos ou postagens no fórum. Ele lê e usa esse texto como contexto adicional para gerar um texto mais informado.
De fato, é bom que seus estagiários saibam como seguir as tendências, no entanto, também seria inteligente da parte deles lembrar que os LLMs estão sempre superestimados, porque isso é bom para o mercado. Os grandes desenvolvedores de LLMs têm um incentivo para exagerar tudo. Embora eu admita, esses sistemas estão se tornando mais impressionantes com o tempo.
@oppman Sinta-se à vontade para me enviar uma mensagem privada a qualquer momento se precisar de alguma coisa! Estamos todos juntos nessa!
2 curtidas
This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.