DeepSeek-Anbieterunterstützung? Was tun, wenn der Modellanbieter nicht in der "Provider"-Liste ist?

Hey! Gerne helfe ich dir weiter :slight_smile:

Hier sind die Kosten von heute, sortiert von niedrig nach hoch, pro 1 Million Tokens:

Gemini 1.5 Flash
Input: $0,075
Output: $0,30

Claude 3.5 Haiku
Input: $0,80
Output: $4,00

Claude 3.5 Sonnet
Input: $3,00
Output: $15,00

GPT-4o
Input: $2,50
Output: $10,00

DeepSeek-R1
Input: $0,55
Output: $2,19

Die hier genannten Token-Preise berücksichtigen nicht das Prompt-Caching, das die Kosten erheblich senken kann. Darüber hinaus scheint die KI-Community durchweg zu berichten, dass Claude 3.5 Sonnet durchweg besseren Code produziert als OpenAI-Modelle, obwohl ich denke, dass sich die Qualität oft hin und her bewegt.

Nichtsdestotrotz ist DeepSeek-R1 hier der klare Gewinner, da es nicht nur das beste Preis-Leistungs-Verhältnis bietet, sondern generell das beste Angebot ist. Die Chatbot Arena Leaderboard unterstützt dies ebenfalls, da es höher eingestuft wird als o1:

Gestern wurde DeepSeek einem schweren Cyberangriff ausgesetzt, der wahrscheinlich dazu führte, dass seine API nicht funktionierte, aber ich habe es gerade noch einmal getestet und es funktioniert jetzt. Ich habe auch ein Thema zu diesem Problem eröffnet:

Was die Privatsphäre betrifft, so gibt DeepSeek in seiner Richtlinie klar an, dass die Daten in China gespeichert werden (was beispielsweise EU-Recht komplett bricht), und es ist kein Geheimnis, dass die KPCh Zugriff auf alle Unternehmensdaten in China hat. Aber wenn es sich nur um öffentliche Daten handelt, wen kümmert’s, da Ihre Website theoretisch sowieso gescrapt/gemined werden könnte.

Glücklicherweise ist dieses Modell Open Source und LLM-Anbieter sind sich dessen bewusst. Zum Beispiel bietet fireworks.ai dieses Modell bereits an, obwohl sie meiner Meinung nach den Preis mit 8,00 Input / 8,00 Output scalpen. Die DeepSeek API ist also sicherlich wirtschaftlich.


In meiner Community verwende ich GPT-4o-mini mit RAG (es wird gezwungen, ein relevantes Thema zu lesen, bevor es antwortet, um eine faktenbasiertere/hilfreichere Antwort zu geben) und strengem Prompt Engineering. Es hat mich noch nie im Stich gelassen und ist mit 0,15 Input / 0,60 Output sehr günstig. Ich würde ihm jedoch nicht wirklich beim Codieren vertrauen – das ist sicherlich am besten o1-mini oder DeepSeek-R1 überlassen. Normalerweise werden 1/3 bis 1/2 aller in meiner Community verwendeten Tokens gecached (was Sie unter /admin/plugins/discourse-ai/ai-usage sehen können), was meine Kosten zusätzlich senkt, da gecachte Tokens 50 % günstiger sind.

Wenn meine Community also täglich 2 Millionen Input-Tokens und 100.000 Output-Tokens verwendet, betragen meine ungefähren Kosten:
Tägliche Input-Kosten: ~0,22 Tägliche Output-Kosten: ~0,06
…multipliziert mit 30 Tagen = ~6,60 Input und ~1,8 Output = 8,40 $ pro Monat.

Das ist nicht einmal Taschengeld.

4 „Gefällt mir“