DeepSeek hat gerade sein Open-Source-Reasoning-Modell „R1“ (zusammen mit einer API) veröffentlicht, das mit dem o1 von OpenAI mithalten kann, aber etwa die Kosten von GPT-4o-mini hat. Es ist wirklich erstaunlich und nützlich, besonders wegen der Kosten, aber es wird derzeit auf der LLM-Setup-Seite nicht unterstützt. 
2 „Gefällt mir“
8 „Gefällt mir“
omfg, warum bin ich da nicht drauf gekommen… danke Mann 
Ich habe eine API erhalten und sie wie von @Falco beschrieben verbunden, einen Prompt angepasst und erstaunliche Antworten erhalten. Wirklich großartig. Leider habe ich dann ihre Datenschutzbestimmungen und AGB gelesen und sie nutzen, teilen und besitzen alles, was Sie tun. Mit Sitz in China. Leider, so wunderbar es auch ist, glaube ich nicht, dass ich es aus Datenschutzgründen in der Community verwenden kann.
Haben Sie Vorschläge für Open-Source-Modelle, die in Discourse mit einem API-Schlüssel verwendet werden können? Gpt4o und Mini sind beide großartig, aber diese Reasoning-Modelle sind wirklich verlockend.
5 „Gefällt mir“
Das ist ein guter Punkt. Glücklicherweise ist R1 Open Source und es ist nur eine Frage der Zeit, bis jemand es neu abstimmt, um es zu de-chinesifizieren und die Filter/Zensoren usw. zu entfernen. Dann vermute ich, dass es ein wichtiges Modell bei verschiedenen Cloud-Anbietern (Bedrock, Groq usw.) sein wird. Vorerst gibt es kein anderes Modell, das damit vergleichbar ist, außer o1. Tatsächlich ist R1 laut Benchmarks in einigen Aspekten sogar etwas besser.
3 „Gefällt mir“
@MachineScholar, danke, dass du dieses Thema eröffnet hast und auch für deine Einschätzung. Ich bin von dieser neuen KI-Welt etwas überfordert. Ich betreue einen Praktikanten, der die KI-Kosten für uns implementiert und analysiert. Können Sie eine grobe, laienhafte Darstellung des Kostenunterschieds geben?
Derzeit verwenden wir diese LLMs:
- Claude 3.5 Haiku
- Claude 3.5 Sonnet
- Gemini 1.5 Flash
- GPT-4 Omni
Ich erwäge die Implementierung von DeepSeek R1, da ein anderer Praktikant heute wirklich davon geschwärmt hat, wie großartig es im Vergleich zu GPT-o4 und o1 für spezifische Programmieraufgaben ist.
Beide Praktikanten sind Informatiker und jung, es mangelt also nicht an Begeisterung für neue Technologien. 
Außerdem, wenn mein Discourse-Forum öffentliche Daten hat, muss ich mir dann Sorgen um die Datenschutzbestimmungen von DeepSeek machen? Ich denke, wenn es gut und kostensparend ist, warum nicht? Aber offensichtlich möchte ich die Community nicht schädigen.
Hey! Gerne helfe ich dir weiter
Hier sind die Kosten von heute, sortiert von niedrig nach hoch, pro 1 Million Tokens:
Gemini 1.5 Flash
Input: $0,075
Output: $0,30
Claude 3.5 Haiku
Input: $0,80
Output: $4,00
Claude 3.5 Sonnet
Input: $3,00
Output: $15,00
GPT-4o
Input: $2,50
Output: $10,00
DeepSeek-R1
Input: $0,55
Output: $2,19
Die hier genannten Token-Preise berücksichtigen nicht das Prompt-Caching, das die Kosten erheblich senken kann. Darüber hinaus scheint die KI-Community durchweg zu berichten, dass Claude 3.5 Sonnet durchweg besseren Code produziert als OpenAI-Modelle, obwohl ich denke, dass sich die Qualität oft hin und her bewegt.
Nichtsdestotrotz ist DeepSeek-R1 hier der klare Gewinner, da es nicht nur das beste Preis-Leistungs-Verhältnis bietet, sondern generell das beste Angebot ist. Die Chatbot Arena Leaderboard unterstützt dies ebenfalls, da es höher eingestuft wird als o1:
Gestern wurde DeepSeek einem schweren Cyberangriff ausgesetzt, der wahrscheinlich dazu führte, dass seine API nicht funktionierte, aber ich habe es gerade noch einmal getestet und es funktioniert jetzt. Ich habe auch ein Thema zu diesem Problem eröffnet:
Was die Privatsphäre betrifft, so gibt DeepSeek in seiner Richtlinie klar an, dass die Daten in China gespeichert werden (was beispielsweise EU-Recht komplett bricht), und es ist kein Geheimnis, dass die KPCh Zugriff auf alle Unternehmensdaten in China hat. Aber wenn es sich nur um öffentliche Daten handelt, wen kümmert’s, da Ihre Website theoretisch sowieso gescrapt/gemined werden könnte.
Glücklicherweise ist dieses Modell Open Source und LLM-Anbieter sind sich dessen bewusst. Zum Beispiel bietet fireworks.ai dieses Modell bereits an, obwohl sie meiner Meinung nach den Preis mit 8,00 Input / 8,00 Output scalpen. Die DeepSeek API ist also sicherlich wirtschaftlich.
In meiner Community verwende ich GPT-4o-mini mit RAG (es wird gezwungen, ein relevantes Thema zu lesen, bevor es antwortet, um eine faktenbasiertere/hilfreichere Antwort zu geben) und strengem Prompt Engineering. Es hat mich noch nie im Stich gelassen und ist mit 0,15 Input / 0,60 Output sehr günstig. Ich würde ihm jedoch nicht wirklich beim Codieren vertrauen – das ist sicherlich am besten o1-mini oder DeepSeek-R1 überlassen. Normalerweise werden 1/3 bis 1/2 aller in meiner Community verwendeten Tokens gecached (was Sie unter /admin/plugins/discourse-ai/ai-usage sehen können), was meine Kosten zusätzlich senkt, da gecachte Tokens 50 % günstiger sind.
Wenn meine Community also täglich 2 Millionen Input-Tokens und 100.000 Output-Tokens verwendet, betragen meine ungefähren Kosten:
Tägliche Input-Kosten: ~0,22
Tägliche Output-Kosten: ~0,06
…multipliziert mit 30 Tagen = ~6,60 Input und ~1,8 Output = 8,40 $ pro Monat.
Das ist nicht einmal Taschengeld.
4 „Gefällt mir“
Dies ist eigentlich nur ein weiterer Meta-Post, aber ich habe DeepSeek mit einer Frage zu Bewegung und Gewichtsverlust getestet. Ich erhielt eine wirklich schlechte Antwort mit vielen Halluzinationen. Und das deckt sich mit anderen Erfahrungen, die ich gehört habe.
Der Preis ist also nur ein Teil der Geschichte. Was man für diesen Preis bekommt, ist ebenfalls ein wichtiger Teil.
1 „Gefällt mir“
Ah ja, das ist in der Tat ein guter Punkt. Das habe ich vergessen, weil ich LLMs praktisch nie ohne RAG oder eine andere Form der Informationsinjektion verwende, wenn ich nach Wissen/Informationen suche. R1 glänzt für mich, wenn es darum geht, Ideen mit „kritischem Denken“ zu entwickeln. Dies alles erfordert jedoch eine ausgezeichnete Prompt-Entwicklung.
Zur Klarstellung: R1 wurde von Anfang an mit einem auf Schlussfolgerungen ausgerichteten Reinforcement Learning trainiert, daher könnte seine einfache interne „Informationsbeschaffung“ aufgrund von „Überdenken“ Halluzinationen hervorrufen. Aber ich habe ihr Forschungs paper noch nicht vollständig gelesen, also nimm das mit Vorsicht, da es nur meine Intuition ist.
Es stimmt auch, dass es einfach ist, R1 zu „jailbreaken“ 
Ich habe auch einige inkohärente Antworten von ihm erhalten. Ich konnte es absichtlich verwenden, um ein paar gute Trainingsbeispiele zu erstellen, die ich in eine RAG-Textdatei für etwas Bestimmtes eingefügt habe. Definitiv nicht bereit für die Hauptsendezeit. Hoffentlich veröffentlicht OpenAI ein kostengünstigeres Reasoning-Modell, das wir verwenden könnten.
@MachineScholar Ich möchte Ihnen wirklich für Ihre Kostenanalyse und dafür danken, dass Sie mir geholfen haben, dies zu verstehen. Ich bin selbst etwas überwältigt von all den neuen Informationen, aber die jungen Informatikpraktikanten scheinen die Informationen wie ein Schwamm aufzusaugen. Sie denken vielleicht 8x schneller als ich…
Ich habe einen Praktikanten, der am KI-Plugin für zwei verschiedene Discourse-Communities arbeitet. Wir bezahlen die Praktikanten, aber sie sind günstig und sie sind sicherlich enthusiastisch. Der Praktikant, der hauptsächlich die KI-Arbeit leistet, studiert Informatik an der University of California, und ich frage mich oft, wie die Diskussionen auf dem Campus in einer so jungen Gruppe sind, in der die Zukunft eindeutig ihre Zukunft ist, die sie gestalten werden.
Ich frage mich auch, wie Ihre eigene Forschungsumgebung aussieht? Sie scheinen tief in die Technologie involviert zu sein. Was für eine großartige Zeit, um involviert zu sein. So aufregend.
Ich werde wahrscheinlich ein neues Thema für meine nächste Frage eröffnen. Der Praktikant implementiert Google Custom Search und GitHub Token-Zugriff für den KI-Bot. Ich bin mir nicht ganz sicher, was das ist. Ich hoffe jedoch, dass der KI-Bot auf GitHub-Repos zugreifen kann, um Dokumentationen zu durchsuchen… Ich bin mir nicht sicher, was möglich ist. Ich weiß auch nicht, ob Retrieval-Augmented Generation (RAG) im Discourse AI-Plugin verwendet wird.
Bezüglich der Wirksamkeit von DeepSeek R1 gegenüber o1 sprach ein anderer Praktikant mit mir darüber, es für seine CS-Projekte über die Web-App-Oberfläche (mit ChatGPT Plus) zu verwenden. Der Test war also sehr informell, aber die Begeisterung für DeepSeek von einem der Praktikanten war groß.
Der Praktikant, der tatsächlich an der KI-Implementierung arbeitet, war bezüglich der Unterschiede zwischen den LLMs zurückhaltender. Er liefert bisher hauptsächlich Kosten- und Nutzungstabellen mit begrenzten Kommentaren zu Nutzungsunterschieden. Wir werden alle LLMs der Community zur Verfügung stellen und sie bitten, dies zu bewerten. Es ist also klug vom Praktikanten, seine Meinung im Moment zurückzuhalten.
Vielen Dank nochmals für Ihre Hilfe auf meiner Reise.
1 „Gefällt mir“
Deepseek trifft die gesamte KI-Welt, Wirtschaft und Unternehmen tief.
Sie leisten in jeder Hinsicht mehr mit weniger. Sie können nach ihren technischen Unterschieden suchen, ich habe auf Reddit nach Informationen gesucht, indem ich einen lokalen Client verwendet habe, weil ich ihren Richtlinien nicht zustimme, aber Sie können dorthin gelangen.
Ich bin beeindruckt von ihrer Geduld, besser zu arbeiten, ohne Milliarden durch Venture Funds zu erhalten. OpenAI ist für viele Länder sehr teuer, und darum sollte es im Internet oder in unserem digitalen Zeitalter nicht gehen.
Natürlich ist die Kommunistische Partei Chinas (KPCh) direkt involviert, aber heutzutage sind die kaputten westlichen Gesetze und Regierungen fast gleich.
Das Modell ist wie OpenAI zensiert (Tiananmen-Platz oder Gaza), aber es leistet zu 1/10-20 der altbekannten Kosten wirklich gute Arbeit.
Ich denke, das ist gut für die Nutzer und die Technologie. Alte Dienste müssen ihren Ansatz ändern oder die Leute wählen lassen.
1 „Gefällt mir“
Ich bin sehr froh, dass ich helfen konnte!
Ja, heutzutage bedeutet es, in der Informatik zu arbeiten, dass man sich extrem schnell anpassen und lernen muss. Manchmal ist es ziemlich anstrengend. Ich stelle mir vor, dass innovative Campusse in Kalifornien an der Spitze stehen. Ich bin mit vielen Laboren an kalifornischen Universitäten vertraut, in denen Spitzenforschung in den Bereichen Intelligenz und Kognition betrieben wird.
Ich habe derzeit mein eigenes Unternehmen, in dem ich intelligente Bildungstechnologie entwickle, und ich arbeite auch in einem winzigen KI-Labor, in dem wir versuchen, einen Proto-Geist zu erschaffen und dann einen geschäftlichen Anwendungsfall dafür zu finden. In naher Zukunft werde ich mein eigenes Forschungslabor in meiner Nische, den intelligenten Weltraumexplorationssystemen, gründen. Die KI-Welt ist wirklich aufregend – das stimmt –, aber ein Teil von mir wünscht sich manchmal, dass alles langsamer würde, damit ich nicht immer hinterherhinken muss, haha!
Google Custom Search und GitHub Token Access ermöglichen dem KI-Bot den Zugriff auf Google Search bzw. GitHub (für Programmierkram). Außerdem führt der Discourse AI Bot tatsächlich RAG durch, wenn er Themen oder Beiträge im Forum liest. Er liest sie und verwendet diesen Text dann als zusätzlichen Kontext, um besser informierte Texte zu generieren.
Es ist in der Tat gut, dass Ihre Praktikanten die Trends kennen, aber es wäre auch klug von ihnen, sich daran zu erinnern, dass LLMs immer überhyped sind, weil es gut für den Markt ist. Die großen LLM-Entwickler haben ein Interesse daran, alles zu hypen. Ich muss jedoch zugeben, dass diese Systeme mit der Zeit immer beeindruckender werden.
@oppman Fühlen Sie sich frei, mich jederzeit per PM zu kontaktieren, wenn Sie etwas brauchen! Wir sitzen alle im selben Boot!
2 „Gefällt mir“
This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.