DeepSeek プロバイダーサポート? "Provider" リストにモデルプロバイダーがない場合の対処法は?

こんにちは!喜んでお手伝いします :slight_smile:

本日現在のコストを、100万トークンあたりの安い順に並べると以下のようになります。

Gemini 1.5 Flash
入力: $0.075
出力: $0.30

Claude 3.5 Haiku
入力: $0.80
出力: $4.00

Claude 3.5 Sonnet
入力: $3.00
出力: $15.00

GPT-4o
入力: $2.50
出力: $10.00

DeepSeek-R1
入力: $0.55
出力: $2.19

ここに記載されているトークン価格には、コストを大幅に削減できるプロンプトキャッシュは考慮されていません。さらに、AIコミュニティでは、Claude 3.5 SonnetがOpenAIモデルよりも一貫して優れたコードを生成すると報告されているようですが、品質はしばしば互角になることもあると思います。

それにもかかわらず、DeepSeek-R1がここでは明らかに勝者です。これは単に最も費用対効果が高いだけでなく、全体的にも最も優れています。Chatbot Arena Leaderboardもそれを裏付けており、o1よりも上位にランク付けされています。

昨日、DeepSeekは大規模なサイバー攻撃を受けており、APIが機能しない原因となっていた可能性がありますが、再度テストしたところ、現在は動作しています。その問題についてトピックも開設しました。

プライバシーに関しては、DeepSeekはポリシーで明確に述べていますが、データは中国に保存されており(例えばEU法を完全に違反しています)、中国のすべての企業データにCCP(中国共産党)がアクセスできることは周知の事実です。しかし、すべて公開データであれば、誰が気にするでしょうか。あなたのサイトも理論上はスクレイピング/マイニングされる可能性があります。

幸いなことに、このモデルは完全にオープンソースであり、LLMプロバイダーもそれを認識しています。例えば、fireworks.aiはすでにこのモデルを提供していますが、私の意見では、入力$8.00 / 出力$8.00と価格を吊り上げています。したがって、DeepSeek APIは間違いなく経済的です。


私のコミュニティでは、GPT-4o-miniとRAG(より事実に基づいた/役立つ回答を提供するために、返信する前に関連トピックを読むように強制されています)および厳格なプロンプトエンジニアリングを使用しています。今のところ失敗したことはなく、入力$0.15 / 出力$0.60と非常に安価です。しかし、コーディングに関してはあまり信頼していません。それは間違いなくo1-miniまたはDeepSeek-R1に任せるべきです。通常、私のコミュニティで使用されるトークンの1/3から1/2はキャッシュされており(/admin/plugins/discourse-ai/ai-usageで確認できます)、キャッシュされたトークンは50%安いため、コストはさらに削減されます。

したがって、私のコミュニティが毎日200万入力トークンと10万出力トークンを使用する場合、おおよそのコストは次のようになります。
毎日の入力コスト: ~$0.22
毎日の出力コスト: ~$0.06
…30日を掛けると = 入力約$6.60と出力約$1.8 = 月額$8.40になります。

これはランチ代にもなりません。

「いいね!」 4