DeepSeek は、OpenAI の o1 と同等でありながら GPT-4o-mini のコストであるオープンソースの推論モデル「R1」（API とともに）をリリースしました。これは本当に驚くほど便利で、特にコスト面で 素晴らしいのですが、現在の LLM セットアップページではサポートされていません。
「いいね！」 2
「いいね！」 8
そんなこと思いつかなかったなんて…ありがとう、マジで 
APIを取得し、@Falcoが説明したように接続し、プロンプトを調整したところ、素晴らしい応答が得られました。本当に素晴らしいです。残念ながら、プライバシーと利用規約を読んだところ、あなたがしたことすべてを使用、共有、所有するとのことでした。中国に拠点を置いています。残念ながら、素晴らしいのですが、プライバシー上の理由からコミュニティで使用できるとは思えません。
APIキーを使用してDiscourseで使用できるオープンソースモデルの提案はありますか？GPT4oとminiはどちらも素晴らしいですが、これらの推論モデルは非常に魅力的です。
「いいね！」 5
それは良い点ですね。幸いなことに、R1は完全にオープンソースであり、誰かがそれを再ファインチューニングして「脱中国化」し、フィルターや検閲などを除去するのも時間の問題でしょう。そうなれば、さまざまなクラウドプロバイダー（Bedrock、Groqなど）で主要なモデルになると思われます。現時点では、o1以外にそれに匹敵するモデルはありません。実際、ベンチマークによると、R1はいくつかの側面でわずかに優れています。
「いいね！」 3
@MachineScholar このトピックを立てていただき、また評価を共有していただきありがとうございます。私はこの新しいAIの世界に少し圧倒されています。現在、AIコストの実装と分析を行っているインターンを監督しています。コストの違いについて、素人にもわかるような簡単な説明をいただけますか？
現在、以下のLLMを実行しています。
- Claude 3.5 Haiku
- Claude 3.5 Sonnet
- Gemini 1.5 Flash
- GPT-4 Omni
DeepSeek R1の実装を検討しています。なぜなら、別のインターンが今日、特定のプログラミングタスクにおいてGPT-o4やo1と比較してどれほど優れているかを熱く語っていたからです。
どちらのインターンもコンピューターサイエンティストで若いため、新しいテクノロジーに対する熱意は尽きません。
また、私のDiscourseフォーラムに公開データがある場合、DeepSeekのプライバシー利用規約を気にする必要がありますか？もしそれが良くて、費用を節約できるなら、なぜ使わないのかと思いますが、明らかにコミュニティを傷つけたくはありません。
こんにちは！喜んでお手伝いします
本日現在のコストを、100万トークンあたりの安い順に並べると以下のようになります。
Gemini 1.5 Flash
入力: $0.075
出力: $0.30
Claude 3.5 Haiku
入力: $0.80
出力: $4.00
Claude 3.5 Sonnet
入力: $3.00
出力: $15.00
GPT-4o
入力: $2.50
出力: $10.00
DeepSeek-R1
入力: $0.55
出力: $2.19
ここに記載されているトークン価格には、コストを大幅に削減できるプロンプトキャッシュは考慮されていません。さらに、AIコミュニティでは、Claude 3.5 SonnetがOpenAIモデルよりも一貫して優れたコードを生成すると報告されているようですが、品質はしばしば互角になることもあると思います。
それにもかかわらず、DeepSeek-R1がここでは明らかに勝者です。これは単に最も費用対効果が高いだけでなく、全体的にも最も優れています。Chatbot Arena Leaderboardもそれを裏付けており、o1よりも上位にランク付けされています。
昨日、DeepSeekは大規模なサイバー攻撃を受けており、APIが機能しない原因となっていた可能性がありますが、再度テストしたところ、現在は動作しています。その問題についてトピックも開設しました。
プライバシーに関しては、DeepSeekはポリシーで明確に述べていますが、データは中国に保存されており（例えばEU法を完全に違反しています）、中国のすべての企業データにCCP（中国共産党）がアクセスできることは周知の事実です。しかし、すべて公開データであれば、誰が気にするでしょうか。あなたのサイトも理論上はスクレイピング/マイニングされる可能性があります。
幸いなことに、このモデルは完全にオープンソースであり、LLMプロバイダーもそれを認識しています。例えば、fireworks.aiはすでにこのモデルを提供していますが、私の意見では、入力$8.00 / 出力$8.00と価格を吊り上げています。したがって、DeepSeek APIは間違いなく経済的です。
私のコミュニティでは、GPT-4o-miniとRAG（より事実に基づいた/役立つ回答を提供するために、返信する前に関連トピックを読むように強制されています）および厳格なプロンプトエンジニアリングを使用しています。今のところ失敗したことはなく、入力$0.15 / 出力$0.60と非常に安価です。しかし、コーディングに関してはあまり信頼していません。それは間違いなくo1-miniまたはDeepSeek-R1に任せるべきです。通常、私のコミュニティで使用されるトークンの1/3から1/2はキャッシュされており（/admin/plugins/discourse-ai/ai-usageで確認できます）、キャッシュされたトークンは50%安いため、コストはさらに削減されます。
したがって、私のコミュニティが毎日200万入力トークンと10万出力トークンを使用する場合、おおよそのコストは次のようになります。
毎日の入力コスト: ~$0.22
毎日の出力コスト: ~$0.06
…30日を掛けると = 入力約$6.60と出力約$1.8 = 月額$8.40になります。
これはランチ代にもなりません。
「いいね！」 4
これはほとんど別のメタ投稿ですが、運動と減量に関する質問でDeepSeekをテストしました。大量の幻覚を伴う非常に悪い答えが得られました。そしてそれは、私が聞いた他の経験とも一致しています。
したがって、価格タグは物語の一部にすぎません。その価格で何を得るかも重要な部分です。
「いいね！」 1
ああ、それは確かに良い点ですね。RAGやその他の情報注入なしではLLMを知識/情報検索にほとんど使用しないため、これを忘れていました。R1は「批判的思考」でアイデアをブレインストーミングする際には非常に役立ちます。これらすべてには、優れたプロンプトエンジニアリングが必要ですが。
明確にするために：R1は最初から推論指向の強化学習でトレーニングされているため、単純な内部「情報検索」は「考えすぎ」によって幻覚を引き起こす可能性があります。しかし、まだ研究論文を完全に読んでいないので、これは私の直感にすぎないことをご了承ください。
R1は簡単に脱獄できるというのも事実です 
また、一貫性のない応答も得られました。意図的に使用して、RAGテキストファイルにいくつか良いトレーニング例を作成することができました。これは特定の目的のためです。まだ実用的ではありません。OpenAIが、より費用対効果の高い推論モデルをリリースしてくれることを願っています。
@MachineScholar コスト分析と理解のお手伝いをしていただき、本当に感謝しています。私自身、新しい情報に圧倒されていますが、若いコンピュータサイエンスのインターンたちはスポンジのように情報を吸収しているようです。彼らは私よりも8倍速く考えているかもしれません…。
私はインターンの一人に、2つの異なるDiscourseコミュニティ向けのAIプラグインに取り組んでもらっています。インターンには報酬を支払っていますが、彼らは安価であり、間違いなく熱意があります。主にAI作業を担当しているインターンは、カリフォルニア大学のコンピュータサイエンスプログラムに所属しており、未来を創造するであろう若いグループでのキャンパス内の議論はどのようなものなのか、しばしば疑問に思います。
あなたの自身の研究環境についても気になりますか？あなたはテクノロジーに深く関わっているように見えます。関わるのにこれほど素晴らしい時期はありません。とてもエキサイティングです。
次の質問では、新しいトピックを開始する予定です。インターンは、AIボットのためにGoogleカスタム検索とGitHubトークンアクセスを実装しています。これらが何であるかはよくわかりません。しかし、AIボットがGitHubリポジトリにアクセスしてドキュメントを検索できることを願っています…。何が可能かはわかりません。また、Discourse AIプラグインでRetrieval-Augmented Generation (RAG) が使用されているかどうかもわかりません。
DeepSeek R1とo1の有効性に関して、別のインターンがWebアプリUI（ChatGPT Plusを使用）を使用してCSプロジェクトにそれを使用することについて話していました。そのため、テストは非常にインフォーマルでしたが、インターンの一人によるDeepSeekへの熱意は大きかったです。
実際にAI実装に取り組んでいるインターンは、LLM間の違いについてはるかに控えめでした。彼らは主にコストと使用量の表を提供しており、現時点では使用量の違いに関するコメントは限られています。私たちはすべてのLLMをコミュニティに提供し、評価を依頼する予定です。そのため、インターンが現時点で意見を控えめにしているのは賢明です。
私の旅路におけるあなたの助けに、改めて感謝します。
「いいね！」 1
Deepseekは、AIの世界、ビジネス、企業に深く浸透しています。
彼らはあらゆる面で、より少ないリソースでより多くのことを成し遂げます。技術的な違いについてはご自身で調べてみてください。私はポリシーに同意できないため、ローカルクライアントを使用してRedditで情報を得ましたが、そこでも入手できます。
数億ドルものベンチャーファンドなしで、より良く働くための彼らの忍耐力に感銘を受けています。OpenAIは多くの国にとって非常に高価であり、インターネットや私たちのデジタル時代がそうあるべきではありません。
もちろん、CPC（中国共産党）は直接関与していますが、今日では、壊れた西洋の法律と政府もほとんど同じです。
モデルはOpenAIのように検閲されていますが（天安門事件やガザ）、従来のコストの1/10〜1/20で非常にうまく機能します。
これはユーザーとテクノロジーにとって良いことだと思います。古いサービスはアプローチを変更するか、人々に選択肢を与える必要があります。
「いいね！」 1
お役に立ててとても嬉しいです！
そうですね、コンピューターサイエンスの世界では、非常に速く適応し、学習し続ける必要があります。時々、それはかなり疲れます。カリフォルニアの革新的なキャンパスは最先端を行っていると想像します。知能と認知に関する最先端の研究が行われているカリフォルニアの大学の多くの研究所には精通しています。
現在、私はインテリジェントな教育テクノロジーを開発する自身の会社を経営しており、また、プロトマインドを構築し、それに対するビジネス上のユースケースを見つけようとしている小さなAIラボでも働いています。近い将来、私のニッチな研究分野であるインテリジェント宇宙探査システムにおいて、自身の研究ラボを立ち上げる予定です。AIの世界はすべて非常にエキサイティングですが、それは本当ですが、時々、すべてが少しスローダウンして、私が追いつき続ける必要がなくなればいいのにと思うこともあります（笑）！
Googleカスタム検索とGitHubトークンアクセスは、それぞれAIボットがGoogle検索とGitHub（プログラミング関連）にアクセスできるようにします。また、Discourse AIボットは、フォーラムのトピックや投稿を読む際にRAGを実行します。それは、より情報に基づいたテキストを生成するために、そのテキストを追加のコンテキストとして使用します。
確かに、インターンがトレンドを追う方法を知っているのは良いことですが、LLMは常に過大評価されていることを覚えておくことも賢明でしょう。それは市場にとって良いことだからです。大手LLM開発者は、すべてを誇大宣伝するインセンティブを持っています。ただし、これらのシステムは時間とともにますます印象的になっていることは認めざるを得ません。
@oppman いつでも何か必要なことがあれば、お気軽にPMしてください！私たちは皆、この状況を共に乗り越えています！
「いいね！」 2
This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.