来週、チームにDiscourse AIの統合について説明します。すでにいくつかのAPIキーがありますが、すべて有料アカウント用です。
「無料で利用できる統合機能はありますか？」と質問されることは確実です。これは学校向けであり、生徒はすべてを利用したいと思うでしょうが、費用はとんでもないものになります。
ありがとうございます
「いいね！」 2
いいえ、無料ではありません。
実際、Llama 3 は無料ですが、私の知る限り、それを実行するには 300,000 ドルのコンピューターが必要です。
予算がある場合は、月額 300,000 ドルを希望するサービスに支払うように設定し、その月の予算を使い切ったら、それ以上は使用できないようにすることができます。最初の週（または 1 日）で使い切ってしまわないように、制限を設定しようとするでしょう。教師が授業の一部として利用したい場合に、確実に利用できるように設定するのは複雑になるでしょう。
「いいね！」 4
学校として、AWS、Azure、GCPなどの無料教育クレジットにサインアップし、それを使用してDiscourse AI機能を強化できるかもしれません。
「いいね！」 7
ありがとうございます。それが彼らに伝えようとしていたことです。無料ではありません。今のところ、Gpt4AllとLmStudioのローカルインスタンスを使い続ける予定です。
「いいね！」 3
参考までに、Llama3の70bバージョンは48GBのVRAMで実行できます。これは、eBayで中古のNvidia RTX 3090を2枚約750ドルずつで購入すれば比較的容易に入手できます。それをサポートするシステムの残りの部分を構築するには、約3000ドル程度になると思われます。
「いいね！」 5
それは100倍の改善ですね！学校がそれだけのお金を持っていると想像できますが、私はかなり想像力があります。
ありがとうございました。ハードウェア要件については、ほとんど理解できません。
「いいね！」 3
別の見方もできます。
AIの利用を試験的に導入し、1か月間コストダッシュボードを監視してみてはいかがでしょうか？その後、継続するかどうかを判断してください。
わずか過去12か月で、高性能モデルのコストは大幅に下がりました。
OpenAIのgpt4o-miniは非常に高性能で、現在は非常に安価です（ただし、すべては相対的なものです）。
「いいね！」 5
まあ、ミニは毎回私を失望させてきました。しかし、それは別の場所で別のトピックにする価値があります。
「いいね！」 2
はい、言語にも依存する可能性があります。
「いいね！」 2
Gemini Flashは非常に安価で、DeepSeek APIはほぼ無料と言えるほど安価です。
ローカルで実行する必要がある場合は、Llamaモデルを実行できる1000ドル未満のマシンを構築できます。私は64GBのVRAMを搭載した4xP100マシンを1000ドルで構築しました。しかし、48GBのVRAMを搭載した2xP40マシンでも70B Llamaを実行するには十分であり、中古部品を購入すれば600ドルで構築できます。
究極の安さを求めるなら、AQLM量子化を使用した単一のP40 GPUで実行することもできますが、これはかなり遅くなります（約1トークン/秒）。
「いいね！」 3
彼らにはお金がありません
これらのセルフホストソリューションのすべての電気料金を考慮に入れていないのは興味深いですね。特定の機械に追跡できない請求書が1つだけになるということでしょうか…。
「いいね！」 5
友人が先日、リモートワークの影響で、公益事業会社に勤めていると話していた話題に触れました。冷暖房ユニットは、人々が常に使用しなければならないため、24時間稼働しています。その結果、多くの人が法外な公共料金の請求を受けています。
「いいね！」 1
なお、Discourse ホストプランには、AI エンベディングによって提供される関連トピックがプランに含まれています。
Cloudflare のような一部のプロバイダーは、セルフホスト用に十分な量の使用量を含む無料枠を提供しています。
「いいね！」 4
This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.