CPUとRAMではどちらが最も合理的な結果をもたらしますか？

インストール
1

どれくらいが「多い」のかや*「nanoがあるのに、emacsはviより優れているのか」*といった質問は、難しく、答えようがないことは承知していますが、それでもお尋ねします。

これらのAI関連の機能のために、DigitalOceanで新しいドロップレットを作成することを検討しています。トラフィックが少なく、あまりお金がかからないフォーラムで、ターゲットが16GB RAMの場合、最も費用対効果が高いのはどれでしょうか？

  • ベーシック、112ユーロ — IntelまたはAMD 8コア
  • 汎用、126ユーロ — 4コア
  • CPU最適化、168ユーロ — Intel通常 8コア
  • メモリ最適化、84ユーロ — 2コア

（現在、米ドルとユーロはほぼ同じです）

繰り返しますが、私は何も知りません。しかし、DiscourseはPHPベースのWordPressとは全く異なり、クライアント依存のアプリケーションであるため、それほど多くのCPUパワーを必要としないのではないでしょうか？それとも、全くの見当違いでしょうか？しかし、AIソリューションは、その状況を完全に変え、RAMとCPUを必要としますか？

そして、実際の質問は、例えば*「関連記事」ブロック*を設置したい場合、最低限のコストはいくらになるかということです。

2

AIによる「関連記事」機能の主な問題点は、既存のすべてのトピックの埋め込みを生成する必要があることです。大規模なフォーラムでは時間がかかり、それが操作の「高価」な部分です。しかし、これは一度だけ実行すればよいので、時間単位のインスタンスを利用して最小限の費用で済ませることができます。

Metaの埋め込み生成には約1時間かかりました。例えば、1時間フル NVIDIA A100搭載のVPS を利用すれば、3ドル未満で実行できます！

すべての埋め込みが生成されたら、新しく追加されたトピックや編集されたトピックの埋め込みのみを生成すればよく、その場合はCPUベースの推論で十分でしょう。

したがって、以下のような構成になります。

  1. Discourseを実行するDigital Oceanのドロップレット1台

バックフィル中は以下のようにします。

  1. Discourseを実行するDigital Oceanのドロップレット1台
  2. 埋め込みを保存するPostgreSQLを実行するDigital Oceanのドロップレット1台
  3. 埋め込みを高速に計算するためのVultrのVPS1台

バックフィル後は以下のように変更します。

  1. Discourseを実行するDigital Oceanのドロップレット1台
  2. 埋め込みを保存するPostgreSQLを実行するDigital Oceanのドロップレット1台 そして、埋め込みサービスも

2番目のドロップレットのサイズについては、4GB RAMの小さいもので十分かもしれませんが、埋め込みサービスコンテナがどれだけのRAMを使用するかを確認する必要があります。

「いいね！」 2
3

これをSteamのゲームとパッケージ化して、Geforce Nowで実行する方法があるのか疑問に思わざるを得ませんね :rofl:

「いいね！」 2
4

実際、それほど悪くないですね。RAMとCPUに関しては、もっと高価なものを予想していました。

このパッケージ全体はまだ開発中とのことですが、飛び込む前にもう少し待つべきでしょうか :wink:

「いいね！」 1
5

現在積極的に開発を進めており、今後数週間でこのプラグインをエンタープライズ顧客向けに展開し、フィードバックを得る中で 多くの 変更を加える予定です。

とはいえ、10ドル未満で試してみて、コミュニティにこの機能を提供し、早期のフィードバックを提供できるというのは、私にとっては良い取引のように思えますが、それはあなたのお金と時間の制約によります。

わかっていることの一つは、現時点では関連トピックの埋め込みにOPのみを使用していますが、OPと収まる返信の両方を渡すことを実験する予定であり、そのためにはすべての埋め込みを再度生成する必要があるということです。これには、さらに3ドルと1時間の時間が必要になります。

「いいね！」 2
6

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.