GPUなしでこれをEC2インスタンスで動作させようとして、自分が何をやっているのか全く分からないというレンガの壁に顔面から突っ込んだ。少なくとも、私の非常に限られた能力と理解の範囲では、CPUのみのインスタンスでこれをやろうとすると、理解できないほど多くの設定作業が必要になる。ghcr.io/huggingface/text-embeddings-inference の cpu バージョンは、どちらのリスニングモデルもロードしようとしない。ClaudeとGPT5は両方とも、Pythonツール一式を使ってONNXモデルに変換する必要があると言っており、そこで私はギブアップした。
(私が単に愚かで、明白なステップを見逃している可能性も非常に高い!)