hugging face の有料 inference endpoints を Discourse のカスタム LLM として使用する方法

サポート
,
1

Hugging Face Inference Endpoint サービス (実質的には AWS) で複数のオープンソース LLM モデルを実行しています。

テストしたすべてのモデル (llama、phi、gemma など) で、Discourse LLM 設定ページから接続できますが、推論が機能しません。エラーは次のとおりです。

「モデルに連絡しようとしたところ、このエラーが発生しました: JSON ボディをターゲットタイプに逆シリアル化できませんでした: フィールド inputs が行 1、列 163 にありません」

何が間違っていますか!? よろしくお願いします。

Hugging Face からの表示:

image
image1249×863 74.4 KB

Discourse からの表示:

image
image1074×832 41 KB

2

APIを最後に試してから1年以上経ちました。最近はOpenAI互換になりましたか？もしそうなら、ProviderをOpenAIに設定し、エンドポイントを指定してみてください。

3

Discourse LLM セットアップ画面で利用可能な、OpenAI を含むほとんどすべてのプロバイダーを試しました。

「JSON ボディをターゲット タイプに逆シリアル化できませんでした」エラーか、「内部サーバー エラー」のいずれかが発生します。

HF エンドポイント サービス (GPT2! :slight_smile: で実際の OpenAI モデルも試しましたが、うまくいきませんでした。.. 同様の種類のいくつかエラーが発生しました。