私はディスコースAI初心者です。「sentence-transformers/all-mpnet-base-v2」を埋め込みモデルとして使用していますが、これでセマンティック検索は十分でしょうか？
それとも、HyDEモデルを追加する必要がありますか？
この件についてご指導ください。
セマンティック検索にはLLMも必要です。セルフホストしたい場合は、DiscourseAI用のオープンソースLLMのセルフホスティングを参照してください。
どうもありがとうございます。
「mistralai/Mistral-7B-Instruct-v0.2」のようなモデルを、エンタープライズレベルのウェブサイト向けにオンプレミスとクラウドの両方でホストするための要件について、何かアイデアをいただけますでしょうか。
また、管理パネルでこのモデルのトークナイザーが見つかりません。
これはDiscourse固有のものではないため、標準的なルールが適用されます。7Bモデルは、fp16を使用して実行した場合、コンテキスト用のスペースに加えて約14GBのVRAMを必要とします。fp8量子化を使用してそれを半分にすることができますが、その古いモデルはそれに最適ではありません。
考えられるすべてのトークナイザーを出荷することは現実的ではないため、利用可能なトークナイザーの中から最も近いものを選ぶ必要があります。
「いいね！」 1
このシナリオに適したLLMモデルをいくつか提案できますか？ 私たちはオンプレミスでモデルをホスティングする可能性があるため、モデルとDiscourseとの互換性について知りたいです。
ありがとうございます。
予算、ターゲット言語サポート、および Discourse AI のどの機能を利用したいかによります。
現在、Qwen 2.5 Instruct の 32B または 72B は有力な候補です。
要約機能のためにより小さなモデルを使用する方法はありますか？なぜなら、LLMはより大きな予算を必要とし、今はより小さなものに妥協しなければならないかもしれないからです。
はい、どのモデルを使用しても構いません。
「いいね！」 1
モデルへのペイロードを要約やその他の機能のために変更することはできますか？
特に、システムのコンテンツを変更したいです。
{‘role’: ‘system’, ‘content’: ‘あなたは、提供されたテキストの簡潔で一貫性のある要約を生成する高度な要約ボットです。\\n\\n- 要約のみを含め、追加のコメントは不要です。\\n- DiscourseフォーラムのMarkdown（リンク、イタリック、太字を含む）を理解し、生成します。\\n- 要約するテキストの元の言語を維持してください。\\n- 要約は400語以下を目指してください。\\n- 各投稿は「<POST_NUMBER>) 」の形式でフォーマットされます。\\n- 特定の注目すべき投稿は、説明の形式で引用してください。\\n - 例：samによる3番目と6番目の投稿へのリンク：sam (#3, #6)\\n - 例：janeによる6番目の投稿へのリンク：同意した\\n - 例：joeによる13番目の投稿へのリンク：joe\\n- ユーザー名をフォーマットする際は、@USERNAME または USERNAME のいずれかを使用してください。’}
可能であれば、その方法を教えてください。
「いいね！」 1
現時点では不可能ですが、すでに実現に向けた作業を開始しました。数週間中にリリースされる予定です。
「いいね！」 2