ボットを試してみましたが、すでに素晴らしいです。セマンティック検索を有効にするために音声を追加できますか？これまでの私の実験では、これによりボットは はるかに スマートになります。少なくとも私たちのサイトでは。検索して要約したり、回答したりする結果を、セマンティック検索を実行した場合に使用する結果と比較すると、はるかに劣っています。
関連して、/ を使用するときにセマンティック検索をデフォルトで有効にすることは可能ですか？これも、ほとんどのユーザーが結果を好むと思います。キーワードを実際には言わない/検索しないが意味的に関連している知識ベースのような投稿がたくさんあります。これは、従来の検索では、人々が非公式に問題を議論している質の低い投稿が上位に表示され、彼らが持っている質問に対する正規の回答ではないことを意味します。
プロンプト/質問の例をいくつか共有していただけますか？
私もAIボットがサイトに大いに役立つと考えていますが、私のプロンプト/質問のアイデアは必ずしも他の人のそれとは限らないため、デモンストレーション目的で他のプロンプト/質問を探しています。
ぶっちゃけ、現在のセマンティック検索をボットのワークフローに組み込むだけでもクールだと思います。今はうまく機能していますが、現在のセマンティック検索が見つけてくれるはずの情報コンテキストが適切ではありません。
プロンプトを制御できると素晴らしいのですが、UIも難しいことは理解しています。間違ったプロンプトで何かを壊してしまうのは簡単だからです。ボットのペルソナという概念を、システムプロンプトとして入力できるように追加するのが、そこへの良い導入になると思います。
Absolutely, this is something I really want, in fact I want forum admins to be allowed to craft custom personas with custom command sets
プロンプトの調整は非常に役立つと思いますが、最近別のプロジェクトでアマチュアの「プロンプトエンジニアリング」を少し行った経験から、慣れていない人にはかなりの手ほどきと多くの例が必要になると思います。また、UIには、「おしゃべり/楽しい」、「中立/正確」、「本好き/オタク」のような例/デフォルトの選択肢のセットを用意して、ペルソナの言葉遣いがどのように応答を変えるかを示すと良いでしょう。
また、モデル固有のランダム性や、プロンプトの主題によって効果が異なるため、プロンプトの言葉遣いの変更の効果を測定するのは非常に難しいこともわかりました。ユーザー入力の標準的なテストスイートを開発し、それらを使用してペルソナや指示の変更がボットの出力にどのように影響するかをドライランで確認すると良いかもしれません。これはあなたのチームにとっても役立つと思いますが、テストセットが大きくなると、時間をかけずに評価する方法という問題が発生します。
ユーザーが調整したいと思うもう一つの側面は、LLMがプロンプトで提供されたソース資料にどれだけ厳密に従うかということです。私のテストでは、モデルにコンテキスト外の知識をインポートしないように指示するには、非常に明確（かつ繰り返し）にする必要があり、悪い回答よりも回答がない方が良いことを明確にする（さらに指示する）必要があります。また、モデルが「作業過程を示す」ことや、ソースを引用したり例を挙げたりする程度を制御することもできます。これは、コンテキストに実際の回答や関連資料が含まれていない場合に、幻覚/くだらない応答を回避する良い方法であることがよくあります。
最後に一つコメントですが、皆さんがコストを気にしてトークンを節約しているのがわかります。これは大規模なサイトでは理にかなっていると思います。しかし、小規模なアプリケーションや、より高い金銭的価値のあるアプリケーション（例：カスタマーサポート）では、それほど大きな問題ではないと思いますし、これは時間の経過とともに低下するだけです。応答を検証したり、ユーザー定義の「ガードレール」を実装したりするための、個別の分類器への追加クエリのコストは、私たちにとっては間違いなく価値があるでしょう。例えば、「この回答にはこれらのソースに含まれていない情報が含まれていますか？」のようなプロンプトは非常に診断的であり、ユーザーに情報を提供する前に実行する価値があることがわかりました。GPT 3.5は、たとえメインのジョブがGPT4で実行されたとしても、この種のタスクには間違いなく適しています。