要約の人間生成ベンチマークをいくつか定義し、結果がベンチマークに達するかそれを超えるまでプロンプトを繰り返し調整すると役立つかもしれません。
いくつか例を挙げます。
Understanding and managing bootstrap mode の要約
Discourse のブートストラップモードは、コミュニティの成長を促進する特別な状態であり、ユーザーの信頼度、コミュニケーション頻度、ディレクトリの更新を自動的に調整します。これは、「開始する」ボタンまたはスタッフアクションログを通じて特定できます。
バグトピックの要約:
フォーラムのテーマがユーザーメニューの表示の問題を引き起こしており、これは追跡および解決可能であり、少し難しいものの修正可能な問題です。
これらの抜粋のいずれも人間のパフォーマンスレベルに達しているとは思いません。人間のパフォーマンスレベルとは、優れたライターが達成できるレベルと定義します。問題は、LLM が 1 つの文に情報を詰め込みすぎるという不可能なタスクを与えられていることだと思います。
抜粋の主な目的は、ユーザーにトピックで何が期待できるかを知ってもらうことです。それ以上のことは必要ありません。
抜粋を生成する LLM は、トピックのコンテキストを認識する必要がある可能性が高いです。たとえば、ブートストラップドキュメントトピックの場合は、ブートストラップモードの簡単な定義を期待します。OP がユーザー生成の質問であるトピックの場合、抜粋はサイトのユーザーが理解できる言葉で質問を言い換えるだけかもしれません。高度に技術的なユーザーによって開始されたトピックの場合、適切な読者を引き付けるために、いくつかの技術用語を使用した抜粋になる可能性があります。