Discourse AI - 要約

ドキュメント サイト管理
, ,
1

:bookmark: このトピックでは、Discourse AI プラグインの要約機能の設定について説明します。

:person_raising_hand: 必須ユーザーレベル: 管理者

トピックやチャットチャンネルを要約して、素早く内容を把握しましょう。巨大なトピックや大規模なディスカッションで、何が起こっているのかを理解するために使用してください。

Chat channel summarize option
Chat channel summarize option542×618 27.5 KB

機能

  • トピックマップ (トピックの上下) からトピックを要約
  • 特定期間 (最大 7 日間) のチャットチャンネルを要約
  • 以前に生成されたトピックの要約をキャッシュ
  • 古い要約を再生成
  • 要約の日付と使用された AI モデルを表示

要約の有効化

前提条件

少なくとも 1 つ のプロバイダーからの大規模言語モデル (LLM) を設定する必要があります。

開始するには、Discourse AI - 大規模言語モデル (LLM) 設定ページ で設定できます。

設定

  1. 管理者 設定 → プラグイン → AI → 設定 タブに移動し、有効になっていることを確認します (discourse ai enabled)。
  2. ai summarization model を通じて使用する LLM を設定します。
  3. ai summarization enabled をチェックして、要約を有効にします。
  4. ai custom summarization allowed groups を通じて、どのユーザーグループが要約を生成および表示できるかを設定することをお勧めします。
  5. (オプション) ai pm summarization allowed groups を通じて、特定のユーザーグループのプライベートメッセージ (PM) 要約を有効にします。

セルフホスティング者は、以下を設定する必要があります。

  • ai_summarization_discourse_service_api_endpoint
  • ai_summarization_discourse_service_api_key

技術 FAQ

要約は結果をキャッシュしますか？

  • 要約は結果をキャッシュし、選択されたユーザーグループ以外のすべてのユーザーが利用できるようにします。

注意事項

  • 要約の出力は 100% 正確ではない可能性があるため、出力を注意深く確認してください。
  • LLM の呼び出しは高額になる可能性があります。コストを管理するために、特定のユーザーグループに対して要約を有効にすることをお勧めします。
「いいね！」 20
18

質問

要約

本日、OpenAIフォーラムで要約機能が有効になりました。ユーザーとの議論で、モデレーターには他のユーザーよりもコンテンツが少ない「このトピックを要約する」が表示されることがわかりました。

モデレーターとして、「このトピックを要約する」オプションが表示されます。

  • フォーラムの場合 - 1つのトピック投稿と1つの返信投稿でオプションが表示されます。
  • ダイレクトメッセージの場合 - 1つのトピック投稿でオプションが表示されます。

これに関するドキュメントを探しましたが、見つかりませんでした。何か見落としましたか？

要約に関するフィードバック

すごい！完璧です！

要約が必要です。すぐに必要です！

（参照）

言及されている要約トピックは、その返信のすぐ上にあります。こちらです。

提案

返信が多く、閲覧数も多いトピック、特に議論関連のトピックに、要約の返信を自動的に投稿してください。

もちろん、どのくらいの頻度で、どのトピックに投稿するかをカスタマイズできるように設定が必要であり、AIが選択する必要があるかもしれません。

また、要約の返信は、要約コードが要約の関連情報を歪める可能性のある要約返信を使用しないように識別する必要があります。

過去数日間、モデレーターとして、トピックを手動で選択し、Discourse AIの要約を返信として追加してきました。フィードバックは限定的ですが、好評を得ています。

例

クレイジーな提案

Discourseニュースサイトを作成する

毎日、多くのサイトを訪れて最新情報を取得しています。それらのサイトの中には、最新のAIトレンドに関するニュース記事を提供しているものがあります。それらのニュース記事の多くは、実際には多くの1行の事実で構成されています。今朝読んだニュース記事は、OpenAI DiscourseフォーラムとDiscordフォーラムから抜粋されたものでした。そのトピックの要約を使用したところ、生成されたものはニュース記事と同等かそれ以上でした。

さて、私たちの中にはHacker Newsについて知っている人もたくさんいます。

では、なぜDiscourseニュースサイトを作成しないのでしょうか？これは、コンテンツをDiscourseニュースサイトで利用可能にすることに同意したDiscourseサイトからニュースを収集します。もちろん、各サイト、ユーザー、トピックごとにオプトインオプションが必要になりますが、誰が知っているでしょうか。これはThe Pileの新しい情報源になる可能性があり、適切な承認を得て行われれば、多くの人に利益をもたらすでしょう。

フィードバック

このトピックの要約を作成しましたが、公開はしませんでした。

要約は、この投稿（5番）の後で作成されました。

要約

ユーザーjy.genreは、コードインタープリターがオフラインになっていると画像をアップロードして報告しました。EricGTは、自分にはライブであり、コードを生成したと返信しました。また、以前は見たことのないDiscourseフォーラムとメンテナンスメッセージが表示されているOpenAIステータスページの画像も共有しました。さらに、更新されたメンテナンスメッセージも共有しました。Markanthonykoopもメンテナンスポップアップが表示されたと報告し、以前はサービスがループしていた経験があると述べました。Magejoshは、新しいコードインタープリタチャットを開くことはできないが、以前開いたチャットにはファイルをアップロードできることを確認しました。より頻繁に繰り返される間違いや指示の忘れに気づきましたが、メンテナンスのためだと推測しました。EricGTは、OpenAIステータスページからの別のメンテナンスアップデートを共有しました。

2つの観察事項

  • イベントの時間または順序が重要であり、要約に含まれていません。
  • 画像には、要約のために抽出されていない多くの重要な情報が含まれています。OCRを使用できるかもしれません。
24

元のトピックはOpenAI Discourseのラウンジカテゴリにあり、ほとんどの人がアクセスできません。
RomanとFalcoが見られるように、またSamが中継する手間を省くためにここに投稿します。SamはOpenAIでの要約について連絡を取り続けており、素晴らしいです。

再起動するという考えは良いと思います。

また、以下のような類似トピックを1つに統合することも検討してください。

「いいね！」 2
25

14件の投稿が新しいトピックに分割されました：AI要約の言語サポートを追加

40

他のLLMを使用したキャッシュされた要約をクリアする方法はありますか？あるLLMがこの素晴らしい要約を生成したので、別のLLMに切り替えましたが、この古い要約をフォーラムシステムから削除する方法がわかりません。

image
image1604×1392 238 KB

41

現在、スタッフは1時間後に要約を再生成できます。別の方法は、Rubyコンソールを使用して、データベースから特定のキャッシュされた要約を削除することです。

「いいね！」 3
42

ちなみに、既存の要約モデルはDiscourseには十分ではないと判断し、これにはLLMを使用することに切り替えました。十分なGPU VRAMを持つサーバーをお持ちの場合は、Llama2ベースのLLMを実行すると、#ai-summarization および ai-helper で素晴らしい結果が得られます。LLMの実行方法に関する基本的な手順をDiscourse AI - Self-Hosted Guideに更新しました。

「いいね！」 2
43

この質問をされるとイライラしますが、「十分」とはどのくらいかヒントをいただけますか？

ASUS Dual NVIDIA GeForce RTX 3060 V2 OC Edition 12GB GDDR6 ゲーミンググラフィックスカード (PCIe 4.0、12GB GDDR6メモリ、HDMI 2.1、DisplayPort 1.4a、2スロット、Axial-techファンデザイン、0dBテクノロジー) Amazon.com: ASUS Dual NVIDIA GeForce RTX 3060 V2 OC Edition 12GB GDDR6 Gaming Graphics Card (PCIe 4.0, 12GB GDDR6 Memory, HDMI 2.1, DisplayPort 1.4a, 2-Slot, Axial-tech Fan Design, 0dB Technology) : Electronics

「いいね！」 1
44

上記でリンクした編集内容をご確認ください。まさにそれについて説明しています！

ただし、より詳しく説明すると、量子化とは、低スペックで実行するために品質と速度のトレードオフを行うことです。最高のモデルを実行したい場合、量子化なしでは約160GBのVRAMが必要です。品質、速度、レイテンシなどが悪くても構わないのであれば、その5%で済みます。

そこにある例として使用しているモデルは、「十分」な結果が出ており、96GBのVRAMを搭載したマシンでギリギリ動作します。

「いいね！」 3
45

見つけられていないのかもしれませんので、もしそうならご容赦ください。スタッフが新しい再生成を強制するオプションはどこにありますか？

46

バンプ申し訳ありませんが、スタッフが1時間後に要約を再生成する方法を見つけることができませんでした。この1時間のウィンドウでは、トピックに返信する必要があるのですか、それともアクセスするために実行する必要のある秘密のUIコンビネーションがあるのですか？

47

AWS Bedrock で Anthropic's claude-2 の要約戦略を使用する方法はありますか（AI チャットボットにこのオプションがあります）？

現在、ai_anthropic_api_key が設定されている場合にのみ、Anthropic モデルを選択できます。

「いいね！」 1
48

はい、必要です。

  • ai_anthropic_api_key を ‘a’ に設定します（検証をバイパスするため）。
  • Bedrock の認証情報を入力します。
  • 要約モデルとして Claude 2 を選択します。

モデル/推論/API を UI で選択する方法について、計画中のオーバーホールがありますが、それまではこれで対応できます。

「いいね！」 4
49

フィードバック。

ほとんどの場合、要約は正常に機能しています。

投稿内の画像へのリンクは正しくありません。

例：

[Foxabilo](/t/-/475167/13; /t/-/475167/24; /t/-/475167/34; /t/-/475167/37) によって共有されたいくつかの写真に続く

50

言語に関する昔ながらの疑問の一部ですが、要約がトピックの言語を尊重する場合と、英語を使用する場合があるのはなぜか、誰かアイデアはありますか？それは完全にランダムに発生するように見えます。

そして、実際の質問は、使用言語を提案できるシステムプロンプトがあるのか、それとも要約ツールから来るのかということです。

「いいね！」 1
51

これは現在内部でハードコーディングされていますが、将来的には柔軟性を持たせる予定です。

長い要約を好む人もいれば、短い要約を好む人もいます…など…

「いいね！」 4
54

このテキストは更新が必要かもしれません。Gemini もサポートしていると思われます。

さらに、設定 UI に関するフィードバックですが、summarization_strategy と custom summarization allowed groups の設定が、他の AI 設定と一緒に Discourse AI ページではなく Others ページに移動された特別な理由がありましたか? 見つけるのにしばらく時間がかかり、無関係な設定のセットの中で見失われつつあります。

55

この機能はどのようにオン/オフを切り替えますか？必要な数の投稿があるトピックに「要約」ボタンが表示されず、エラーログにメッセージが表示されるため、一度オフにしてから再度オンにしようと思います。

56

AIによる要約を完全に無効にするにはどうすればよいですか？

品質が非常に悪く、ボタン全体が無意味だと感じています。削除したいです。

IMG_7212
IMG_72121170×538 57.8 KB

57

「要約戦略」設定で有効にしたのと同じ方法です。無効にするには、デフォルトのサイト設定値にリセットできます。

どのモデルを使用していますか？ Claude 3 Opus がこのタスクで最もパフォーマンスが高いことがわかりました。