GPT3ライクなボットを統合する?

@Festinger 返信しましたが、メールを見逃したかもしれません。1月17日のメールをご確認ください。

@SimonBiggs 少し考え直した結果、招待を受け取ってDiscourseフォーラムに参加し、APIを使用してユーザーとして参加できる、クローズドな外部サービスを作成するのがより良いアプローチかもしれないと気づきました。プロフィールは現実的ですが、説明でボットであることを明確にします。

ボットが何をするかはわかりましたが、Discourseの実際のプラグインである必要はありません。cronで定期的に実行し、Discourse APIを使用してコメントや返信を投稿するだけで済みます。どう思いますか?

このような機能のユースケースについて、いくつかアイデアがあります。OP のトピックから外れていることは承知していますが、GPT3 のようなボットの統合に興味のある人がすべて集まっているトピックのようです。もしよろしければ、別のトピック(公開または非公開)を開始していただければ、コミュニティからのアイデアを収集する単一の場所になります。:slightly_smiling_face:

「いいね!」 1

それは素晴らしいでしょう。なぜなら、専任のAIチームの最初の期間は、可能な機能に関するアイデアを収集し、カタログ化することだからです。

「いいね!」 3

「ボットが何をするかは分かりましたが、Discourseの実際のプラグインである必要はありません。cronとして時々実行し、Discourse APIを使用してコメントや返信を投稿するだけで済みます。どう思いますか?」

それは確かに理にかなっています。しかし、私は個人的にはオープンソースのAIツールだけを作りたいと思っています。そして、Discourse自体がツールを作成することを計画していることを考えると、理想的には彼らを支援したいと思っています。

「いいね!」 1

回答ボットの提案:スケジュールされたカテゴリ分類とディスコースフォーラム向けのファインチューニング

はじめに: ディスコースフォーラムはユーザーのエンゲージメントと貢献に依存しており、その重要な側面は、質問に対するタイムリーで正確な回答を得る能力です。しかし、回答に時間がかかる場合があり、ユーザーは会話への参加を続ける意欲を失う可能性があります。この問題に対処するため、特定の時間経過後に自動的に質問に回答し、コミュニティのエンゲージメントを促進するボットを提案します。さらに、ボットは既存のスレッドを分類するためのスケジュールされた呼び出しを割り当て、独自のファインチューニングデータセットを構築します。これは随時更新できます。

目的: ディスコースフォーラム向けのスケジュールされたカテゴリ分類とファインチューニングを備えた回答ボットの主な目的は、次のとおりです。

  1. 回答されないままになる可能性のある質問に対して、タイムリーで正確な回答を提供することにより、コミュニティのエンゲージメントを促進する。
  2. 既存のスレッドのカテゴリ分類を自動化し、質問が正しくタグ付けされ、ユーザーが関連情報を簡単に見つけられるようにする。
  3. ボットのパフォーマンスと精度を時間の経過とともに向上させるためのファインチューニングデータセットを構築する。

提案ソリューション: 上記の目的を達成するために、特定の時間経過後に自動的に質問に回答し、既存のスレッドを分類するためのスケジュールされた呼び出しを割り当て、ファインチューニングデータセットを構築するボットを統合することを提案します。ボットは、ユーザーの入力を分析し、会話のコンテキストを理解し、定義済みのルールと機械学習モデルに基づいて適切な応答を生成するように設計されます。

ボットは、自然言語処理(NLP)技術を使用してユーザーの入力を分析し、会話に関連する応答を生成します。質問のコンテキスト、議論されているトピック、およびユーザーの以前のやり取りを理解するようにトレーニングされ、正確で役立つ回答を提供します。ボットは、特定の時間内に回答されていない質問、またはユーザー名を直接呼び出した場合にのみ応答します。

質問に回答することに加えて、ボットは既存のスレッドを分類するためのスケジュールされた呼び出しを割り当てます。スレッドの内容とタグを分析して、質問が正しくタグ付けされ、ナビゲーションしやすいように整理されていることを確認します。ボットは、ユーザーのクエリと応答を記録および分類することにより、ファインチューニングデータセットも構築します。このデータセットは、ボットのパフォーマンスをトレーニングおよび改善するために使用されます。

メリット: ディスコースフォーラム向けのスケジュールされたカテゴリ分類とファインチューニングを備えた回答ボットを統合することには、次のような多くのメリットがあります。

  1. コミュニティのエンゲージメントの促進:ボットはタイムリーで正確な回答を提供し、ユーザーが会話への参加を続けることを奨励します。
  2. スレッドのカテゴリ分類の改善:ボットはスレッドのカテゴリ分類を自動化し、質問が正しくタグ付けされ、ナビゲーションしやすいように整理されていることを保証します。
  3. 精度とパフォーマンスの向上:ボットのファインチューニングデータセットは、パフォーマンスをトレーニングおよび改善するために使用されます。
  4. 人間のモデレーターのワークロードの削減:ボットは、スレッドのカテゴリ分類を自動化し、回答されないままになる質問に回答することにより、人間のモデレーターのワークロードを削減します。

結論: ディスコースフォーラム向けのスケジュールされたカテゴリ分類とファインチューニングを備えた回答ボットの統合は、コミュニティのエンゲージメントを促進し、カテゴリ分類タスクを自動化し、ボットの精度とパフォーマンスを時間の経過とともに向上させるのに役立つ貴重な投資です。ディスコースフォーラムのニーズに最も適したものを選択するために、利用可能なNLPおよび機械学習モデルを検討することをお勧めします。統合プロセスは、ボットが意図したとおりに機能することを保証するために、適切なテストとトレーニングとともに、慎重に計画および実行する必要があります。

「いいね!」 4

これは素晴らしいスタートですが、残念ながら、OPとしては、最初に言ったことを達成できていません。しかし、この分野を何年も見てきた今、宝くじに当たらない限り、自分で支払おうとしても、私が望むものを正確に手に入れることはできません。繰り返しますが、上記で説明したことだけでなく、人間のように、個人との以前の議論に対する永続的な記憶を持つことができるボットが必要です。すぐに私が望むものを正確に手に入れることはできないでしょうが、Discourse自体とDiscourse AI Botの開発提案は、私が望むことの多くを達成してくれるでしょう。おそらく、グラフ理論などを使用して永続的な記憶を調査し続ける間、そのプロジェクトにできる限り貢献することに全力を注ぐべきでしょうか。後で追加できるかもしれません。

Discourseの実装/提案がニーズを満たさず、オープンソースAIソフトウェア(Discourse自体が自由に再利用できるApache-2.0)の開発に資金を提供する意思がある場合は、記憶を備えたDiscourse用のAIボットを喜んでセットアップします。

ここにあるすべてはモデルに依存します。一般的な関心は多く見られますが、どのモデルを使用するか提案した人もなく、モデルが有用なことを何かできることを証明した人もいません。

OPTから良いものを引き出すことさえ難しく、Facebookはかなりのパラメータを追加しました。ここでの私の一般的な懸念(業界全体にも言えること)は、オープンソース分野ではGPT 3 devinciに匹敵するものは何も存在せず、GPT 4が間もなく登場し、競争をさらに困難にするということです。

「いいね!」 4

上記の次の投稿では、モデルとその有用性が詳細に説明されています。

プロセスは Supabase + OpenAI GPT API です。現在、GPT 3.5 + OpenAI の埋め込み機能で、今日の Discourse ボットに求められる多くのタスクを達成するのに十分です。

GPT API はオープンソースではありません。しかし、それは API です。そして、オープンソースモデル(例:https://github.com/LAION-AI/Open-Assistant)が追いつけば、その代わりに配置できます。

確かに同意します。そのため、現時点では、より良い代替手段が利用可能になるまで、内部的には GPT 3.5 が使用されます。

ここでの私の大きな懸念は、特にDiscourseフォーラムのようにコーパスが巨大で、ボットのトレーニングに使用されるデータの多くが古い可能性がある場合、帰属の問題です。

このClippyGPTアプローチには、いくつかの大きな根本的な問題があります。リンクをコンテンツに戻さないものに検索を置き換えることはできません。これもトレーニングは非常に困難な作業になります。

「いいね!」 2

このアイデアの詳細について話し合うには、あなたにプライベートメッセージを送る方が良いでしょう。

フィル様

私もシドニー時間(Wagga Wagga)です。私のメールアドレスはme@simonbiggs.netです。ビデオ通話の時間を調整しませんか?

よろしくお願いいたします。
サイモン

わあ! - 2015年にシドニーからカウラに引っ越しました! - 数日前にホルブルックへの往復であなたの近くを車で通り抜けました!

今日はもう一日中近くにいますか?

シドニーといえば… :wink:

「新しい」Bingについて誰も触れていないことに驚いています。これはDiscourseに実装できることの良い例だと思います。

これにいくらかの金銭的支援を惜しみません :slight_smile:

「いいね!」 1

プラグインはGPT3(デフォルト:「text-davinci-003」ですが、モデルを選択できます)を使用してトピックを要約できます。

実際に試してみました(本番環境でも)が、これまでの結果には非常に感銘を受けています。時には「崇高」とさえ言えるほどです。

しかし、関連性が高く、構文的に正しく、説得力のある要約を返すことが多い一方で、事実に関する不正確さが発生しやすく、それが非常に誤解を招き、有用性を損なう可能性があります。しかし、ここには大きな可能性があります!

プラグインはまだ非常に実験的ですが、現在は安定しているようです。結果は様々ですが、結果を改善するための様々なQoL設定があり、しきい値設定付きのダウン投票メカニズムが含まれています。これにより、システムはLLMから新しい要約を取得するように促されます。

「いいね!」 3

これも順調に進んでいます。

「いいね!」 7

FAQやドキュメントにはChatGPTが素晴らしいと思います。Richard Millingtonによるこの調査をご覧ください。

「いいね!」 5

ChatGPTはファインチューニングをサポートしていません(今日のところAPIもありません)。

DiscourseサイトのコーパスでGPTベースのモデル(GPT-3のファインチューニングまたは他のものを使用)をトレーニングして、キャプテン・ワードサラダがデータでトレーニングされ、応答するように教えられた場合にどれだけうまく機能するかを確認するのは興味深いと思います。「ゴミを入れればゴミが出てくる」という注意点はありますが。

実験は間違いなく行われ、自信過剰で嘘をつくGPTモデルは(より良いデータと、事実確認を行うアルゴリズムの両方によって)時間とともに改善されるでしょう。

Richardの投稿は確かに興味深いですが、ChatGPTはまだそのタスクには準備ができていません。

たとえば、検索結果に基づいてファインチューニングを行うBingと比較すると、検索結果はかなり最近のものです。

「いいね!」 5

Goodspeed I Bubble Buddy I Bubble FAQs で同様のものがリリースされたようです。

https://forum.bubble.io/ のコンテンツもシードとして使用されているかどうかは不明です。

「いいね!」 1