検索エンジンにおけるAIの幻覚を特定する

特徴
1

公開データにおける幻覚（ハルシネーション）に悩まされている私たちにとって、その特定には時間がかかることは周知の事実です。

そこでこの問題について考えていたところ、投稿で「詳細を隠す」機能を使用すると、まともな検索エンジンはそれをインデックスしない可能性が高いことを思い出しました。これは私がこの機能を頻繁に使用しているのでわかっています。

「詳細を隠す」は解決策の一部を達成しますが、本来なら前面に表示されるべき情報を隠してしまいます。代わりに、選択されたデータに幻覚が含まれていることを示すメタデータでタグ付けし、そのメタデータが作成時からAPIやビューアによる使用まで伝達され、幻覚を含むデータを特定できれば、問題は解決するはずです。また、「詳細を隠す」のようなアイコンオプションで、幻覚用があれば同様に良いでしょう。

これはDiscourseだけの問題ではないと考える人も多いでしょうし、私も同意しますが、Discourseはこの分野で十分な影響力を持つ存在であるため、他のエンティティとグループを形成し、この問題に対処するための標準を設定することができるでしょう。この問題は時間とともに悪化する一方です。:slightly_smiling_face:

「いいね！」 2
2

AIが生成する不正確なデータとしてのハルシネーションについて話していると仮定しても安全ですか？人間が生成する誤解を招くデータとは異なる扱いをするメリットはありますか？このデータを人間の投稿者よりも権威のあるものとして扱う段階に達していますか？

「いいね！」 6
3

お読みいただき、また有意義なご質問をいただきありがとうございます。

はい！

現時点ではいいえ。

ただし、会社のために弁護士にアクセスできる場合は、弁護士に相談すると有益かもしれません。これは、政府が法律を作成しようとしていることの1つであり、私は弁護士ではありませんが、法律が作成されてそれに従う必要が生じる前に、政府に計画を提示する方が良いでしょう。

はい、多くの研究者は引用が見つからなくなるまで、引用が本物だと信じていました。私はそのようなものは収集しませんが、注意して見て、ご希望であれば記録することができます。

AI生成写真が受賞！

おっしゃりたいことはわかりますが、それは私が尋ねるべき質問ではありません。おそらくこれらの質問でしょう。

AIが現在、正しく聞こえるがそうではない人間のようなテキストを作成していることに人々は気づいていますか？
AIが、他の人間が作成したと確信させるような、あるいはカメラで撮影されたように見えるが実際にはAIによって生成された画像を作成していることに人々は気づいていますか？
研究者、教師、その他の事実情報に関心のある人々は、幻覚がメタデータとしてタグ付けされていること、または幻覚を生成することが知られているソースから来たことを知りたいと思うでしょうか？

より大きな問題は、これらを知らない人々を悪用する他の人々です。データが幻覚としてマークされ、メタタグが削除された場合、弁護士が意図を示すためにそれを使用できるとしても驚きません。

ご関心をお寄せいただき、重ねてお礼申し上げます。あなたはすでに理解しているようですが、現時点ではこれをさらに進めるつもりはありません。しかし、他に質問があれば、喜んでお答えします。個人的には、人々がテクノロジーを悪用したいがために、スパムフィルター、ウイルス対策スキャナー、そして今では幻覚チェックが必要な世界ではなく、そのようなものが必要ない世界に住みたいです。 :slightly_smiling_face:

4

AIに関する私の懸念の1つは、AIがAIによって生成されたデータでトレーニングされるにつれて、情報がますます希薄になっていくことです。これを避けるために、インターネット上のデータを学習させてLLMをトレーニングしている組織は、そのデータがどのように生成されたかを知ることが有益かもしれません。何らかの標準が役立つ可能性があります。例えば、LLMが「ナナイモで中級レベルのマウンテンバイカーに最適なマウンテンバイクコースは？」という質問に対するChatGPTの回答を、ナナイモのマウンテンバイクに関する権威あるデータとして利用することになるのは避けたいです。

「いいね！」 4
5

その点について、特に背景情報を持たない可能性のある聴衆と話す場合、コンピュータ生成テキストに関する議論に巻き込むのではなく、データが何であるかを説明する方がはるかに分かりやすいでしょう。

自身の偏見（真実か否かにかかわらず）を質問に埋め込むのは、やや不誠実です。

例えば：

生成言語モデル（コンピュータAI）によって書かれたテキストを区別するための標準的な方法があると便利でしょう。

すでにいくつかの方法があります。例：@discobot roll 4d6

明示的な著者がいない場合、適切な引用が最善のアプローチでしょう。

「いいね！」 2
6

:game_die: 4, 6, 4, 5

「いいね！」 1
7

一般の人々はすでに、ChatGPTを検索エンジンのように、かなり確実な結果を提供するものとして使用するという罠に陥っています。

もちろん、そうではありません。それは専門的な詐欺師なのです！

「60ミニッツ」は、インフレが経済に与える影響に関する書籍について、ChatGPTに推薦を求めました。ChatGPTは、存在しない6冊の本のタイトルと著者名を忠実に回答しました。

私はChatGPTに2回、グッドウッド・フェスティバル・オブ・スピードで誰かが死亡したことがあるか尋ねました。

両方の時、それは一度だけ起こったと私に告げましたが、毎回異なる年と名前を挙げました。

これは大きな制限であり、間違いなく問題です。

それは素晴らしいツールですが、適切なプラグインなしで検索に使用すべきではありません。

「いいね！」 3
8

生成されたコンテンツ（ユーザー生成コンテンツまたはAI生成コンテンツ）をフォーラムで利用する場合、注意を払うべきは閲覧者/利用者自身です。

フォーラムの所有者は、フォーラムで公開されるすべての生成コンテンツに対して責任を負うことは決してありませんし、負うべきではありません。なぜなら、その責任を負うことは、法的責任を伴うことを意味するからです。「事実誤認」として特定の投稿にフラグを立てることで、フォーラムの所有者は意図せずに、フラグが立てられていないすべての投稿が「事実に基づいている」ことを示唆してしまう可能性があり、重大な問題を引き起こす可能性があります。

これにより、フォーラム投稿における情報の事実上の正確性と実用性を評価することは、発行者ではなく、利用者の責任であるという私の主張に至ります。

「いいね！」 3
9

もしこれが私への返信であれば、あなたは私の提案する機能が何をするのかを理解していません。

この機能は、ユーザーがハルシネーション（幻覚）を含む可能性のあるデータの断片を特定できるようにするものです。また、私が誰かに特定する責任を負うように求めているのではなく、ユーザーがコンテンツを作成する際に、メタデータを使用してハルシネーションを含む可能性があることを識別する方法を提供したいのです。したがって、「詳細を隠す」という言及は、ユーザーが必要に応じてそれを使用することを選択し、それはユーザーが選択した量にのみ適用され、同じ返信で複数回使用することさえできます。

10

それは単なるファクトチェッカーを求めているだけではありませんか？

ソースに関係なく（そして主にあなたが知らないため）、誤りがないか投稿を確認したいと思うでしょう。

皮肉なことに、このタスクのためにAIが自然言語処理の一部を使用するソリューションを想像できますが、それはさておき…

残念ながら、ここでの複雑さはおそらく、政治的バイアスや、医学の一部のように、確固たる事実がない場合、イデオロギーや教義が関与する可能性のある場所で苦労するでしょう。

しかし、有名な人物の生年月日や場所など、明白な事実を確認することは簡単であることは明らかです。それは確かに自動化できるし、されるべきではありませんか？

間違いなく、注目すべき興味深い分野です！

「いいね！」 1
11

この多様で多くのフィードバックを予想していませんでした。通常、投稿後はそのまま埃をかぶるだけなので、フィードバックに感謝します。

この機能リクエストに関連する2つのシナリオのウォークスルーを以下に示します。これにより、機能リクエストの理解が深まることを願っています。

  1. ユーザーが幻覚を特定する
    ユーザーはLLM、例えばChatGPTを使用してグレゴリオ聖歌に関する情報を取得します。ユーザーはChatGPTの完了結果をDiscourseの返信に貼り付けます。返信/完了結果の幻覚の部分について、ユーザーはデータをハイライトし、幻覚のアイコンをクリックすると、セクションのメタデータ（HTML spanなどを想定）が、そのスパンに幻覚が含まれていることを示すように更新されます。

スパンは、コマンドラインのオプションのように小さくすることができます。ChatGPTによって生成されたこのコマンドラインの場合

gregorio -i --gregfont=“Caeciliae” myfile.gabc

gregfontオプションは幻覚であるように思われるため、このセクションは幻覚として--gregfont="Caeciliae"とマークされるべきです。

注釈を付ける前と付けた後のHTMLを検査すると、次のようになります。

前

<pre>
   <code class="hljs language-bash">gregorio -i --gregfont=<span class="hljs-string">"Caeciliae"</span> myfile.gabc
   </code>
</pre>

後

<pre>
   <code class="hljs language-bash">gregorio -i <span class="hallucination">--gregfont=<span class="hljs-string">"Caeciliae"</span></span> myfile.gabc
   </code>
</pre>
  1. APIが幻覚を含むデータを消費する
    ユーザーはグレゴリオ聖歌の楽譜を作成するためのコマンドラインを検索しています。ユーザーは、幻覚を含まないようにクエリを調整します。検索エンジンが結果を生成すると、コマンドを含むページへのヒットが見つかります。

gregorio -i --gregfont=“Caeciliae” myfile.gabc

検索エンジンはページ上のコマンドラインをチェックし、注目すべき特定のコマンドを見つけます。検索エンジンは、コマンドラインに幻覚が含まれているかどうかをチェックし、幻覚を含むスパン要素を見つけ、それを検索結果に含めません。

明らかに、Chromeなどのツールのプラグインを作成して必要なスパンを追加することは可能ですが、APIで使用するために解析可能にするためのメタデータには標準（RFCを想定）も必要です。

上記のシナリオはWebページ向けに調整されていますが、LaTeXなどにも同様のことが適用されるはずです。

上記のシナリオでは、幻覚を特定するためにスカラーのみを使用しましたが、メタデータはより複雑になる可能性があります（JSONまたは代数的データ型を想定）。

グレゴリオ参照

12

私には、これが一部のコミュニティには役立つが、すべてではない機能のリクエストのように思えます。

個人的には、機械生成されたテキストは常にスポイラーのような仕組みの中に隠されていてほしいです。それが何であるかを知りたいし、読むのに時間を費やす前に知りたいのです。

ローカルルールに何かを盛り込む機会にもなります。機械生成されたテキストを区別しないことは、フラグを立てられる違反行為となります。

機械生成されたテキストをスポイラーのような仕組みの中に置くことで、投稿者はコメントや説明を追加することもできます。面白おかしく間違っている、教育的に間違っている、あるいは役立つからテキストを含めているのかもしれません。

将来の言語モデルが古い言語モデルの出力の一部でトレーニングされるという問題…それはおそらく、スポイラータグよりも大きな問題でしょう。

「いいね！」 1
13

それは結構ですが、最初のステップは機械が生成したものであると特定することではないでしょうか。ユーザーを全く知らないことを考えると…

それは不可能で、正確性を確認することしかできないかもしれません…

「いいね！」 1
14

私の考えでは、それはモデレーションの問題です。いくつかのテキストは不審な匂いがし、調査が行われ、「機械生成されたがそのようにタグ付けされていない」または「スパムの可能性が高い」とフラグが付けられます。

機械生成されたテキストを検出できるサービスを作成しようとしている人もいると思いますが、その効果やコストはわかりません。教育の世界では、それは不正行為に関するものであり、それを検出する動機があります。

「いいね！」 1