GoogleがChromeユーザーにAIを使ってウェブ上のコンテンツを作成することを促す機能をリリースしたのを見たばかりです。
これにより、オンラインコミュニティの有用性が損なわれる可能性があると思います。ユーザーは、ブラウザでボタンを押しているだけで、実際には何も言うことがない誰かによって実行されているボットとやり取りしているのではないかと疑うことになるでしょう。
もしかしたら、テキストがブラウザによって挿入されたのか、ユーザーによって入力されたのかを追跡することで検出できるかもしれませんか？貼り付けが検出されず、エディタに突然テキストが入力された場合、AIによって生成された可能性が高いです。
投稿がAIによって生成された場合、特別なフラグを付けて、任意でモデレーションのために保留することができるかもしれません。管理者は、ユーザーがAIによって生成されたように見える投稿をいくつ行っているかを確認できます。ただのブレインストーミングです。
「速すぎた」という入力検出機能が、コピー＆ペーストを検出するはずです。
実際の内容の分析については、こちらをご覧ください。
https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text
「2023年7月20日現在、AI分類器は精度の低さから利用できなくなりました。フィードバックを反映させるための取り組みを進めており、現在、テキストの出所をより効果的に特定する技術を研究しており、音声または視覚コンテンツがAIによって生成されたものであるかどうかをユーザーが理解できるようにするメカニズムを開発・展開することにコミットしています。」
後継となるものは認識していません。
これは難しい問題です。
既存のツールはモデレーションで検出できるかもしれませんが、管理者はコピー＆ペースト（通常はスパマー）とブラウザ挿入AI（異なる動機を持つ新しい種類の問題）を区別できません。ユーザーがChromeやブラウザ拡張機能からフォーラムにコンテンツを挿入した履歴を確認する方法がないため、自分でコンテンツを作成していないユーザーを検出することがより困難になります。
オンラインでの露出や何らかの「ポイント」を獲得することを目的として貢献するユーザーを想像しています。彼らは読むことに夢中ですが、長年静かに閲覧するだけでした。このAIツールは、そうでなければ静かに読むことに満足していたユーザーに、何かを書くことを奨励します。
この機能が広く使われ始めると、フォーラムのコンテンツの質が徐々に低下していくと思います。少なくとも、「フォーラムの質は以前ほど良くない」という一般的な状況になるでしょう。
その低下はすでに一般的なウェブで起こっており、多くの人々はSEOスパムやAI記事を避けようとして、検索クエリに「reddit」を追加しています。
この機能が人気を博した場合、モデレーションもより困難になります。なぜなら、「ユーザーが速すぎた」フィルターに引っかかったすべての投稿は、AIかどうかを慎重に調べる必要があるからです。モデレーターは、「これは貼り付けられたものか」（テキストエディタで作成してコピーされた可能性）、「これはChromeまたは拡張機能から挿入されたものか」（おそらくAI）を迅速に判断できなくなります。各ユーザーの挿入された投稿数の履歴が管理者に表示されれば、より簡単にモデレーションの決定を下すことができます。
もしどなたかその機能にアクセスできる方がいらっしゃいましたら、どのような出力が得られるのか説明または実演していただけますでしょうか。
ここにスクリーンショットがあります。ボックスが開きます。何を書くかを指示すると、「挿入」をクリックするとエディタに送信されます。長い投稿を書くように指示しましたが、段落は1つしか書かれませんでした。
普段はGoogle Chromeを使いませんが、サイトを確認するために起動したところ、新しい機能を宣伝するタブが自動的に開きました。
エディタに瞬時に送信された場合、他のソースからコピー＆ペーストされた場合と同様に、レビューキューへのフラグがトリガーされるはずです。
モデレーションに入る可能性はありますが、ユーザーの動機を区別する方法はまだありません。
この機能が使用され、AIを使用して投稿が開始された場合、フォーラムを保護しやすくするための追加ツールがいくつかあることを提案します。
ドキュメントは見つけられませんでしたが、「AIツール」はブラウザのClipboard APIを使用していると強く疑っています。そのため、ウェブサイトはテキストのソースを区別することはできません。
それはかなり面白いですね。Google は、Smart Compose を Google ドキュメントでオフにするのと同じように、ウェブサイトまたはドメインでブロックする方法を提供するべきです。
AI をライティング アシスタントとして使用することは賛成ですが、そのような方法では反対です。
検出可能な違いがまだあるかもしれません。貼り付けの場合、カーソルがテキストエリアに入りキーを押すか右クリックする必要がありますが、コンテンツを挿入する場合、それらのことは行いません。（編集：機能を使用するには、右クリックを一度行います。次にツールを使用している間一時停止があります。その後、挿入が行われます。）
検出できない場合でも、どのユーザーがコピー＆ペーストしているか、そしてその頻度をカウントしておくことは役立つでしょう。そうでなければ、モデレーターは投稿を分析しようと多くの時間を費やし、ユーザーは単なる勘以外の証拠なしに彼らと議論することになるでしょう。モデレーションはすでに非常に圧倒的なタスクです。
イラストありがとうございます @j127
私のコミュニティでは、英語に自信がない場合に備えて、引き続き誰でも翻訳ツールの使用を許可したいと考えていますが、無味乾燥で内容のないAI投稿は望んでいません。その中間として、AIツールを使って洗練させたいと感じた投稿があるかもしれません。これらのツールを使ってカバーレターや文書、プレゼンテーションを改善することは、最近では一般的です。私はそれにはおそらく問題ないと思います。
私にとって重要なのは、投稿の質です。議論に何かを追加しているか、投稿者の意見、経験、知識を表現しているか。
今日の私の防御策は二重であると考えています。
AIツールが進化するにつれて、自動的な防御策が効果的である可能性は低いと思われます。
まったくその通りです。すでに膨大な種類のAIモデル、モデルのトレーニング方法のバリエーション、そしてユーザーがアウトプットを生成するために提供できるプロンプトの無限のバリエーションが存在します。AI生成コンテンツを検出するためのあらゆる戦略は、非常に急速に失敗するでしょう。
私が提案した方法は、AIコンテンツがどのように生成されるかに依存しません。コンテンツがページに挿入される方法とユーザーインタラクションのタイミングを測定します。最終的な決定はモデレーターに委ねられ、モデレーターはより多くの情報に基づいて決定を下すことができます。すべてを検出できるわけではありませんが、多くのものを検出できます。
私のメインフォーラムでは、スパマーはアカウントを作成し、長期間投稿することがよくあり、通常のユーザーを装っています。スパムリンクを挿入し始めるまで、アカウントは1〜2年経過していることもあります。興味深い投稿はしませんが、ルール違反もしないため、すぐには禁止できません。彼らが正規のユーザーかどうかを確認するために、個別に話す時間が十分にありません。それが私が懸念しているグループの1つです。
このGoogle Chromeの機能が普及しないかもしれませんが、フォーラム全体に大きな悪影響を与え、モデレーションの負荷を増やし、合格基準ギリギリの無味乾燥なAIコンテンツの増加により、フォーラムの価値に対する一般の認識を下げるリスクがあります。
もし普及した場合、AIによる投稿と、単に文章が下手なだけで許容範囲内のコンテンツを作成しているユーザーを区別する方法がなくなり、データなしでモデレーションの決定を下そうとすると、管理者の負担が過大になる可能性があります。モデレーターが誤った決定を下したり、 accused person がAIの使用について嘘をついたりすると、ユーザーとの時間のかかるやり取りにつながる可能性があります。
問題に対する防御策を講じるには時期尚早かもしれませんが、Discourseがこの問題を常に把握しておくことを願っています。
この分野を非常に注視していることを申し添えておきます。
戦略を決定するために、コミュニティからの成功談と失敗談を聞く必要があります。
ここには非常に幅広いものがあります。
モデレーションを改善することには価値があると思います…確かに。黄色/オレンジ/赤のフラグシステムは興味深いかもしれません…確かに。
GoogleのAIライティングアシスタントに対する私の異論は、そのUIにあります。返信を生成し、大きな「挿入」ボタンを表示します。ライティングツールとしてAIを使用する非怠惰な方法は、書いている内容についてAIと会話することです。
はい、この意見には非常に同意します。AI検出器があるかもしれませんが、なぜ（私が普段利用しているフォーラムで）AIが生成したガイドであることを指摘するのに15分もかかったのでしょうか？無効になっているかもしれませんが、それは人々の努力を無意味なものにします。実際、AIが生成したガイドに2回遭遇し、人間とAIのユーザーにも遭遇しました。
そのフォーラムでは、6月にAIとの悪い遭遇があり、ほとんどの人が自分で物事を行うこと（特にガイドを書くこと）を信じています。
それを監視してくれてありがとう。
私はAIに反対しているわけではありません。ただ、人間が書いたものだと偽って提示されるAI生成コンテンツには反対です。
私のメインフォーラムでは、ChatGPTのようなツールのアイデアを投稿することは、ChatGPTからのものであることを明確に示していれば問題ないというルールがあります。人間同士の会話の基盤となるChatGPTの出力を投稿することも可能です。ただし、人間を装ったロボットによるコメントは許可されていません。
Grammarlyのような拡張機能は、特定のウェブサイトで有効になり、すでにテキストエリアに直接入力されたテキストに作用するため、AIの挿入としては検出されないと思います。
ブラウザ拡張機能ではなく、別の文法チェックアプリを使用する場合、Ctrl-v（またはCommand-v、または右クリック＆ペースト）のような操作が検出され、直接的なAI挿入とは区別されるでしょう。
人々が自分の言語でコンテンツを書き、フォーラムで動作するAIが翻訳を行うのが理想的だと思われます。翻訳技術は今後も向上していくでしょうから、ユーザーが母国語で投稿することで、長期的にはより良い翻訳コンテンツにつながる可能性があります。
外国語でAIコンテンツを注入するユーザーがいる場合、AIツールで注入されたものかどうかを知ることがさらに役立つ可能性があります。現時点では、英語のChatGPTコンテンツは、読めば検出できないことはほとんどありませんが、他の言語で生成されたAIコンテンツは、ユーザーのページ操作を監視しない限り検出できないでしょう。
そうする人がAIユーザーのごく一部なのか疑問です。もし誰かが別のウィンドウでAIとブレインストーミングをしてからテキストを貼り付ける場合、キーストローク/クリックは検出可能になります。Googleのツールはブレインストーミングは行わず、単にコンテンツを自動生成するだけです。
AIテキストの検出、つまり機械が生成したテキストと人間が生成したテキストを区別する能力は、言語を含むいくつかの要因に依存します。英語は長らくAIの研究開発の中心であったため、英語のモデルはより多くトレーニングされており、しばしばより洗練されています。これにより、英語のAIテキストは他の言語と比較して流暢で、認識が困難になる可能性があります。
一方で、AIモデルが進化し、多言語データでトレーニングされるにつれて、他の言語で信頼できるテキストを生成する能力が向上します。GPT-3とその successors のような多言語モデルは、複数の言語で流暢なテキストを生成する能力を示しています。これは、異なる言語でのAI生成テキストの検出の難易度の差が時間とともに狭まる可能性があることを意味します。
AIテキストの検出は、テキストの文脈、トピックの複雑さ、読者自身の不自然な表現やテキスト内の繰り返しパターンを認識する能力など、他の要因にも依存します。さらに、文法や語彙などの言語固有の特徴は、AI生成テキストを認識する容易さや難しさに影響を与える可能性があります。
—
はい、それはAIによって生成されたもので、最初はフィンランド語でした。フィンランド語版は、誰もそのように話さないため、手動で検出するのは簡単でした。それ以外は正確でしたが、トーンが奇妙でした。
その後、deeplを通して英語のバージョンを取得しました。私でさえ、AIによって書かれた可能性が高いことがすぐにわかりました。
私の弱点は、すべてのAIソリューションがネイティブリーダーを騙すことができるテキストを作成するのに等しく悪い場合、AIは違いを伝えるのに完全に無力であるということです。
（そして、英語でさえ、なぜそれがそれほどひどいのか少し混乱しています）
では、何が残っているのでしょうか？たとえば、前述のコピー＆ペーストの移動を検出することです。
文法的な間違いをどれだけ犯しても、前置詞をどれだけ間違えても構いません。通常は十分に理解できますが、時々、できるだけクリーンな英語を書きたい、または書く必要がある状況が発生する可能性があります。その場合、AIにテキストを修正するように依頼し、それを使用するか、deeplを使用して英語に翻訳することができます。
ここでそのテキストをどのように入手したと思いますか😏まさに。そして、その時点で他の自動システムが私のテキストがctrl-vのためにフラグ付けされたと告げたら、
私は本当にイライラするでしょう。
繰り返しますが、私は単なるエンドユーザーですが、このゲームに勝つ方法がわかりません。AI画像と同じような問題です。
時には、社会問題に対して技術的な解決策を探していることがあります。ここでの社会問題は、質の低い投稿です。モデレーターのアクションに裏打ちされたポリシーが機能するはずですが、それは規模の問題を除けばの話です。
私は小規模なフォーラムを運営しているので、それは私の問題ではありません。小規模なフォーラムは大規模なフォーラムになる可能性があります。モデレーションやユーザーフラグをスケールアップすることなく、それを可能にすることができます。ユーザーは質の低いコンテンツに注意を払い、モデレーターはフラグに対応する必要があります。
AIによる投稿の氾濫を避けつつ、人々の自動翻訳機能の使用を失わないようにできると私は考えています（そして願っています）。100％の成功は必要ありません。ユーザーにとって機能する品質レベルでフォーラムのコンテンツを維持する必要があります。そうすれば、人々は戻ってきて、貢献し続け、フラグ付けを手伝ってくれるでしょう。
単一の投稿から検出するのは容易ではないため、ユーザーがどれくらいの頻度でそれを行うかの統計を保持することを提案しました。おそらく、Ctrl+V、右クリック、タブフォーカス、テキスト挿入（個別のスコア）などの要因によってです。目標は、ユーザーのパターンを把握し、対決する時期が来たときに、推測ではなく証拠があるようにすることです。
最終的なモデレーションの決定は人間が行いますが、主な違いは、人間がより迅速かつ正確に決定を下すためのより多くのデータを持つことです。すべてのケースを対決する必要はありませんが、一部は必要です。
さまざまな種類の動機を検出する方法があるかもしれません。作曲者が長時間オープンな状態にあり、タブがフォーカスを失った後に多くのペーストがある投稿は、おそらくAIテキストの注入ではないでしょう。
Discourseが提供するデータは、すでにモデレーションの決定をはるかに容易にしています。IPアドレスの場所、ユーザー名、最初の投稿の内容、入力速度が速すぎたかどうか、typing_duration_msecs、composer_open_duration_msecsなど、基本的なことだけでもそうです。
Googleの機能が成功した場合、さらにいくつかのフィールドがあると便利だと思います。Discourseが洗練されたAI検出器を構築しなくても、データベースにそのデータを収集することで、他の人がプラグインを開発しやすくなる可能性があります。
以前は気づきませんでしたが、ここで英語に翻訳される「AI」というものが表示されました。私は個人的に、自分のフォーラムではそのようにしません。ユーザーにはネイティブ言語で生のコンテンツを記述してもらい、それを他のユーザーに提示する前に翻訳を実行します。それが、将来の翻訳ソフトウェアは今日のものよりも優れているという私のコメントで述べたことです。ユーザーのネイティブ言語を保存することで、2030年代や2040年代のより優れた翻訳ソフトウェアを使用して、コンテンツを英語に翻訳してから元に戻すことなく、その言語を話すユーザーが読めるようになります。
