jord8on
(Jordan)
1
コンテキスト: パンデミックが本格化した数年前にコミュニティを開始しましたが、その後数年間はすべてのリソースを他のイニシアチブに費やす必要がありました。多くの参加者がありましたが、コミュニティのプログラミングと管理を中止したところ、フォーラムは停滞しました。コミュニティ戦略と管理の実装により多くの時間を投資しようとしているため、この質問は最も差し迫っています！
現在、コミュニティに参加している多くのユーザーは、次のいずれかに該当していることに気づいています。
1. スパム的なアフィリエイトキーワード中心のウェブサイトへのリンクを投稿するために参加する
2. LLM / GPT生成の返信/投稿と思われるものを参加して投稿する
昨日、モデレーションキューに届いた投稿の例を次に示します。
注意: ユーザーはその日にアカウントを作成したばかりです。
モデレーションされた投稿のスクリーンショットを表示するにはクリックしてください
Discourseのシステムメッセージはユーザーに送信されました:
システムからの定型メッセージのスクリーンショットを表示するにはクリックしてください
この新しいユーザーからの投稿は、Chris Andersonによる3年前の投稿に応答したものです。
新しいユーザーからのモデレーションされた投稿を読むと、このメッセージが誠実ではなく、GPTまたは同様のものによって生成された応答であることが明らかです。
このようなユーザーがコミュニティに現れるのを防ぐための最適な方法はありますか？
彼らが自己利益または悪意のある理由でLLMの定型応答を入力するのを防ぐ方法はありますか？
どんな入力でも大歓迎です！
「いいね！」 4
simon
2
これはどのくらいの頻度で発生していますか？あなたのサイトが何らかの理由で特別に標的にされているのではないかと思います。
これは、次のいずれか、または両方のサイトに関連していると推測します: http://bestpickleballpaddle.com/, https://thepickleballpaddles.com/。（注：これらは実際のサイトですが、ここからあまりトラフィックを誘導しないようにしましょう。）
あなたのスクリーンショットにあるような投稿を生成する最も明白な動機は、将来スパムリンクを投稿するためにサイトで信頼を得ることだと考えられます。それが問題であれば、サイトの リンクを投稿するための最小信頼度 設定の値を、設定のデフォルト値である信頼度レベル0から、信頼度レベル1または2に変更することを検討する価値があるかもしれません。ユーザーがどの信頼度レベルであっても投稿することを許可したいドメインがある場合は、それらのドメインを 許可されたリンクドメイン サイト設定に追加できます。
これは単なる推測ですが、LLM によって生成されたコンテンツを検出しようと多くの労力を費やす代わりに、そもそもそのような投稿を作成する動機を減らすことを試みる方が良いのではないかと思います。私の懸念は、LLM によって生成されたコンテンツは時間とともに検出が困難になるということです。誤ってコンテンツがLLM によって生成されたと特定することが問題になる可能性があります。
一部のケースで役立つ可能性のある別のアプローチは、組織への参加、または別のプラットフォームでのアクティビティを、Discourse アカウントを作成するための基準、または Discourse サイトでリンクを投稿することを許可する信頼レベルを獲得するための基準として使用することです。たとえば、サインアップフォームには、ユーザーの USAPA レーティングレベルを尋ねるオプションフィールドがあります。USAPA への参加がメンバーにサイト上のプロフィールページを提供する場合、「USAPA プロフィールリンク」をサインアップフォームの必須フィールドにすることで、USAPA への参加をサイトへのサインアップの要件にすることができます。その後、Discourse の ユーザーを承認する必要がある サイト設定を有効にし、USAPA メンバーシップを確認した後のみユーザーを承認できます。別の可能性としては、Discourse が、カスタム基準に基づいてユーザーの信頼レベルを制限できる機能を追加することです。たとえば、USAPA メンバーシップが確認されるまで、ユーザーが信頼レベル1を超えて進むことを許可しないなどです。
ここでは USAPA メンバーシップを例として使用しています。あなたのサイトのユーザーに USAPA メンバーシップを要求したくない理由がわかる気がします。別のサイトでのメンバーシップまたはアクティビティを通じて信頼を確立するという考えは、ここで議論されているプラグインに関連しています: https://meta.discourse.org/t/10k-bounty-gitcoin-passport-plug-in-for-discourse/269861。
「いいね！」 6
まさにそれです。
たとえまだ明らかでなくても、何らかの意図があるはずです。
最近、非常に説得力のあるユーザーがいて、当初はほのめかすだけだったのに、製品プロモーションを露骨にする前に信頼度レベル2まで到達しました。
信頼度レベルのリンク設定は役立ち、怪しいアカウントはリンクを投稿できない代わりに、Googleでxyzを検索するようにユーザーに提案し始めます。これも別の危険信号です。
時には、アカウントを禁止するのに十分な確証が得られるまで、証拠が積み上がるのを待つしかありません。
残念ながら、行動を遅らせるということは、後でクリーンアップ作業がより大変になることを意味します。
「いいね！」 4
「怪しいほど速く入力した」というコピー＆ペーストチェックはありますか？…人間を模倣するためにロボットがゆっくりと入力するように設計されていた場合を除き…
Bas
(Bas van Leeuwen)
5
(もし私の理解が正しければ) ここでの良い点は、この人物が既存のインフラによって捕らえられたということです。スタッフは迷惑を被りましたが、ユーザーは被害を受けませんでした。
サイモンがここで的を射たと思います。
これがどの程度起こっているのか、興味があります。この人物が関連性のあるアバターと関連性のあるユーザー名を、関連性のあるフォーラムに設定したという事実は…これが部分的に人間的なものであると仮定させます。
単なる熱心すぎるマーケティングインターンの可能性もありますか？
「いいね！」 1
同様の問題が発生しました。問題のある当事者は現在一時停止されています。AIによって生成されたテキストを特定するのに役立つWebサイトがありますが、これは長期的な解決策ではありません。-- AIは、違いがわからないようになるまで改善し続けます。
しかし、ランドール・マンローは、それが自己解決型の問題である可能性があることを示唆しています。
「いいね！」 3
EricGT
(EricGT)
7
参考までに
私はOpenAI Discourseフォーラムのカテゴリモデレーターです（ref）（OpenAIの従業員ではありません）。そのため、フォーラムでのChatGPTの変更に関するフィードバックを見ています（ref）。あなたの一般的な発言は正しいですが、ChatGPTに関して少し明確にしたいと思います。
ChatGPTが利用可能になってから数ヶ月間、その能力は向上していました。完了は
- より一貫性がある
- プロンプトと一致している
- より簡潔で、短い長さになっている
その後、変更が行われ、完了は以下のようになりました。
- 一貫性が低下した
- プロンプトとの一致度が低下した
- 簡潔さがなくなり、長さが増した
フォーラムの多くのユーザーは、数ヶ月前にChatGPTが以前のバージョンにロールバックされたかのようだと指摘しました。コード作成にChatGPTを使用しているユーザー（私もその一人です）は、変更により構文エラーが増加したため、この影響がより顕著であることに気づきました。
したがって、覚えておくべきことは、ChatGPTによって生成されたコンテンツを特定しようとしている場合、それは動くターゲットであり、常に改善されているわけではないということです。プログラマーとして、ChatGPTによって生成されたコンテンツを特定しようとする場合、これは価値があるでしょう。
また、私はサイトのモデレーターであるというだけで、OpenAIの従業員ではないため、内部情報を持っているわけではありません。そのため、そのようなChatGPTコンテンツを識別できるように情報を埋め込むツールについて聞いたとしても、その情報を提供することはできません。
ChatGPTを使用していない方のために、上記のテキストを使用した簡単な例を示します。
例（三角形をクリックして展開）
ChatGPT 7月20日版
プロンプト
校正し、丁寧なトーンを使用し、簡潔にしてください。
FYI
私はOpenAI Discourseフォーラムのカテゴリモデレーターです（ref）。そのため、フォーラムでのChatGPTの変更に関するフィードバックを見ています（ref）。あなたの一般的な発言は正しいですが、明確にしたいと思います。
ChatGPTが利用可能になってから数ヶ月間、その能力は向上していました。完了は
- より一貫性がある
- プロンプトと一致している
- より簡潔で、短い長さになっている
その後、変更が行われ、完了は以下のようになりました。
- 一貫性が低下した
- プロンプトとの一致度が低下した
- 簡潔さがなくなり、長さが増した
フォーラムの多くのユーザーは、数ヶ月前にChatGPTが以前のバージョンにロールバックされたかのようだと指摘しました。コード作成にChatGPTを使用しているユーザー（私もその一人です）は、変更により構文エラーが増加したため、この影響がより顕著であることに気づきました。
したがって、ChatGPTによって生成されたコンテンツを特定しようとしている場合、それは動くターゲットであり、常に改善されているわけではないということです。プログラマーとして、ChatGPTによって生成されたコンテンツを特定しようとする場合、これは価値があるでしょう。
また、私はサイトのモデレーターであるというだけで、OpenAIの従業員ではないため、内部情報を持っているわけではありません。そのため、そのようなChatGPTコンテンツを識別できるように情報を埋め込むツールについて聞いたとしても、その情報を提供することはできません。
**完了**
FYI、
ChatGPTの時間の経過に伴う変更に関して、いくつかの重要な点を明確にしたいと思います。OpenAI Discourseフォーラムのカテゴリモデレーターとして、ChatGPTの開発に関するコミュニティからのフィードバックを注意深く観察しています（[ref](https://community.openai.com/about)）。
当初、リリース後、ChatGPTは数ヶ月にわたってその能力に一貫した改善を示しました。完了はより一貫性があり、与えられたプロンプトによく一致し、より簡潔で簡潔になっていました。
しかし、その後のアップデートでいくつかの後退がありました。ユーザーは、完了がより一貫性がなくなり、プロンプトとの一致度が低下し、長さが増したことに気づきました。これにより、以前のバージョンのChatGPTと比較され、一歩後退したように見えました。特に、コード生成にChatGPTを使用しているユーザーは、変更により構文エラーが増加したことに気づいたため、より顕著な影響を経験しました。
ChatGPTによって生成されたコンテンツを特定することが動くターゲットになっていることを理解することが重要です。以前は着実に改善されていましたが、現在は必ずしもそうではありません。プログラマーとして、人間とAIによって生成されたコンテンツを区別しようとする際に、この情報は特に価値があると思います。
サイトのモデレーターであるにもかかわらず、OpenAIの従業員ではなく、内部情報を持っていないことを明確にする必要があります。したがって、ChatGPTコンテンツを識別するために開発されたツールや方法がある場合、その情報を提供することはできません。
ご清聴ありがとうございました。この明確化がChatGPTの開発の現状を理解するのに役立つことを願っています。
敬具、
[あなたの名前]
「いいね！」 2
EricGT
(EricGT)
8
FYI
OpenAIがAI検出ツールをひっそりと閉鎖でこれを見たばかりで、こちらで確認しました。
2023年7月20日現在、AI分類器は精度の低さから利用できなくなりました。フィードバックを取り入れ、現在、テキストのより効果的な出所特定技術を研究しており、音声またはビジュアルコンテンツがAIによって生成されたものであるかをユーザーが理解できるようにするメカニズムを開発・展開することにコミットしています。
「いいね！」 3
@EricGT 素晴らしい点ですね！はい、まさに変化し続ける目標です。私は特にChatGPTを心配しているわけではありません。いわば、もう後戻りはできない状況で、誰か悪意のある人間がこの技術を意図的に有害な方法で使用するのも時間の問題だと思います。
「いいね！」 2
はい、これは（URLなしのアストロターフの宣伝を含む）だけでなく、プロファイルに追加できるURLや広告（直接応答またはSEOのため）のためでもあります。他のケースでは、DMスパム用のアカウントを収集するためです。これらが私の知る限り主なケースです。
