https://openai.com/blog/using-gpt-4-for-content-moderation
以下の返信より
このブログでは、GPT4がポリシーに基づいてインターネットコンテンツのモデレーターとして機能するようにトレーニングされている方法について説明しています。
これは、ポリシーに基づいてコンテンツをフィルタリングするために人間のモデレーターを使用するDiscourseサイトに直接適用されます。
いくつかのサイトで人間のモデレーターとして、私は組織とDiscourseフォーラムの両方のポリシーを使用して、特にフラグが付けられた場合の投稿に関するアクションを決定します。モデレーターとして、フラグが付けられた投稿がポリシーに違反していない場合は、そのままにしておくことも珍しくありません。
私の考えを求めていたことは承知していますが、そのような応答は事実に留めるようにしています。おそらく自分の範囲内に収まったでしょう。
OPについて、なぜそれが人々の関心を引くと思うのか、そしてそれがDiscourseにどう関連するのか、もう少し詳しく説明していただけますか？
文脈の少ないリンクは、議論のきっかけとしてはあまりにも情報が少ないです。
私の目的は議論を始めることではなく、Discourseという会社と、人間のモデレーターの支援を受けてサイトを運営している人々の両方にとって関連性があると思われる情報を提供することでした。
最初の投稿で提供した情報については事実に留まるように努めましたが、議論する価値があるかもしれないと感じる点が一つあります。
サイトはAIモデレーターのみに依存すべきでしょうか、それとも人間が関与すべきでしょうか？さらに重要なのは、AIと人間が意見の相違した場合、どうなるのでしょうか？
「関与」という言葉の使用は意図的であり、偶然ではありません。アポロ計画の管制官が「関与」という言葉に言及するのを聞いたことがありますか？
これに関連する非常に興味深い、多くの人が見過ごしているかもしれない側面は、有人宇宙飛行が直面したのと同じ問題であるということです。宇宙船は完全に自律的であるべきか、それとも人間が部分的または完全に制御を引き継ぐことができるべきか？これは飛行機のオートパイロットの始まりと考えることができます。
このテーマについて個人的に読んだ非常に興味深い本で、他のどのプロジェクトにも見られないコードと設計の分野について多くを学びました。
「Digital Apollo: Human and Machine in Spaceflight」 David A. Mindell著 (サイト) (WorldCat)
人間を必ず関与させるようにしてください。映画『ロボコップ』はご覧になりましたか？真面目な話、モデレーションには多くの判断が必要です。ガイドラインを持ち、それを使用することは良いことですが、それらを厳格なルールとして実行することは、私には愚かに思えます。それは人間的な問題に対する技術的な解決策です。
編集：人間規模のフォーラムを運営しており、モデレーターはお互いを知っており、定期的に貢献しているメンバーも知っています。OpenAIは、利益のために運営される産業規模のフォーラムを考えていると思いますが、そこでのモデレーションの課題はまったく異なります。
ここでの興味深い点は、考え方を再構築することです。
GPT-4 moderation
GPT-4 assisted moderation
このツールを活用してモデレーターを支援することは、非常に魅力的に感じます。
Discourse は、これらの新しいツールを学習、成長、構築するための理想的なプラットフォームです。
私は、AI革命を、分散化され、相互接続されたネットワークの「ニューラルネットワーク」として受け入れることに全面的に賛成です。これにより、既存の人間社会や文化は、より効率的に進化し、協力できるようになります。また、最近の「ソーシャル」ネットワーキングの繰り返しによって私たちにもたらされた権力と管理の集中化によって可能になった、分極化という災いに対する潮目を変え始めることができます。
この視覚化は気に入りました…
人間が関与すべきですが、AIモデレーションのレベルがあることは、フォーラムの開設を検討している公的機関にとって大きなセールスポイントになると考えます。例えば、CBCが何らかの方法でフォーラムの開設を説得できれば、という具合です。
バランスとしては、人間のモデレーターが人間的なスキルを活かして会話を誘導し、(人間が監督する)AIがサイトのガイドラインを施行するという形になるかもしれません。AIモデレーションは、フォーラムが二極化する問題に対処する会話をより受け入れやすくする可能性があります。
一時停止されたユーザーが新しいアカウントを作成するのを検出するためのAI支援モデレーションを求めています。そのような対応は私の時間を過剰に消費しており、私はモデレーター（役割は分担されています）でさえありません。
良いアイデアですね
ディスコースに統合できるようなAI機能はありますか？コミュニティのモデレーションを支援するのに非常に役立つと思います。お知らせください！ガイドラインに違反する投稿の時間を節約するためのソリューションを探しています。
It certainly is if you’re OpenAI and Co
Sure what could go wrong! 
Looking at the spiel.
Content moderation plays a crucial role in sustaining the health of digital platforms. A content moderation system using GPT-4 results in much faster iteration on policy changes, reducing the cycle from months to hours. GPT-4 is also able to interpret rules and nuances in long content policy documentation and adapt instantly to policy updates, resulting in more consistent labeling. We believe this offers a more positive vision of the future of digital platforms, where AI can help moderate online traffic according to platform-specific policy and relieve the mental burden of a large number of human moderators. Anyone with OpenAI API access can implement this approach to create their own AI-assisted moderation system.
While OpenAI sells you tokens to use the rides at your fairground, one “mental burden” is replaced by another “mental burden” (assuming you care), can you spot it?
ええ、素晴らしいですよね？
この技術が本当に気に入っていて、できる限り理解し、より良く使う方法を知ることを自分の仕事にしてきましたが、OpenAI（やそれに類するサービス）がビジネスの観点から本当に何かを掴んでいることは明らかです。
投稿するたびに、OpenAIにお金を払わなければならないということです。要約、投稿の文法、投稿のNSFW判定、プロフィールの埋め込みなど、複数の理由が考えられます。
気づけば、OpenAIはあなたのサイトのすべてのスループットに対してかなりの手数料を得ています。あなたが懸命に稼いだ広告収入やアフィリエイト収入は？その一部は彼らに流用されています。
そして、オープンソースモデルをローカルで使用するために、4GBサーバーを16GBにアップグレードする人々が増えることで、Cloud VPSプロバイダーは喜ぶでしょう。
とはいえ、この方法がより効率的で、競争上重要でない限り、誰もこれを大規模に行うことはないでしょう。
さらに楽観的に見れば、提供されるサービスを別の見方をすれば、かつては大手プロバイダーしか利用できなかった技術の民主化です。
例えば、セマンティック検索はかつてないほど安価になり、小規模なインストールでも非常に手頃な価格で強力な検索を利用できるようになりました。それはきっと素晴らしいことですよね？
自然言語処理の力は、安価なモデルでも驚くほどです。
そして、この新しい時代は始まったばかりで、競争が盛んになれば価格は下がっていくでしょう。
トピックを変更したい場合は、新しいトピックに移動してください。よろしくお願いします。
これはトピックに沿っているように見えますか？ AI支援モデレーションツールの使用に関する実践的な考慮事項は？
（明らかにOPは少し曖昧ですが、#communityのトピックはしばしばそうです）
いいえ。お金を稼ぐことについての話はトピックから外れています。
トピックはモデレーションについてです。
それは完全に的を射ており、私の意見では間違いなくトピックから外れていません。
あなたが運営しているサイトでは、1日に何件の投稿がありますか？
投稿ごとにOpenAIに料金を支払う必要がある場合、それは考慮事項です。
広告収入や顧客エンゲージメントにとって、投稿の限界価値はいくらですか？
最終的には、正当化されるためには、費用を賄う必要があります。
コミュニティ管理の時間を大幅に削減し、サイト全体の品質を向上させる可能性があることは間違いありません。それが強力な根拠となる可能性があります。
それは単なる機能や技術的な実現可能性の問題ではなく、これらのことも考慮する必要がありますか？
