https://openai.com/blog/using-gpt-4-for-content-moderation
来自下面的回复
这篇博文讨论了如何训练 GPT4 根据政策充当互联网内容的版主。
这直接适用于使用人工版主根据政策过滤内容的 Discourse 网站。
作为几个网站上的人工版主，我使用组织和 Discourse 论坛的政策来决定如何处理被标记的帖子。作为版主，如果被标记的帖子不违反政策，我并不罕见地允许其保留。
我知道你问我的想法，但我尽量将此类回复限制在事实范围内；希望我没有超出自己的界限。 
您能否在 OP 中详细说明一下您认为这为什么会引起人们的兴趣，以及它与 Discourse 的联系？ 
没有太多上下文的链接不足以作为讨论的开端。 
我的目的不是开启讨论，而是传递我认为对 Discourse 公司以及那些在人类版主协助下运营网站的人来说都相关的信息。
虽然我在第一个帖子中提供的信息力求只陈述事实，但这里有一个我认为值得讨论的点。
网站是否应该完全依赖 AI 版主，还是应该有人类参与其中？更重要的是，当 AI 和人类意见不合时会发生什么？
“参与其中”（in the loop）这个词是特意选用的，并非巧合；你是否听过阿波罗任务中飞行控制中心提到“参与其中”这个词？
一个非常有趣的、与此相关的附注，很多人可能没有注意到，这就是载人航天所面临的同样问题；航天器应该是完全自主的，还是人类应该能够接管部分和/或全部控制权？这可以被认为是飞机自动驾驶的开端。
我个人读过一本关于这个主题的精彩书籍，从中了解了很多在其他项目中未曾见过的代码和设计领域。
当然要让人们参与进来。你看过《机械战警》吗？说真的，审核中存在很多判断。虽然有指导方针并使用它们是好事，但在我看来，将它们作为一套严格的规则来执行是愚蠢的——这是对人类问题的技术解决方案。
编辑：我想补充一点，我经营的是人类规模的论坛，那里的版主彼此认识，也认识经常贡献的成员。我相信 OpenAI 正在考虑的是为盈利而运营的工业规模论坛，那里的审核挑战截然不同。
这里的有趣之处在于重新构建思路：
GPT-4 moderation
> GPT-4 assisted moderation
利用这些工具来赋能审核员，是我觉得非常有吸引力的一点。
Discourse 是一个理想的平台，可用于学习、成长和构建这些新工具。
我全力支持拥抱人工智能革命，将其视为一个去中心化、相互连接的“神经网络”网络，通过该网络，现有的社会和人类文化可以开始更有效地进化和协作，并开始扭转由近期“社交”网络迭代所带来的权力集中和控制造成的两极分化祸害。
我喜欢这个可视化效果……
应该有人工参与，但我认为拥有一定程度的人工智能审核将是任何考虑设立论坛的公共机构的一大卖点。例如，如果加拿大广播公司（CBC）能被说服设立一个论坛。
平衡点可能是，人类版主利用他们的人类技能来引导对话，而（有人监督的）人工智能则执行网站的准则。人工智能审核有可能使论坛更愿意允许处理两极分化问题的对话。
我希望AI能协助管理，以识别那些被暂停后又创建新账户的问题用户。处理这类用户花费了我大量的时间，而我甚至不是版主之一（我们有分开的职责）。
好主意
是否有类似的功能可以集成到 Discourse 中？我认为这对于协助管理我的社区非常有帮助。请告诉我！正在寻找可以节省时间来处理违反我们准则的帖子的解决方案。
如果你是 OpenAI 和 Co，那当然是。
当然，有什么会出错呢！ 
看看这段宣传。
内容审核在维持数字平台的健康方面发挥着至关重要的作用。
使用 GPT-4 的内容审核系统可以更快地迭代策略变更，将周期从数月缩短到数小时。GPT-4 还能够解读长篇内容策略文档中的规则和细微差别，并即时适应策略更新，从而实现更一致的标记。我们相信，这为数字平台的未来提供了一个更积极的愿景，人工智能可以根据特定平台的策略帮助审核在线流量，并减轻大量人工审核员的心理负担。任何拥有 OpenAI API 访问权限的人都可以实施这种方法来创建自己的 AI 辅助审核系统。
虽然 OpenAI 出售代币供你在你的游乐场乘坐游乐设施，但一个“心理负担”被另一个“心理负担”取代了（假设你关心的话），你能发现它吗？
是的，这真是太棒了，不是吗？
虽然我非常喜欢这项技术，并将其作为我的业务来尽可能地了解它，并知道如何更好地使用它，但从商业角度来看，Open AI（及其类似服务）确实在这方面取得了重大进展。
这意味着您发布的每条帖子都需要向 Open AI 付费，原因可能有很多（摘要、帖子语法、帖子 NSFW、嵌入式个人资料，等等）。
不知不觉中，Open AI 将从您自己网站的所有吞吐量中获得可观的份额。您辛辛苦苦赚来的广告和联盟收入？其中一部分现在将转移给他们。
而云 VPS 提供商将非常乐意看到人们将他们 4GB 的服务器升级到 16GB 的产品，以便在本地使用开源模型。
话虽如此，当然，除非这样做更有效率并且在竞争上很重要，否则没有人会大规模地这样做。
更不悲观地说，看待所提供服务的另一种方式是，它使曾经只有大型提供商才能获得的技术民主化了。
例如，语义搜索现在比以往任何时候都便宜，小型安装现在可以以非常实惠的价格使用强大的搜索功能。这肯定是一件好事吗？
即使是更便宜的模型，自然语言处理的能力也相当惊人。
我们才刚刚开始这个新时代，我相信随着竞争的蓬勃发展，价格将会下降。
如果您想更改主题，请将您的主题移至新主题。谢谢。
这似乎是相关的？使用 AI 辅助审核工具的实际考虑因素？
（显然，楼主的帖子有点笼统，但 Community 话题通常都是这样）
不。谈论赚钱是跑题的。
主题是关于审核的。
这完全相关，恕我直言，绝对不是离题的。
您运行的网站每天有多少帖子？
如果您必须为 OpenAI 的每篇帖子付费，那是一个需要考虑的因素。
帖子对您的广告收入、客户参与度的边际价值是多少？
最终，它必须能够收回成本才能证明其合理性。
我毫不怀疑这可能会大大减少社区管理时间，并提高网站的整体质量等，这可能为其建立一个有力的论据。
这不仅仅是关于设施或技术可行性，虽然这些也需要考虑？
