Discourse AI - 毒性

:bookmark: 本主题涵盖 Discourse AI 插件的 Toxicity 功能的配置。

:person_raising_hand: 所需用户级别:管理员

Toxicity 模块可以自动对 Discourse 实例中的每个新帖子和聊天消息的毒性分数进行分类。您还可以启用对超出阈值的内容进行自动标记。

分类存储在数据库中,因此您可以启用该插件并使用 Data Explorer 立即报告 Discourse 中新内容的分类情况。我们很快将随插件发布一些默认的 Data Explorer 查询,以简化此过程。

设置

  • ai_toxicity_enabled:启用或禁用模块

  • ai_toxicity_inference_service_api_endpoint:Toxicity 模块的 API 运行的 URL。如果您使用 CDCK 托管,此设置将自动处理。如果您是自托管,请参阅自托管指南

  • ai_toxicity_inference_service_api_key:上面配置的 Toxicity API 的 API 密钥。如果您使用 CDCK 托管,此设置将自动处理。如果您是自托管,请参阅自托管指南

  • ai_toxicity_inference_service_api_model:ai_toxicity_inference_service_api_model:我们提供三种不同的模型:“original”、“unbiased”和“multilingual”。建议使用“unbiased”而不是“original”,因为它会尝试避免将训练材料中引入的偏见带入分类。对于多语言社区,最后一个模型支持意大利语、法语、俄语、葡萄牙语、西班牙语和土耳其语。

  • ai_toxicity_flag_automatically:当特定类别的分类超过配置的阈值时,自动标记帖子/聊天消息。可用类别包括 toxicitysevere_toxicityobsceneidentity_attackinsultthreatsexual_explicit。每个类别都有一个 ai_toxicity_flag_threshold_${category} 设置。

  • ai_toxicity_groups_bypass:这些组中的用户不会被 Toxicity 模块对其帖子进行分类。默认情况下包括管理员用户。

附加资源

10 个赞