利用 Discourse AI 提升帖子图片的可访问性

2024 年(链接),我们在 Discourse AI 中引入了 AI 图片描述功能。该功能尤其在提升无障碍访问方面非常有用,但前提是用户需要在撰写帖子时记得点击“使用 AI 添加描述”。

现在,我们对图片描述功能进行了重新设计,使其可以在后台为帖子图片生成描述。这些描述将独立于帖子的原始内容(即作者撰写的实际内容保持不变)进行存储,并在有用的地方显示:例如供屏幕阅读器使用、用于搜索以及在图片灯箱中显示。

在此版本中,图片描述现在可以在帖子创建后在后台自动生成。以下是简要介绍 :video_camera:

工作原理

AI 图片描述现在附加到帖子图片上,而不会将生成的文本插入到帖子本身中。这样可以确保描述可用于无障碍访问和搜索,而不会在每个帖子的正文中添加额外的可见文本。

当描述可用时,Discourse 将:

  • 为屏幕阅读器在帖子图片中添加 AI 描述
  • 在图片灯箱中显示描述
  • 将描述文本包含在搜索索引中
  • 允许用户在编辑帖子时从编辑器预览中编辑描述
  • 支持本地化内容的特定语言环境描述

如果不喜欢视频,这里有一些截图:

在灯箱中可见

在编辑器中可编辑

可搜索

在哪里设置?

此功能位于 Discourse AI 中新的 图片描述 AI 功能区域,从之前的 AI 助手 AI 功能区域移至其专用区域。

要使用它,您需要:

  • discourse_ai_enabled
  • ai_post_image_captions_enabled
  • 一个正常运行的 ai_image_caption_agent

所选的图片描述代理需要启用图片上传,并且必须使用具备视觉能力的 LLM。如果启用了该功能但代理未就绪,Discourse 将显示管理员问题,以便更容易发现配置问题。

现有帖子

还有一个可选的回填作业用于处理现有帖子图片。

回填默认关闭,因此社区可以选择是否要为旧帖子生成描述,以及生成的速率。这可以通过以下设置进行配置:

  • ai_post_image_captions_backfill_hourly_rate
  • ai_post_image_captions_backfill_max_age_days

试试看 :woman_technologist:t2:

对于由 Discourse 托管的社区 :discourse:,我们的模型已经具备图片处理能力。如果您希望让帖子图片对使用屏幕阅读器的用户更有用,请启用该功能并回填(见上述 现有帖子)。

如上所述,对于自托管社区,请确保您的图片描述代理使用的是具备视觉能力的模型。

5 个赞

搜索引擎会抓取这些字幕吗?

好问题——

某种程度上是这样。

字幕作为 aria-description 属性渲染到帖子的 HTML 图像标签中,因此搜索引擎爬虫在抓取主题页面时可以看到它们。它们也被包含在 Discourse 自身的搜索索引中。

它们不会作为可见的帖子文本或替代文本(alt text)插入,因此搜索引擎是否索引或加权 aria-description 文本取决于爬虫本身。