借助 Discourse AI 提升帖子图片的可访问性

在 2024 年(链接),我们在 Discourse AI 中引入了 AI 图片字幕功能。该功能对无障碍访问特别有用,但依赖于用户在撰写帖子时记得点击“使用 AI 生成字幕”。

我们现在重新设计了图片字幕功能,以便在后台为帖子图片生成字幕,并将其与帖子原始内容(作者实际编写的内容保持不变)分开存储,并在有用的地方显示:供屏幕阅读器、搜索和图片灯箱使用。

在此版本中,图片字幕现在可以在帖子创建后在后台自动生成。以下是简要介绍 :video_camera:

工作原理

AI 图片字幕现在附加到帖子图片上,而不会将生成的文本插入帖子本身。这使字幕可用于无障碍访问和搜索,而无需在每个帖子的正文中添加额外的可见文本。

当字幕可用时,Discourse 将:

  • 为屏幕阅读器在帖子图片中添加 AI 字幕
  • 在图片灯箱中显示字幕
  • 将字幕文本包含在搜索索引中
  • 允许用户在编辑帖子时从编辑器预览中编辑字幕
  • 支持本地化内容的特定语言环境字幕

如果您不喜欢视频,这里有一些截图:

在灯箱中可见

在编辑器中可编辑

可搜索

在哪里设置?

此功能位于 Discourse AI 中的新 图片字幕 AI 功能区,从之前的 AI 助手 AI 功能区移至其专用区域。

要使用它,您需要:

  • discourse_ai_enabled
  • ai_post_image_captions_enabled
  • 一个正常运行的 ai_image_caption_agent

所选的图片字幕代理需要启用图片上传,并且必须使用具备视觉能力的 LLM。如果功能已启用但代理未准备好,Discourse 将显示管理员问题,以便更容易发现配置问题。

现有帖子

还有一个用于现有帖子图片的可选回填作业。

回填默认关闭,因此社区可以选择是否要为旧帖子生成字幕,以及以何种速率生成。可以通过以下设置进行配置:

  • ai_post_image_captions_backfill_hourly_rate
  • ai_post_image_captions_backfill_max_age_days

试试看 :woman_technologist:t2:

对于由 Discourse :discourse: 托管的社区,我们的模型已经具备图片处理能力。如果您希望让帖子图片对使用屏幕阅读器的用户更有用,请启用该功能和回填(见上文 现有帖子)。

如上所述,对于自托管社区,请确保您的图片字幕代理使用的是具备视觉能力的模型。

常见问题

问:有哪些限制?
答:有一个可配置的每帖 10 张图片的限制。悄悄话和私信将被跳过。

13 个赞

搜索引擎会抓取这些字幕吗?

3 个赞

好问题——

某种程度上是这样。

字幕作为 aria-description 属性渲染到帖子的 HTML 图像标签中,因此搜索引擎爬虫在抓取主题页面时可以看到它们。它们也被包含在 Discourse 自身的搜索索引中。

它们不会作为可见的帖子文本或替代文本(alt text)插入,因此搜索引擎是否索引或加权 aria-description 文本取决于爬虫本身。

3 个赞

谢谢。还有一个问题:您是否预见与 AI 翻译功能有任何即将产生的协同效应?

这似乎是那里的第二个缺口,代码片段(gists)是第一个。

2 个赞

哦,是的,它100%有效!

在翻译编辑器中:

你可以点击 :pencil: 来编辑特定语言中的标题

我很乐意在这里剧透一下,分享我们刚刚也发布了可本地化的 Gist :D(还没有正式公告)(抄送 @sam

7 个赞