Discourse AIで投稿画像のアクセシビリティを向上

2024年(link)に、Discourse AI に AI による画像キャプション機能を導入しました。特にアクセシビリティの面で有用でしたが、投稿作成時にユーザーが「AI でキャプションを生成」をクリックすることを覚えておく必要がありました。

現在、画像キャプション機能を再構築し、投稿画像のキャプションをバックグラウンドで生成できるようにしました。キャプションは投稿の生データ(著者が実際に書いたコンテンツはそのまま残ります)とは別に保存され、スクリーンリーダー、検索、画像ライトボックスなど、役立つ場所で表示されます。

このバージョンでは、投稿が作成された後に、画像キャプションがバックグラウンドで自動的に生成されるようになりました。簡単なデモ動画をご覧ください :video_camera:

仕組み

AI による画像キャプションは、投稿自体に生成されたテキストを挿入することなく、投稿画像に付与されます。これにより、追加の可視テキストを各投稿の本文に追加することなく、アクセシビリティや検索のためにキャプションを利用可能にします。

キャプションが利用可能な場合、Discourse は以下を行います:

  • スクリーンリーダー用の投稿画像に AI キャプションを追加
  • 画像ライトボックスにキャプションを表示
  • 検索インデックスにキャプションテキストを含める
  • 投稿編集時に、コンポーザープレビューからユーザーがキャプションを編集できるようにする
  • ローカライズされたコンテンツに対して、ロケール固有のキャプションをサポート

動画が苦手な方のために、いくつかのスクリーンショットを掲載します:

ライトボックスで表示

コンポーザーで編集可能

検索可能

設定場所

この機能は、Discourse AI の新しい Image Caption AI 機能エリアに配置されています。以前の AI Helper AI 機能エリアから、専用のエリアへ移動しました。

使用するには、以下の設定が必要です:

  • discourse_ai_enabled
  • ai_post_image_captions_enabled
  • 動作する ai_image_caption_agent

選択された画像キャプションエージェントは、画像アップロードが有効になっており、ビジョン対応の LLM を使用している必要があります。機能が有効になっているがエージェントが準備できていない場合、Discourse は管理上の問題を表示し、設定の問題をより簡単に発見できるようにします。

既存の投稿

既存の投稿画像に対するオプションのバックフィルジョブもあります。

バックフィルはデフォルトで無効になっており、コミュニティは古い投稿に対してキャプションを生成するかどうか、およびどの程度のレートで生成するかを選択できます。これは以下で設定できます:

  • ai_post_image_captions_backfill_hourly_rate
  • ai_post_image_captions_backfill_max_age_days

試してみよう :woman_technologist:t2:

Discourse がホストしているコミュニティの場合、私たちのモデルはすでに画像対応です。スクリーンリーダーを使用している人々にとって投稿画像をより有用なものにしたい場合は、機能とバックフィルを有効にしてください(上記の 既存の投稿 を参照)。

上記で述べたように、セルフホスト型のコミュニティでは、画像キャプションエージェントがビジョン対応のモデルを使用していることを必ず確認してください。

FAQ

Q: 制限はありますか?
A: 投稿ごとに 10 枚という設定可能な制限があります。Whispers と PM はスキップされます。

「いいね!」 14

それらのキャプションは検索エンジンによってクロールされますか?

「いいね!」 3

素晴らしい質問ですね。

ある意味では、そうと言えます。

キャプションは、画像の aria-description 属性として投稿の HTML にレンダリングされるため、検索エンジンのクローラーがトピックページをクロールする際にこれらを確認できます。また、Discourse 独自の検索インデックスにも含まれています。

ただし、これらは可視の投稿テキストや alt 属性として挿入されるわけではないため、aria-description のテキストを検索エンジンがインデックスに登録したり、重み付けしたりするかどうかは、クローラー次第となります。

「いいね!」 3

ありがとうございます。もう一つ質問ですが、AI翻訳機能との今後のシナジーは予想されますか?

これは那边的第二个ギャップのように思えます。最初のギャップはgistでした。

「いいね!」 2

おー、100% 動作します!

翻訳コンポーザーで:

特定の言語のキャプションを編集するには、:pencil: をクリックできます

ここでネタバレしますが、ローカライズ可能な gist もつい最近リリースしました :D(まだアナウンスはありません)(cc @sam

「いいね!」 7