Tornando imagens de posts mais acessíveis com Discourse AI

Em 2024 (link), introduzimos legendas de imagens com IA no Discourse AI. Isso foi útil, especialmente para acessibilidade, e dependia das pessoas se lembrarem de clicar em “Legendar com IA” ao escrever uma publicação.

Agora, reformulamos o sistema de legendas de imagens para que elas possam ser geradas em segundo plano para as imagens das publicações, armazenadas separadamente do conteúdo bruto da publicação (o conteúdo real escrito pelo autor permanece inalterado) e apareçam onde são úteis: para leitores de tela, pesquisa e lightboxes de imagens.

Com esta versão, as legendas de imagens agora podem ser geradas automaticamente em segundo plano após a criação de uma publicação. Aqui está uma rápida demonstração :video_camera:

Como funciona

As legendas de imagens com IA agora estão vinculadas às imagens das publicações sem inserir o texto gerado na própria publicação. Isso mantém as legendas disponíveis para acessibilidade e pesquisa, sem adicionar texto visível extra ao corpo de cada publicação.

Quando as legendas estão disponíveis, o Discourse irá:

  • adicionar a legenda da IA às imagens da publicação para leitores de tela
  • exibir a legenda no lightbox da imagem
  • incluir o texto da legenda na indexação de pesquisa
  • permitir que os usuários editem as legendas na pré-visualização do compositor ao editar uma publicação
  • oferecer suporte a legendas específicas de localidade para conteúdo localizado

Alguns capturas de tela, caso vídeos não sejam do seu agrado:

Visível no lightbox

Editável no compositor

Pesquisável

Configuração

Este recurso está localizado na nova área de recurso de IA Legenda de Imagem no Discourse AI, movida da área anterior de recurso de IA Assistente de IA para sua área dedicada.

Para usá-lo, você precisará de:

  • discourse_ai_enabled
  • ai_post_image_captions_enabled
  • um ai_image_caption_agent funcional

O agente de legenda de imagem selecionado precisa ter uploads de imagens habilitados e deve usar um LLM com capacidade de visão. Se o recurso estiver habilitado, mas o agente não estiver pronto, o Discourse exibirá um problema de administrador para facilitar a identificação de problemas de configuração.

Publicações existentes

Existe também um trabalho de preenchimento retroativo opcional para imagens de publicações existentes.

O preenchimento retroativo está desativado por padrão, permitindo que as comunidades escolham se desejam gerar legendas para publicações mais antigas e em qual taxa. Isso pode ser configurado com:

  • ai_post_image_captions_backfill_hourly_rate
  • ai_post_image_captions_backfill_max_age_days

Teste :woman_technologist:t2:

Para comunidades hospedadas pelo Discourse :discourse:, nossos modelos já são capazes de processar imagens. Se você deseja tornar as imagens das publicações mais úteis para pessoas que usam leitores de tela, habilite o recurso e o preenchimento retroativo (veja Publicações existentes acima).

Como mencionado acima, para comunidades auto-hospedadas, certifique-se de que seu agente de legenda de imagem esteja usando um modelo com capacidade de visão.

7 curtidas

Essas legendas serão indexadas pelos mecanismos de busca?

Ótima pergunta -

De certa forma.

As legendas são renderizadas no HTML da publicação como aria-description na imagem, para que os rastreadores de mecanismos de busca possam vê-las ao percorrer a página do tópico. Elas também são incluídas no próprio índice de pesquisa do Discourse.

Elas não são inseridas como texto visível da publicação ou como texto alternativo, então cabe ao rastreador decidir se indexa ou pondera o texto da aria-description.