Auxiliar - legendagem de imagens

:bookmark: Este guia explica como ativar e configurar legendas de imagem alimentadas por IA, que fazem parte do recurso Helper do plugin Discourse AI.

:person_raising_hand: Nível de usuário necessário: Administrador

A legendagem de imagens permite que os usuários aproveitem a IA para legendar qualquer imagem carregada, fornecendo descrições detalhadas. Os usuários podem acionar a legendagem manualmente clicando no botão Caption with AI (Legendar com IA) que aparece nas imagens no composer.

Funcionalidades

  • Botão manual Caption with AI (Legendar com IA) em imagens no composer
  • Legenda editável com atribuição “(Captioned by AI)” (Legenda por IA)

Habilitando a Legenda de Imagem

Pré-requisitos

Você deve configurar pelo menos um Modelo de Linguagem Grande (LLM) com visão de um provedor.

Para começar, você pode configurá-los através da página de configurações do Discourse AI - Large Language Model (LLM).

Configuração

  1. Vá para Admin → Plugins
  2. Procure por discourse-ai e certifique-se de que está habilitado
  3. Garanta que o recurso Helper esteja habilitado, marcando ai helper enabled (helper de IA habilitado)
  4. Em ai helper enabled features (recursos habilitados do helper de IA), certifique-se de que image_caption (legenda de imagem) esteja adicionado — observe que ele não é incluído por padrão
  5. Selecione o agente em ai helper image caption agent (agente de legenda de imagem do helper de IA)
  6. Garanta que os grupos de usuários desejados estejam incluídos em composer ai helper allowed groups (grupos permitidos do helper de IA do composer) para que possam usar o botão de legenda

FAQs Técnicas

Por que a descrição da legenda não corresponde à imagem?

  • Isso depende do LLM com visão e da própria imagem. LLMs mais potentes podem ser capazes de descrever melhor a imagem, mas isso depende do modelo. A fidelidade da imagem e o assunto da imagem também são fatores importantes a serem considerados na saída da legenda.
1 curtida

Quando uma imagem é carregada, um breve resumo (cerca de 1 frase) é fornecido. Suponho que isso seja gerado por IA e incorrerá em custos?

1 curtida

Sim, você incorreria em um custo e isso dependeria do provedor.

1 curtida

@NateDhaliwal, isso deve ajudar a dar algumas estimativas aproximadas.

1 curtida

Certo, obrigado!

Uma instrução muito importante está faltando aqui, levei muito tempo para descobri-la:

A lista de Recursos habilitados pelo AI helper não inclui por padrão “Legenda da imagem”, então tive que adicionar essa especificamente:

1 curtida

Encontrado (e corrigido) mais um problema: se você definir “Grupos permitidos para legendas automáticas de imagens por IA” para o grupo “todos”, ele não legendará automaticamente nada para ninguém (independentemente da configuração do usuário). Tive que defini-lo explicitamente para incluir todos os níveis de confiança.

A imagem mostra uma tela exibindo opções para habilitar a legendagem automática de imagens por IA, permitindo que os usuários alternem os níveis de confiança para este recurso. (Legenda por IA)

Everyone é um pouco problemático, porque não é um grupo real e inclui anônimos, que não podem escrever e fazer upload de nada.

Mas no meu fórum, trust_level_0 funciona bem, incluindo todos que estão logados.

2 curtidas

Acho que o op precisa de uma atualização

1 curtida

Eu gostei muito :frowning:

Fiquei confuso(a) sobre por que parou de funcionar, mas agora pelo menos sei o motivo.