Abbiamo introdotto una funzionalità di didascalia di immagini AI nel plugin Discourse AI, che consente la generazione automatica di didascalie per le immagini nei post. Questa funzionalità mira a migliorare l’accessibilità dei contenuti e ad arricchire gli elementi visivi all’interno della tua community.
Funzionalità e Utilizzo
Didascalie AI automatiche: Al caricamento di un’immagine nell’editor, puoi generare automaticamente una didascalia utilizzando l’IA.
Didascalie modificabili: La didascalia generata può essere modificata per adattarsi meglio al contesto e al tono del tuo contenuto.
Accessibilità migliorata: La funzionalità supporta la creazione di contenuti più accessibili per gli utenti che si affidano agli screen reader.
Come Utilizzare
Carica un’immagine nell’editor di Discourse.
Fai clic sul pulsante “Didascalia con IA” vicino all’immagine.
Apparirà una didascalia generata, che potrai modificare.
Accetta la didascalia per includerla nel tuo post.
Feedback
Il tuo feedback è fondamentale per perfezionare questa funzionalità. È abilitata qui su Meta, quindi condividi le tue esperienze, problemi o suggerimenti qui in questo argomento.
Modello AI
Questa funzionalità supporta sia il modello open-source LLaVa 1.6 sia l’API OpenAI.
Può vedere la camicia a quadri, ma non riesce a rilevare George Costanza.
Scherzi a parte, questo è fantastico soprattutto per l’#accessibilità. Nei precedenti report A11Y, la mancanza di testo alternativo nelle immagini è uno degli elementi principali sollevati, e in precedenza abbiamo archiviato tutto ciò poiché le immagini sono contenuti caricati dall’utente. Questo ora apre la strada a un’accessibilità molto, molto migliore.
In caso di messaggi di errore, c’è un modo per incoraggiarlo a sottotitolare la parte principale dell’errore in modo che il motore di ricerca lo rilevi?
Altri risultati
Identifica correttamente il terzo come strumento IBM EWM, ma non riconosce il 2 come Rhapsody e l’1 come Vector Davinci. Ciononostante, queste didascalie sono piuttosto ragionevoli.
Ma è molto difficile da trovare. L’utente deve passare il mouse sopra l’immagine per vedere il pulsante e poi fare clic su di esso (e la maggior parte delle persone non lo saprà).
Anche se lo sapevo e stavo cercando la funzionalità, ho dovuto controllare il video per capire che devo passare il mouse sopra.
Secondo me dovrebbe essere “in faccia” per essere utilizzata all’inizio. La renderei persino in grado di creare le didascalie per impostazione predefinita, senza che l’utente debba fare clic su nulla
Alla fine renderemo questi prompt personalizzabili, quindi sarà possibile.
Come nuova funzionalità, la nostra idea è di introdurla in modo molto discreto per raccogliere feedback, e poi renderla più facile da trovare e persino automatica.
Invierà il link dell’immagine (Internet) al Servizio AI, caricherà il contenuto dell’immagine o eseguirà un “hashing” localmente in discourse? È lato server o javascript (cioè espone l’IP del client a un servizio esterno).
concordo, tuttavia la qualità potrebbe risentirne a causa delle limitazioni hardware. Forse potresti condividere alcuni consigli riguardo alle dimensioni dei modelli e alla quantizzazione o alla vram minima dalla tua esperienza. (non sono sicuro che abbiano modelli quantizzati, il loro “zoo” sembra avere solo modelli completi).
Stiamo eseguendo il modello completo, ma la versione più piccola con Mistral 7B. Richiede 21 GB di VRAM sui nostri server A100 singoli, ed è eseguito tramite l’immagine container ghcr.io/xfalcox/llava:latest.
Purtroppo l’ecosistema per i modelli multimodali non è maturo come quelli text2text, quindi non possiamo ancora sfruttare server di inferenza come vLLM o TGI e siamo rimasti con quei microservizi monouso. Questo potrebbe cambiare quest’anno, il multimodale è nella roadmap di vLLM, ma nel frattempo possiamo almeno testare le acque con questi servizi.
Ho alcuni piccoli feedback UX per questo. Su immagini piccole, il pulsante “Acquisisci con IA” blocca non solo l’immagine stessa ma anche altro testo nel post, rendendo difficile rivedere il post durante la modifica.
Sto vedendo tutte le didascalie generate (sia qui che sul mio sito) iniziare con “L’immagine contiene” o “Un’immagine di” o simili. Questo sembra non necessario e ridondante. Il prompt potrebbe essere aggiornato per indicare che non è necessario spiegare che l’immagine è un’immagine?
È così difficile da perfezionare perché modelli diversi hanno tolleranze diverse, ma un piano che abbiamo è quello di consentire ai proprietari della community di controllare le richieste in modo che possano sperimentare.
@mattdm Puoi ottenerlo semplicemente pre-compilando la risposta generata con “Un’immagine di”. In questo modo l’LLM penserà di aver già generato l’introduzione e genererà solo il resto.
