Bilder in Beiträgen mit Discourse AI zugänglicher machen

[nat (Natalie T)]

Im Jahr 2024 (link) haben wir KI-Bildunterschriften in Discourse AI eingeführt. Dies war besonders für die Barrierefreiheit nützlich, hing jedoch davon ab, dass sich die Nutzer daran erinnerten, beim Verfassen eines Beitrags auf „Mit KI beschreiben“ zu klicken.

Wir haben das Bildbeschreibungs-System nun überarbeitet, sodass Untertitel im Hintergrund für Bilder in Beiträgen generiert werden können. Diese werden separat vom Rohinhalt des Beitrags (der tatsächliche Inhalt, den der Autor geschrieben hat, bleibt unverändert) gespeichert und erscheinen dort, wo sie nützlich sind: für Screenreader, die Suche und Bild-Lightboxes.

Mit dieser Version können Bildunterschriften nun automatisch im Hintergrund generiert werden, nachdem ein Beitrag erstellt wurde. Hier ist ein kurzer Überblick

So funktioniert es

KI-Bildunterschriften werden nun den Bildern in Beiträgen hinzugefügt, ohne den generierten Text in den Beitrag selbst einzufügen. Dadurch bleiben die Untertitel für Barrierefreiheit und Suche verfügbar, ohne dass zusätzlicher sichtbarer Text in den Hauptteil jedes Beitrags eingefügt wird.

Wenn Untertitel verfügbar sind, wird Discourse:

• den KI-Untertitel zu den Bildern in Beiträgen für Screenreader hinzufügen
• den Untertitel in der Bild-Lightbox anzeigen
• den Untertitel-Text in die Suchindexierung aufnehmen
• Nutzern ermöglichen, Untertitel in der Composer-Vorschau zu bearbeiten, wenn sie einen Beitrag bearbeiten
• lokalspezifische Untertitel für lokalisierte Inhalte unterstützen

Einige Screenshots, falls Videos nicht Ihr Ding sind:

Sichtbar in der Lightbox

Bearbeiten im Composer

Durchsuchbar

Wo einrichten?

Diese Funktion befindet sich im neuen KI-Funktionsbereich Bildunterschrift in Discourse AI und wurde vom vorherigen KI-Funktionsbereich „AI Helper“ in einen eigenen Bereich verschoben.

Um sie zu nutzen, benötigen Sie:

• discourse_ai_enabled
• ai_post_image_captions_enabled
• einen funktionierenden ai_image_caption_agent

Der ausgewählte Bildunterschriften-Agent benötigt aktivierte Bild-Uploads und muss ein LLM mit Sehfähigkeiten (Vision-Modell) verwenden. Wenn die Funktion aktiviert ist, der Agent jedoch nicht bereitsteht, zeigt Discourse ein Admin-Problem an, um Konfigurationsprobleme leichter zu erkennen.

Bestehende Beiträge

Es gibt auch einen optionalen Backfill-Job für bestehende Bilder in Beiträgen.

Backfill ist standardmäßig deaktiviert, sodass Communities entscheiden können, ob sie Untertitel für ältere Beiträge generieren möchten und in welchem Tempo. Dies kann mit folgenden Einstellungen konfiguriert werden:

• ai_post_image_captions_backfill_hourly_rate
• ai_post_image_captions_backfill_max_age_days

Testen Sie es aus

Für Communities, die von Discourse gehostet werden , sind unsere Modelle bereits bildfähig. Wenn Sie Bilder in Beiträgen für Menschen, die Screenreader verwenden, nützlicher machen möchten, aktivieren Sie die Funktion und den Backfill (siehe oben unter Bestehende Beiträge).

Wie oben erwähnt, stellen Sie bei selbstgehosteten Communities sicher, dass Ihr Bildunterschriften-Agent ein Modell mit Sehfähigkeiten verwendet.

FAQ

F: Welche Grenzen gibt es?
A: Es gibt eine konfigurierbare Grenze von 10 Bildern pro Beitrag. Whispers und PMs werden übersprungen.

[loginerror (Maciej Kuźmicz)]

Werden diese Bildunterschriften von Suchmaschinen gecrawlt?

[nat (Natalie T)]

Gute Frage –

Eher so.

Die Bildunterschriften werden im Post-HTML als aria-description im Bild gerendert, sodass Suchmaschinen-Crawler sie beim Durchlaufen der Themen-Seite sehen können. Sie sind auch im eigenen Suchindex von Discourse enthalten.

Sie werden nicht als sichtbarer Post-Text oder als Alt-Text eingefügt, sodass es vom Crawler abhängt, ob der aria-description-Text indiziert oder gewichtet wird.

[loginerror (Maciej Kuźmicz)]

Danke. Noch eine Frage: Siehst du in naher Zukunft Synergien mit der KI-Übersetzungsfunktion?

Dies scheint die zweite Lücke dort zu sein, wobei Gists die erste sind.

[nat (Natalie T)]

Oh ja, es funktioniert zu 100 %!

Im Übersetzungszusammensteller:

Du kannst auf das klicken, um die Bildunterschrift in der jeweiligen Sprache zu bearbeiten.

@loginerror

Die Gists sind die ersten.

Ich freue mich, hier einen Spoiler zu liefern, und teile mit, dass wir gerade auch lokalisierbare Gists veröffentlicht haben (noch keine Ankündigung) (cc @sam)