Wöchentliche Zusammenfassung der KI-Themen

Nachrichten und Veranstaltungen Forenzusammenfassungen
130

Übersicht

Die KI-Diskussionen dieser Woche auf #meta.discourse.org drehten sich vor allem um die Kontrolle und das Verständnis von KI-Kosten sowie Hintergrundaktivitäten, die Verschärfung der Sicherheitsanforderungen bei Zusammenfassungseingaben und die Verbesserung der Benutzeroberfläche (UX) und Integrationen im gesamten Discourse-KI-Funktionsumfang.

Auf der Kosten-/Betriebsseite hat Discourse geschätzte dollarbasierte Kontingente für die Nutzung von Discourse AI eingeführt (zusätzlich zu Token-Limits), was die Budgetplanung über verschiedene Anbieter hinweg erleichtert (siehe Kontingente basierend auf Kosten für Discourse AI und den begleitenden Leitfaden Konfiguration von LLM-Nutzungskontingenten in Discourse AI). Administratoren tauschten sich zudem über periodische KI-API-Aufrufe aus, die auch dann auftreten können, wenn KI-Oberflächenfunktionen nicht aktiv genutzt werden, aufgrund von Hintergrundjobs wie Embeddings und dem Nachfüllen von Zusammenfassungen (siehe Ruft Discourse KI-APIs im Hintergrund auf? und Falcos Bestätigung).

Auf der Sicherheitsebene gab es erneut Aufmerksamkeit für das, was genau in Zusammenfassungsaufforderungen (Prompts) eingespeist wird – insbesondere, ob die Einbeziehung von HTML-Kommentaren einen „versteckten Kanal“ für Manipulationen bilden könnte (siehe HTML-Kommentare werden ebenfalls von der KI zusammengefasst, Falcos Antwort und weitere Bedenken).

Zugleich konzentrierten sich mehrere Threads darauf, „es in der realen Welt zum Laufen zu bringen“: Fehlerbehebung bei 500-Fehlern bei KI-Titelvorschlägen und die Suche nach Audit-Logs (siehe Support-Thread für Qwen3.7-plus und Hinweise zu ai_api_audit_logs), die Konfiguration von internen KI-Endpunkten / LiteLLM-Sidecars (siehe Wie verwendet man interne KI-Endpunkte? und die Lösungsbeschreibung hier), sowie die selbstgehostete Übersetzung über Ollamas OpenAI-kompatible API (siehe Selbsthosting eines Open-Source-LLM für DiscourseAI, Hinweise zu Modell/Tokenizer und die Diskussion zu Übersetzungseinschränkungen hier).

Auch UX und Produktpolitur kamen nicht zu kurz: Es wurde ein Fix für die Positionierung des Icons für KI-Titelvorschläge vorgeschlagen (siehe Icon für KI-Titelvorschlag wird oberhalb des Titelfelds platziert), „Inline“-KI-Vorschläge brachten Fragen zur Latenz und zum Verhalten auf (siehe Inline-Integration von KI-Vorschlägen (im Composer) und Frage zur Latenz), und der andockende Composer für KI-Bot-Gespräche wurde nach versehentlichem Deaktivieren wieder aktiviert (siehe Frage und Lösung).

Interessante Themen

  • Kostengestützte Kontingente für Discourse AI (geschätzte Dollarbeträge, nicht nur Tokens) in #Announcements #ai: sam kündigte eine neue Methode an, die KI-Nutzung pro Gruppe nach geschätzten Dollar-Kosten zu begrenzen, um die Budgetplanung über verschiedene Anbieter hinweg zu erleichtern (Kündigung). Die Funktion ist in den bestehenden Workflow zur Kontingentkonfiguration integriert (Konfiguration von LLM-Nutzungskontingenten in Discourse AI).

  • KI-Zusammenfassungen beinhalten HTML-Kommentare (und potenzielle Prompt-Injection-Bedenken) in #Feature ai #ai-summarize: Ed_S wies auf das Risiko hin, dass HTML-Kommentare als „versteckter Kanal“ zur Beeinflussung von Zusammenfassungen dienen könnten (Bedenken). Falco erkannte die Möglichkeit an – insbesondere bei kleineren/älteren Modellen – und verwies auf die Trennung von System- und User-Prompts als ein Konzept zur Minderung (Antwort), wogegen Ed_S einwandte, dass dies kein wirksamer Schutz gegen Jailbreaks sei (Nachtrag).

  • Qwen3.7-plus-Einrichtung: Titelgenerierungstool stößt auf 500er-Fehler + Debugging mit Audit-Logs in Support #ai: bird meldete einen 500er-Fehler bei der KI-Titelgenerierung, obwohl andere KI-Tools funktionierten (Bericht). Falco empfahl, ai_api_audit_logs für detailliertere Diagnosen abzufragen (Tipp), und erläuterte anschließend, wie man den neuesten Eintrag prüft und dass der 500er-Fehler von Discourse (nicht von Qwen) stammt (Nachtrag). Der Thread verwies zudem auf die Dokumentation zur Bildgenerierung, als gefragt wurde, ob Discourse AI diese unterstützt (Antwort + Link, sowie Verbesserter Support für Bildgenerierung in Discourse AI).

  • Discourse AI mit internen Endpunkten betreiben (LiteLLM-Sidecar, interne Host-Whitelists, MCP-Bereinigung) in Support #ai: evantobin beschrieb, wie er die interne Konnektivität für einen lokalen LiteLLM-Sidecar mit DISCOURSE_ALLOWED_INTERNAL_HOSTS zum Laufen brachte, und erwähnte weitere Arbeiten zur Vertex AI-Authentifizierung (Details). satonotdead teilte eine vollständige Lösung unter Verwendung der internen Gateway-IP von Docker, Port-Mapping und der Bereinigung defekter MCP-Tools (Lösung).

  • Feature-Anfrage / PR: {username}-Template-Parameter zu KI-Persona-Systemprompts hinzufügen in #Feature #ai: 42aross schlug vor, {username} als erlaubten Template-Parameter hinzuzufügen, damit eine KI-Persona den aktuellen Benutzer serverseitig zuverlässig identifizieren kann (statt dass das LLM es aus Thema-Text/Metadaten ableiten muss) (Anfrage + Begründung). Er erwähnte auch den Abschluss des CLA-Prozesses (Nachtrag).

  • Andockender Composer für KI-Bot-Gespräche: Auf Meta deaktiviert, dann wieder aktiviert in #Announcements ai #ai-bot: putty fragte, warum Meta die UI des andockenden Composers nicht mehr anzeigte (Frage). keegan antwortete, dass er versehentlich deaktiviert worden war, und schaltete ihn wieder ein, wobei er erwähnte, dass die Änderung in den beta-Status wechselt (Statusupdate). nicolsdennis folgte mit einer Produktfrage zur Begrenzung der Antwortlänge bei Bot-Gesprächen (Frage).

  • Inline-KI-Vorschläge im Composer: Konsistenz + Latenz- und Verhaltensfragen in #Announcements ai #ai-helper: chapoi diskutierte die Angleichung des Verhaltens über ähnliche UI-Einstiegsstellen hinweg und bat um Feedback (Beitrag). nicolsdennis fragte nach der Round-Trip-Latenz und ob Vorschläge rein auf dem Thema-Titel basieren (Frage).

  • UX-Fix: Positionierung des Icons für KI-Titelvorschläge in ux #ai: chapoi postete einen Implementierungsfix für das Problem, dass das Icon für Titelvorschläge oberhalb des Titelfelds erschien, und bat um Bestätigung bezüglich Nebenwirkungen (Fix + PR-Link).

  • Änderungen bei Gemini-API-Schlüsseln: Service Accounts, Migrationsbedenken in #Integrations how-to #ai: m_terenui wies auf Google’s gemeldete Sicherheitsänderungen bei Gemini-API-Schlüsseln hin, die möglicherweise Service Accounts erfordern und alte Schlüssel migrieren, und fragte, was Discourse Administratoren zukünftig konfigurieren erwartet (Frage). (Thread-Referenz: Einrichten von Gemini-API-Schlüsseln für Discourse AI)

  • Selbsthosting der Discourse AI-Übersetzung mit Ollama: Anbieterwahl, Tokenizer/Kontextfenster und warum „Übersetzungs-Endpunkte“ kein Drop-In sind in #Self-Hosting #ai: mononym fragte, wie man Discourse AI-Übersetzung über Ollama ausprobieren kann und wo die neueren Admin-UI-Einstellungen zu finden sind (Frage). Falco schlug vor, Ollamas OpenAI-kompatible API zu verwenden, indem man OpenAI als Anbieter auswählt (Hinweise), und lieferte anschließend praktische Konfigurationsratschläge (Tokenizer-Wahl, Kontextfenster) sowie Warnungen vor ungeeigneten/alten Modellen (Details). Der Thread behandelte auch, warum Discourse AI-Übersetzung nicht als einfacher Ersatz für LibreTranslate-Endpunkte konzipiert ist und warum das ältere Translator-Plugin weiterhin „so wie es ist“ genutzt werden kann (Einschränkungen).

Aktivitäten

Danke fürs Lesen, und wir sehen uns nächste Woche wieder! :slight_smile: