Das ist großartig! Gut gemacht!
Bei der Diagnose habe ich einen weiteren Fehler gefunden – auf der LLM-Konfigurationsseite (/admin/plugins/discourse-ai/ai-llms/%/edit) wird beim Auswählen einer der Optionen „Native Tool-Unterstützung deaktivieren (XML-basierte Tools verwenden) (optional)“ oder „Streaming-Abschlüsse deaktivieren (Streaming- in Nicht-Streaming-Anfragen konvertieren)“ und Klicken auf Speichern eine temporäre „Erfolg!“-Toastmeldung angezeigt, aber beim erneuten Laden der Seite sind beide oder eine der Optionen nicht angehakt.
Die Probleme mit dem Verbindungsabbruch bestehen weiterhin und ich untersuche sie noch, aber es sieht nach einer Kombination aus dem Ruby-Code (FinalDestination / DNS-Auflösung / Faraday) Socket-Handling, kombiniert mit einem Debian 12 Container auf einer Ubuntu 24.04 VM aus.
Ich habe eine Test-Ubuntu 22.04 VM gestartet und es gibt keine Probleme, alle Embeddings und Inferenz funktionieren perfekt. Ich habe noch keinen einzigen Abbruch gesehen.
Ich werde weiter daran arbeiten, vielleicht hängt es mit einer neuen Art zusammen, wie Ubuntu 24.04 den TCP-Stack mit netplan verwaltet.