Isso é incrível! Bom trabalho!
No processo de diagnóstico, encontrei outro bug - na página de configuração do LLM (/admin/plugins/discourse-ai/ai-llms/%/edit), selecionar qualquer uma das opções para “Desabilitar suporte nativo de ferramentas (usar ferramentas baseadas em XML) (opcional)” ou “Desabilitar conclusões de streaming (converter requisições de streaming para não streaming)” e clicar em Salvar exibe uma notificação temporária de “Sucesso!”, mas ao recarregar a página, ambas ou qualquer uma das opções estará desmarcada.
Os problemas de reset de conexão ainda persistem e ainda estou investigando, no entanto, parece ser uma combinação do código Ruby (FinalDestination / Resolução de DNS / Faraday) de manipulação de sockets, combinado com o container Debian 12 em uma VM Ubuntu 24.04.
Eu criei uma VM de teste Ubuntu 22.04 e não há problemas, todos os embeddings e inferência funcionam perfeitamente. Não vi um único reset.
Continuarei a trabalhar nisso, talvez esteja relacionado a uma nova forma como o Ubuntu 24.04 gerencia a pilha TCP com netplan.