Discourse AI вызывает новые ошибки SSL и Connection Reset by Peer

[Falco]

@oznyet

Все модели OpenAI имеют уровень ошибок около 70–80% при вызовах LLM с сообщением об ошибке «Connection Reset by Peer». Некоторые чаты проходят, другие прерываются на полпути. Вызовы для встраивания (embedding) завершаются ошибкой SSL Faraday::ConnectionFailed.

За последний месяц мы выполнили более 2000 запросов к API OpenAI на этом сайте, и в наших логах нет подобных ошибок.

Я проверил другой наш сайт, который активно использует OpenAI: за последний месяц там было 80 000 запросов, и там зафиксировано ноль ошибок Faraday и только две ошибки «Connection Reset by Peer» за весь период.

Возможно, у вас проблемы с сетевым оборудованием сервера? У меня однажды возникла ошибка Errno::ECONNRESET (Connection reset by peer) из-за неисправного драйвера сетевого адаптера (NIC).

@oznyet

Модели o1-mini и o1-preview не проходят тестирование/сохранение LLM из-за ошибки кода («developer» не является допустимой ролью), поскольку роль developer действительна только для моделей o1 и o3, но не для их версий -mini. Исходный код github.com/discourse/discourse-ai/…/chat_gpt.rb:61 требует обновления: вместо проверки starts_with необходимо использовать точное совпадение имени модели. Для случая else на строке 73 больше нет пользователя system, и его нужно заменить на просто user. На сегодняшний день o1-mini не поддерживает использование инструментов.

Разберёмся с этим.