Discourse AI로 인해 새로운 SSL 및 Connection Reset by Peer 오류 발생

[Falco]

@oznyet

모든 OpenAI 모델에서 LLM 호출 시 “Connection Reset by Peer” 오류 메시지와 함께 약 70~80%의 오류율이 발생하고 있습니다. 일부 채팅은 정상적으로 처리되지만, 일부는 중간에 실패합니다. 임베딩(Embedding) 호출은 Faraday::ConnectionFailed SSL 오류로 실패합니다.

지난 한 달 동안 이 사이트에서 OpenAI API에 2,000건 이상의 요청을 보냈지만, 로그에 그러한 오류는 없습니다.

우리가 호스팅하는 OpenAI를 대량으로 사용하는 다른 사이트에는 지난 한 달 동안 80,000건의 요청이 있었고, Faraday 오류는 전혀 없으며, 해당 기간 동안 “Connection Reset by Peer” 오류는 단 두 건만 발생했습니다.

서버의 네트워크 구성에 문제가 있는 것은 아닌지 확인해 보셨나요? 한 번은 불량한 NIC 드라이버 때문에 Errno::ECONNRESET (Connection reset by peer) 오류가 발생한 적이 있습니다.

@oznyet

o1-mini와 o1-preview는 LLM 테스트/저장 시 코드 오류(‘developer’는 유효한 역할이 아님)로 실패합니다. 이는 developer 역할이 o1 및 o3 모델에만 유효하고, -mini 버전에는 적용되지 않기 때문입니다. 소스 코드 github.com/discourse/discourse-ai/…/chat_gpt.rb:61는 starts_with 매칭이 아닌 정확한 모델 이름 매칭을 수행하도록 업데이트되어야 합니다. 73번째 줄의 else 케이스에서는 더 이상 system 사용자가 없으므로 단순히 user로 업데이트해야 합니다. 현재 시점에서 o1-mini는 도구를 사용할 수 없습니다.

확인해 보겠습니다.