'
> sidekiq-6.5.12/lib/sidekiq/processor.rb:131:in `block (4 levels) in dispatch'
> sidekiq-6.5.12/lib/sidekiq/processor.rb:263:in `stats'
> sidekiq-6.5.12/lib/sidekiq/processor.rb:126:in `block (3 levels) in dispatch'
> sidekiq-6.5.12/lib/sidekiq/job_logger.rb:13:in `call'
> sidekiq-6.5.12/lib/sidekiq/processor.rb:125:in `block (2 levels) in dispatch'
> sidekiq-6.5.12/lib/sidekiq/job_retry.rb:80:in `global'
> sidekiq-6.5.12/lib/sidekiq/processor.rb:124:in `block in dispatch'
> sidekiq-6.5.12/lib/sidekiq/job_logger.rb:39:in `prepare'
> sidekiq-6.5.12/lib/sidekiq/processor.rb:123:in `dispatch'
> sidekiq-6.5.12/lib/sidekiq/processor.rb:168:in `process'
> sidekiq-6.5.12/lib/sidekiq/processor.rb:78:in `process_one'
> sidekiq-6.5.12/lib/sidekiq/processor.rb:68:in `run'
> sidekiq-6.5.12/lib/sidekiq/component.rb:8:in `watchdog'
> sidekiq-6.5.12/lib/sidekiq/component.rb:17:in `block in safe_thread'
>
> ```
아무 아이디어나 제안 등이 있다면 매우 환영합니다
---
### Author:  [@Falco](https://meta.discourse.org/u/Falco)
#### Post date: [2월 21, 2025, 3:43오후 UTC](https://meta.discourse.org/t/discourse-ai-causing-new-ssl-and-connection-reset-by-peer-errors/353600/4 "2025-02-21T15:43:54Z")
> [@oznyet](#):
>
> 모든 OpenAI 모델에서 LLM 호출 시 “Connection Reset by Peer” 오류 메시지와 함께 약 70~80%의 오류율이 발생하고 있습니다. 일부 채팅은 정상적으로 처리되지만, 일부는 중간에 실패합니다. 임베딩(Embedding) 호출은 `Faraday::ConnectionFailed` SSL 오류로 실패합니다.
지난 한 달 동안 이 사이트에서 OpenAI API에 2,000건 이상의 요청을 보냈지만, 로그에 그러한 오류는 없습니다.
우리가 호스팅하는 OpenAI를 대량으로 사용하는 다른 사이트에는 지난 한 달 동안 80,000건의 요청이 있었고, Faraday 오류는 전혀 없으며, 해당 기간 동안 “Connection Reset by Peer” 오류는 단 두 건만 발생했습니다.
서버의 네트워크 구성에 문제가 있는 것은 아닌지 확인해 보셨나요? 한 번은 불량한 NIC 드라이버 때문에 `Errno::ECONNRESET (Connection reset by peer)` 오류가 발생한 적이 있습니다.
> [@oznyet](#):
>
> o1-mini와 o1-preview는 LLM 테스트/저장 시 코드 오류(‘developer’는 유효한 역할이 아님)로 실패합니다. 이는 developer 역할이 `o1` 및 `o3` 모델에만 유효하고, `-mini` 버전에는 적용되지 않기 때문입니다. 소스 코드 [github.com/discourse/discourse-ai/…/chat\_gpt.rb:61](https://github.com/discourse/discourse-ai/blob/f9220124991357d5f3044c6cce4a9f62a4a5763a/lib/completions/dialects/chat_gpt.rb#L61)는 `starts_with` 매칭이 아닌 정확한 모델 이름 매칭을 수행하도록 업데이트되어야 합니다. 73번째 줄의 `else` 케이스에서는 더 이상 `system` 사용자가 없으므로 단순히 `user`로 업데이트해야 합니다. 현재 시점에서 `o1-mini`는 도구를 사용할 수 없습니다.
확인해 보겠습니다.
---
### Author:  [@oznyet](https://meta.discourse.org/u/oznyet)
#### Post date: [2월 23, 2025, 11:33오후 UTC](https://meta.discourse.org/t/discourse-ai-causing-new-ssl-and-connection-reset-by-peer-errors/353600/5 "2025-02-23T23:33:13Z")
말씀하신 대로, 처음에는 네트워크 스택 문제인 줄 알았지만, 해당 컨테이너에서 반복적으로 OpenAI API를 호출하면 정상적으로 동작합니다.
또한, 이는 2월 21일 기준으로 매우 최근의 빌드에서 테스트한 것입니다.
이를 증명하기 위해(토큰 소모를 감수하고) OpenAI 네트워크 스택을 확인하기 위한 간단한 스크립트를 작성했습니다.
- 600초(10분) 동안 실행됩니다.
- 초당 1회씩 채팅 완성(chat completion) 호출을 수행합니다.
- 캐시를 피하기 위해 프롬프트를 변경합니다.
컨테이너 내부에서 `./launcher enter app`을 실행하고, 아래 스크립트를 저장한 후 `chmod +x test_openai.sh`로 실행 권한을 부여하고, `OPENAI_API_KEY=.... ./test_openai.sh`로 실행하세요.
> **test\_openai.sh**
>
> ```bash
> #!/bin/bash
>
> # 실행 시간
> DURATION_SECS=600
>
> # 카운터 초기화
> successful=0
> unsuccessful=0
> declare -A error_messages
>
> # 백분율 계산 함수
> calc_percentage() {
> local total=$(($1 + $2))
> if [$total -eq 0]; then
> echo "0.00"
> else
> echo "scale=2; ($2 * 100) / $total" | bc
> fi
> }
>
> # 통계 출력 함수
> print_stats() {
> local percent=$(calc_percentage $successful $unsuccessful)
> echo "-------------------"
> echo "성공한 호출: $successful"
> echo "실패한 호출: $unsuccessful"
> echo "실패율: ${percent}%"
> echo "에러 메시지:"
> for error in "${!error_messages[@]}"; do
> echo " - $error (${error_messages[$error]} 회)"
> done
> }
>
> end_time=$((SECONDS + DURATION_SECS))
>
> counter=1
> while [$SECONDS -lt $end_time]; do
> # 타임아웃과 함께 API 호출 수행
> response=$(curl -s -w "\n%{http_code}" \
> -X POST \
> -H "Content-Type: application/json" \
> -H "Authorization: Bearer $OPENAI_API_KEY" \
> -d "{
> \"model\": \"gpt-4o-mini\",
> \"messages\": [{\"role\": \"user\", \"content\": \"Use this number to choose a one word response: $counter\"}]
> }" \
> --connect-timeout 5 \
> --max-time 10 \
> https://api.openai.com/v1/chat/completions 2>&1)
>
> # 마지막 줄(상태 코드)과 응답 본문 가져오기
> http_code=$(echo "$response" | tail -n1)
> body=$(echo "$response" | sed '$d')
>
> # 호출이 성공했는지 확인
> if ["$http_code" = "200"]; then
> ((successful++))
> else
> ((unsuccessful++))
> # 에러 메시지 추출
> error_msg=$(echo "$body" | grep -o '"message":"[^"]*"' | cut -d'"' -f4)
> if [-z "$error_msg"]; then
> error_msg="Connection error: $body"
> fi
> # 에러 메시지 카운터 증가
> ((error_messages["$error_msg"]++))
> fi
>
> # 현재 통계 출력
> print_stats
>
> ((counter++))
>
> # 다음 호출 전 1초 대기
> sleep 1
> done
>
> ```
테스트 스크립트 실행 결과, 실패율은 0.5% 미만으로, 해당 규모에서는 허용 가능한 수준이었습니다.
이로써 문제는 컨테이너나 이를 구동하는 네트워크 스택이 아니라 Discourse 소프트웨어 자체에 있음을 알 수 있습니다.
최근 커밋으로 해결되지 않았다면, 더 자세히 조사해 보겠습니다.
---
### Author:  [@sam](https://meta.discourse.org/u/sam)
#### Post date: [2월 24, 2025, 5:40오전 UTC](https://meta.discourse.org/t/discourse-ai-causing-new-ssl-and-connection-reset-by-peer-errors/353600/6 "2025-02-24T05:40:05Z")
o1-mini와 o1-preview 주변의 회귀 버그를 여기에서 수정했습니다:
>
>
> 1. Legacy reasoning models (o1-preview / o1-mini) do not support developer or sy…stem messages, do not use them.
> 2. LLM editor form not showing all provider params due to missing remap
다만 SSL 문제에 대해서는 이해가 잘 안 됩니다. 우리는 여기서 기초 라이브러리를 변경한 적이 없거든요.
이것이 스트리밍과 관련이 있을 수 있으니, OpenAI LLM에서 스트리밍을 비활성화해 보시고 문제가 해결되는지 확인해 보세요. 해당 테스트에서는 스트리밍을 사용하지 않고 gpt-4o-mini를 사용하고 있습니다.
---
### Author:  [@oznyet](https://meta.discourse.org/u/oznyet)
#### Post date: [2월 25, 2025, 10:05오전 UTC](https://meta.discourse.org/t/discourse-ai-causing-new-ssl-and-connection-reset-by-peer-errors/353600/7 "2025-02-25T10:05:23Z")
> [@sam](#):
>
> o1-mini와 o1-preview 주위의 회귀 문제를 여기서 수정했습니다:
>
> [FIX: legacy reasoning models not working, missing provider params by SamSaffron · Pull Request #1149 · discourse/discourse-ai · GitHub](https://github.com/discourse/discourse-ai/pull/1149)
정말 훌륭합니다! 잘 하셨습니다!
진단하는 과정에서 또 다른 버그를 발견했습니다. LLM 설정 페이지(`/admin/plugins/discourse-ai/ai-llms/%/edit`)에서 _“네이티브 도구 지원 비활성화 (XML 기반 도구 사용) (선택)”_ 또는 _“스트리밍 완료 비활성화 (스트리밍을 비스트리밍 요청으로 변환)”_ 옵션 중 하나를 선택하고 저장 버튼을 클릭하면 "성공!"이라는 임시 토스트 알림이 표시되지만, 페이지를 새로고침하면 두 옵션 중 하나 또는 둘 다 해제되어 있습니다.
연결 리셋 문제는 여전히 지속되고 있으며 저는 여전히 조사 중이지만, Ruby 코드(FinalDestination / DNS 이름 해석 / Faraday)의 소켓 처리와 Debian 12 컨테이너가 Ubuntu 24.04 VM에서 실행되는 환경이 결합된 것으로 보입니다.
테스트용 Ubuntu 22.04 VM을 설정해 보았더니 문제가 없으며, 모든 임베딩과 추론이 완벽하게 작동합니다. 리셋 현상을 한 번도 목격하지 못했습니다.
계속해서 문제를 파헤쳐 보겠습니다. 아마도 Ubuntu 24.04가 netplan으로 TCP 스택을 관리하는 새로운 방식과 관련이 있을 수도 있습니다.
---
### Author:  [@sam](https://meta.discourse.org/u/sam)
#### Post date: [2월 25, 2025, 10:07오전 UTC](https://meta.discourse.org/t/discourse-ai-causing-new-ssl-and-connection-reset-by-peer-errors/353600/8 "2025-02-25T10:07:59Z")
감사합니다. 오늘 영속성 문제를 해결했습니다. 업그레이드 후 다시 시도해 주세요.
---
### Author:  [@oznyet](https://meta.discourse.org/u/oznyet)
#### Post date: [2월 26, 2025, 6:45오전 UTC](https://meta.discourse.org/t/discourse-ai-causing-new-ssl-and-connection-reset-by-peer-errors/353600/9 "2025-02-26T06:45:43Z")
자, 업데이트를 조금 하겠습니다. 기업 IP 범위에서 OpenAI API와 직접 연결을 설정하는 데 실패했습니다. Cloudflare가 TLS 직후 약 1ms 뒤에 RST 패킷을 전송했기 때문입니다.
그래서 OpenAI API 엔드포인트의 URL 드롭인 대체재로 [Cloudflare AI Gateway](https://developers.cloudflare.com/ai-gateway/)를 설정했는데, LLM 구성과 완벽하게 작동합니다.
Cloudflare에는 문서화되지 않은 레이트 리밋 정책이 있는 것 같습니다. 이는 알려지지 않은 IP 범위(예: Azure, AWS, GCP 등)에서 발동됩니다. Embeddings의 100개 연결 풀이 이 한도를 초과하게 되었습니다.
참고로, Cloudflare에는 [Authenticated Gateway](https://developers.cloudflare.com/ai-gateway/configuration/authentication/)라는 기능이 있어 특수 헤더 토큰을 추가합니다.
해당 문서에서 발췌한 내용입니다:
```bash
curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/openai/chat/completions \
--header 'cf-aig-authorization: Bearer {CF_AIG_TOKEN}' \
--header 'Authorization: Bearer OPENAI_TOKEN' \
--header 'Content-Type: application/json' \
--data '{"model": "gpt-4o" ........
```
LLM 구성 화면에서 LLM별 헤더를 추가할 수 있는 기능이 있다면 정말 좋겠습니다.
그렇게 하면 우리가 수행하는 모든 호출에 대해 LLM에 `cf-aig-authorization` 키와 값을 추가할 수 있을 것입니다.
---
### Author:  [@sam](https://meta.discourse.org/u/sam)
#### Post date: [2월 26, 2025, 8:47오후 UTC](https://meta.discourse.org/t/discourse-ai-causing-new-ssl-and-connection-reset-by-peer-errors/353600/10 "2025-02-26T20:47:09Z")
이건 좀 까다로운 문제예요. 엣지 케이스를 위해 너무 많은 UI를 부담해야 하거든요.
혹시 openrouter.ai를 시도해 볼 수 있을까요? 이 문제도 해결될 수 있을 것 같아요.
임의의 헤더를 허용하는 것에 대해 원칙적으로 반대하는 건 아니지만, 이건 아주 고급 설정이에요. 숨겨진 사이트 설정 뒤에 두면 괜찮을 것 같아요 (고급 UI를 활성화하는 사이트 설정).
이 회사가 오픈소스 플러그인에 대한 이 기여를 주도할 수 있을까요?
---
### Author:  [@oznyet](https://meta.discourse.org/u/oznyet)
#### Post date: [4월 5, 2025, 9:32오전 UTC](https://meta.discourse.org/t/discourse-ai-causing-new-ssl-and-connection-reset-by-peer-errors/353600/11 "2025-04-05T09:32:27Z")
기여(컨트리뷰션) 승인을 아직 받지 못했지만, 계속 노력해 보겠습니다. 지금까지 도움을 주셔서 감사합니다!
---
### Author:  [@Falco](https://meta.discourse.org/u/Falco)
#### Post date: [12월 2, 2025, 2:24오후 UTC](https://meta.discourse.org/t/discourse-ai-causing-new-ssl-and-connection-reset-by-peer-errors/353600/12 "2025-12-02T14:24:20Z")