알림이 느려 큰 지연 발생

최근 다른 인스턴스와 병합을 진행했는데, 총 게시글 수가 150만 개를 넘기고 등록 사용자는 15만 명 이상 되었습니다.

문제는 알림이 지연된다는 것입니다(좋아요 수신, 비공개 메시지, 새 게시글 알림 등). 이로 인해 AI 봇(discourse-ai와 chatbot 모두 포함)이 초기 트리거(비공개 메시지나 멘션)로부터 몇 시간, 심지어 며칠이 지난 후에야 답변을 실행하는 문제가 발생합니다.

또한 /latest.json 페이지나 관리 패널에서 리포트를 가져오려 할 때 504 에러가 자주 발생하고 있습니다.

저는 3코어 VPS와 4GB RAM을 사용하고 있습니다. 서버가 과부하 상태인 것이 문제의 원인이라고 추정됩니다. 또한 대용량 부하로 인해 로그인하지 않은 사용자에게 인스턴스가 비정상적으로 표시된다는 알림도 꽤 자주 받고 있습니다.

  • 150만 개 게시글과 15만 명 등록 사용자를 가진 인스턴스에 더 강력한 서버가 필요한가요?

참고로, 사이트맵에 병합된 새 콘텐츠가 업데이트된 이후로 평균 일일 통합 페이지 뷰가 10만 회(대부분 크롤러)에 달하고 있습니다.

다른 인스턴스와 병합했다고 하셨는데, 언제쯤이었나요? 아니면 그 뒤에 숨은 진짜 질문을 드리자면, 관리자 계정으로 로그인한 상태에서 /sidekiq에 접속했을 때 큐에 작업이 정말 많이 쌓여 있나요?

게시물 가져오기는 여러 단계로 이루어진 과정이며, 초기 가져오기 이후에 큐에 쌓여 실행되는 작업으로 대부분의 처리가 위임됩니다.

아마도 매우 많은 수의 게시물을 가져오셔서 시스템이 아직 처리를 따라가지 못하고 있는 것 같습니다.

저도 가져오기(레거시 시스템을 일반 이메일 가져오기로 변환한 경우, Discourse 병합이 아님)를 할 때 비슷한 문제를 겪었습니다. 수천 개의 작업이 실패하면서 계속 재시도되었고, 이로 인해 다른 모든 작업의 큐 처리가 지연되었습니다. 정확히 무엇이었는지 기억은 나지 않지만, 게시물 내용을 수정하여 해당 작업들의 실패를 막을 수 있었습니다.