이미 Ruby로 작성된 사용자 지정 가져오기 스크립트가 있습니다. 이 스크립트는 작동하며 모든 주제를 추가하지만, 속도가 너무 빠릅니다. 이로 인해 게시물을 생성(baking)하는 동안 imgur와 같은 외부 서비스에서大量의 이미지를 가져오게 됩니다.
이 문제를 해결하는 가장 좋은 방법은 무엇일까요? 가장 단순한 방법은 게시물 사이에서 가져오기 프로세스가 잠시 대기(sleep)하도록 하는 것입니다. 하지만 이는 이미지 수와 imgur의 속도 제한을 고려할 때 약 3일 정도가 걸리는 긴 실행 시간의 스크립트가 될 수 있습니다. 주제를 한 번에 모두 가져오되, Discourse에 분당 특정 수의 게시물만 생성하도록 지시하는 등 다른 방법이 있을까요? 이렇게 하면 주제는 즉시 생성되지만 HTML은 비동기적으로 구축됩니다.
추가 테스트를 해본 결과, 애초에 레이트 리밋에 도달하는 것을 방지하는 것이 정말 필요합니다. 임베드된 이미지의 양을 고려할 때, IP가 최소 며칠간은 블랙리스트에 등재되는 것 같습니다(해당 머신에서 베이킹을 수행한 지 4일이 지났는데도 아직 블랙리스트에 등재되어 있습니다). 따라서 나중에 게시물을 다시 베이킹할 수 없습니다.
애초에 베이킹 작업을 더 긴 시간대에 걸쳐 분산하는 방법에 대해 어떤 아이디어가 있으신가요?