Come dilazionare l'importazione su un periodo più lungo per evitare i rate limit dei servizi esterni

Migrazione
1

Backstory: Imgur images not rendering because server is rate limited

Ho già uno script di importazione personalizzato scritto in ruby. Funziona e aggiunge tutti gli argomenti, tuttavia è troppo veloce. Questo porta il server a recuperare molte immagini da servizi esterni come imgur durante la cottura dei post.

Quale sarebbe il modo migliore per rallentare questo processo? Intendo dire che il modo banale sarebbe semplicemente lasciare che il processo di importazione dorma un po’ tra un post e l’altro. Ma ciò porterebbe a uno script potenzialmente di lunga durata (data la quantità di immagini e il limite di frequenza di imgur, circa 3 giorni). Esiste un altro modo, come importare tutti gli argomenti contemporaneamente ma dicendo a discourse di cuocere solo un numero specifico di post al minuto? In questo modo gli argomenti vengono creati immediatamente ma l’html viene costruito in modo asincrono.

2

Puoi semplicemente rifare i post più tardi. Ogni pochi giorni puoi rifare i post sbagliati.

3

C’è un modo per trovare i post errati, in modo da poterli ricostruire specificamente? So che posso ricostruire tutto tramite rake. Ma questo inizierà sempre con gli stessi post e raggiungerà il limite di frequenza prima di raggiungere quelli errati.

4

Dopo ulteriori test, ho davvero bisogno di evitare di incorrere nel limite di frequenza in primo luogo. Con la quantità di immagini incorporate, sembra che l’IP finisca per essere bloccato per almeno un paio di giorni (sono passati 4 giorni da quando ho eseguito il baking su quella macchina e lo è ancora). Quindi non posso semplicemente rifare i post più tardi.

Hai qualche idea su come distribuire il baking su un periodo di tempo più lungo in primo luogo?