Wie man den Import über einen längeren Zeitraum verteilt, um Ratenbegrenzungen externer Dienste zu vermeiden

Backstory: Imgur images not rendering because server is rate limited

Ich habe bereits ein benutzerdefiniertes Importskript in Ruby geschrieben. Es funktioniert und fügt alle Themen hinzu, ist jedoch zu schnell. Dies führt dazu, dass der Server beim Backen der Beiträge viele Bilder von externen Diensten wie Imgur abruft.

Was wäre der beste Weg, dies zu verlangsamen? Ich meine, der triviale Weg wäre, den Importprozess einfach ein wenig zwischen den Beiträgen schlafen zu lassen. Das würde jedoch zu einem potenziell lang laufenden Skript führen (angesichts der Menge der Bilder und des Imgur-Ratenlimits, ungefähr 3 Tage). Gibt es eine andere Möglichkeit, z. B. alle Themen auf einmal zu importieren, aber Discourse anzuweisen, nur eine bestimmte Anzahl von Beiträgen pro Minute zu backen? Auf diese Weise werden die Themen sofort erstellt, aber das HTML wird asynchron erstellt.

Sie können die Beiträge später einfach neu backen. Alle paar Tage können Sie die schlechten Beiträge neu backen.

Gibt es eine Möglichkeit, die fehlerhaften Beiträge zu finden, damit ich diese gezielt neu erstellen kann? Ich weiß, dass ich alle über rake neu erstellen kann. Aber das beginnt dann immer mit denselben Beiträgen und stößt an die Ratenbegrenzung, bevor die fehlerhaften erreicht werden.

Nach weiteren Tests muss ich wirklich verhindern, dass ich überhaupt in die Ratenbegrenzung gerate. Bei der Menge der eingebetteten Bilder scheint die IP-Adresse für mindestens ein paar Tage gesperrt zu werden (es ist 4 Tage her, seit ich auf dieser Maschine gebacken habe, und sie ist immer noch gesperrt). Ich kann die Beiträge also nicht einfach später erneut backen.

Haben Sie eine Idee, wie man das Backen von vornherein über einen längeren Zeitraum verteilen kann?