Как распределить импорт на более длительный период, чтобы избежать превышения лимитов запросов внешних сервисов

Поддержка Миграция
1

Предыстория: Imgur images not rendering because server is rate limited

У меня уже есть собственный скрипт импорта, написанный на Ruby. Он работает и добавляет все темы, однако работает слишком быстро. Из-за этого сервер при «выпекании» постов вынужден загружать огромное количество изображений из внешних сервисов, таких как Imgur.

Какой будет лучший способ замедлить этот процесс? Простейший вариант — просто добавлять паузу между импортом постов. Но это приведёт к тому, что скрипт будет выполняться очень долго (учитывая количество изображений и лимиты скорости Imgur, это займёт примерно 3 дня). Есть ли другой способ, например, импортировать все темы сразу, но указать Discourse обрабатывать (выпекать) только определённое количество постов в минуту? В таком случае темы будут созданы немедленно, а HTML будет формироваться асинхронно.

2

Вы можете просто перепечь посты позже. Каждые несколько дней вы можете перепекать плохие посты.

3

Есть ли способ найти проблемные посты, чтобы я мог пересобрать именно их? Я знаю, что можно пересобрать всё через rake. Но тогда процесс всегда начнётся с одних и тех же постов и упрётся в лимит запросов, не дойдя до проблемных.

4

При более тщательном тестировании я понял, что мне нужно в первую очередь избежать попадания в лимит запросов. Учитывая количество встроенных изображений, похоже, что IP-адрес попадает в чёрный список как минимум на несколько дней (прошло уже 4 дня с момента выпечки на этой машине, и он всё ещё заблокирован). Поэтому я не могу просто пересобрать посты позже.

Есть ли идеи, как распределить процесс выпечки на более длительный период с самого начала?