У меня сейчас немного времени, чтобы ответить, но вот несколько замечаний.
Все ли задачи повторной генерации (re-bake) уже прошли через Sidekiq? Показывает ли страница https://yourforum/sidekiq много задач? Если да, то, возможно, просто требуется время для обработки Onebox.
Посмотрите на эту диагностическую процедуру, которую я провёл, попробуйте воспроизвести процесс и отчитайтесь о результатах.
Если YouTube заблокировал вас в середине повторной генерации, вам придётся запустить её заново, так как вы не будете знать, какие сообщения со встроенными ссылками уже обработаны, а какие нет. На самом деле я написал утилиту для переформатирования постов с YouTube и повторной генерации частями.
К сожалению, Oneboxer, похоже, завершает работу без сообщения об ошибке, поэтому трудно понять причину сбоя. Мне пришлось создать форк и модифицировать плагин @merefield, чтобы записывать сообщения об ошибках в лог, и тогда я обнаружил, что получаю ошибки 429. Вы можете использовать мой форк, но это немного костыльное решение, и (я только что заметил) он отстает от версии Роберта на пару коммитов.
Если вы действительно подвергаетесь ограничению частоты запросов (вы видите ошибки 429 от YouTube), то у меня получилось установить Onebox Assistant от @merefield, включить его, но не менять никаких настроек. То есть оставить все настройки пустыми. ПРЕДУПРЕЖДЕНИЕ: ЭТО СТРАННО И НЕ ДОЛЖНО РАБОТАТЬ, НО РАБОТАЕТ.
Наконец, отвечая на ваши вопросы об embed.rocks: я зарегистрировался в сервисе embed.rocks, протестировал его с Onebox Assistant, и всё работало идеально во время частичной повторной генерации. Однако позже я отключил его, так как он работает с тем странным поведением, которое описано в пункте 5.
На форумах, которые существуют уже какое-то время, часто случается, что ранее рабочие ссылки на YouTube устаревают. Видео удаляются из-за нарушения авторских прав или закрытия аккаунтов, и такие ссылки перестают работать. Возможно, вы столкнулись именно с этим?
Из 1,3 млн постов осталось обработать ещё 900 000 (это займёт как минимум неделю), но ещё пару дней назад превью для новых постов формировались идеально.
Теперь, если я создам новый пост со ссылкой на YouTube или пересоберу HTML поста, который уже содержит такую ссылку, я получаю эту ошибку 404:
Другие превью работают нормально (пробовал Vimeo, Twitter…).
edit: перечитал посты здесь, и похоже, что у меня те же проблемы, что и у вас.
Когда вы говорите, что они сняли ваш бан, я так понимаю, что вы не обращались к ним, и бан был снят без каких-либо действий с вашей стороны?
Мне не очень важно, если в старых постах нет встроенных видео, но меня беспокоят новые посты.
Мой форум ещё не открыт, и я хочу предложить своим пользователям хороший опыт.
edit : извините за множество правок, ребята.
Я попробовал странный обходной путь, описанный здесь: "Onebox Assistant", crawl for those previews reliably! - #35
И это сработало. Думаю, я просто дождуся окончания процесса «пересборки всего», и, поскольку, похоже, YouTube автоматически снимает баны по IP, мне остаётся только подождать несколько дней или недель.
Привет,
Мой форум перестал отображать одностраничные превью видео с YouTube.
Неделю назад мы создали тему с множеством музыкальных видео, и, похоже, у нас возникла та же проблема, что и у @marcozambi: при попытке создать одностраничное превью возникает ошибка 404.
Так что мне делать?
В файле /etc/resolv.conf внутри контейнера Docker первым адресом был IP-адрес моего сервера, а вторым — 8.8.8.8 от Google. Я удалил первый адрес, и всё заработало.
Не совсем уверен, в чём была причина, но из контейнера был недоступен только сайт YouTube.
