No tenho muito tempo para responder agora, mas algumas observações.
Todos os trabalhos de re-bake já foram processados pelo Sidekiq? A página https://yourforum/sidekiq mostra muitos trabalhos? Se sim, pode ser apenas que o Onebox está levando tempo.
Dê uma olhada neste diagnóstico que realizei e tente reproduzir o processo, depois me informe o resultado.
Se o YouTube bloqueou você no meio de um re-bake, você terá que refazer o re-bake, pois não saberá quais posts com links incorporados foram processados ou não. Na verdade, escrevi um utilitário para reformatar posts do YouTube e refazer o re-bake em lotes.
Infelizmente, o Oneboxer parece falhar sem exibir mensagens, o que torna difícil saber a causa do problema. Tive que fazer um fork e modificar o plugin de @merefield para registrar as mensagens de erro e descobri que estava recebendo erros 429. Você pode usar meu fork, mas é um pouco uma solução paliativa e (acabei de perceber) está alguns commits atrás da versão de Roberts.
Se você está sendo limitado pela taxa de requisições (você vê erros 429 do YouTube), então tive sucesso instalando o Onebox Assistant de @merefield e ativando-o sem alterar nenhuma configuração. Ou seja, deixando todas as configurações em branco. AVISO: ISSO É ESTRANHO E NÃO DEVERIA FUNCIONAR, MAS FUNCIONA.
Finalmente, para responder às suas perguntas sobre o embed.rocks, criei uma conta no embed.rocks, testei com o Onebox Assistant e funcionou perfeitamente durante um re-bake parcial. No entanto, desde então, desconfigurei-o porque ele funciona com o comportamento estranho descrito no item 5.
Em fóruns que existem há algum tempo, é comum que links do YouTube que antes eram válidos se tornem obsoletos. Vídeos são removidos devido a direitos autorais ou contas serem encerradas, fazendo com que esses links deixem de funcionar. É possível que você esteja enfrentando isso?
Ainda restam 900.000 dos 1,3 milhão de posts para serem reprocessados (isso levará pelo menos uma semana), mas o oneboxing estava funcionando perfeitamente em posts novos há um ou dois dias.
Agora, se eu criar um novo post com um link do YouTube ou se eu reconstruir o HTML de um post que já contém um link do YouTube, é esse erro 404 que recebo:
Outros oneboxes funcionam bem (testei Vimeo, Twitter…).
edit: reli os posts aqui e parece que estou com o mesmo problema que vocês.
Quando você diz que eles removeram seu banimento na sua mensagem, entendo que você não entrou em contato com eles e o banimento foi levantado sem que nada fosse feito?
Eu não me importo muito se meus posts antigos não tiverem vídeos incorporados, mas me importo com os novos posts.
Meu fórum ainda não está aberto, e gostaria de oferecer uma boa experiência aos meus usuários.
edit : desculpe pelas múltiplas edições, pessoal.
Tentei a solução alternativa estranha descrita aqui: "Onebox Assistant", crawl for those previews reliably! - #35
E ela funciona. Acho que vou deixar o “rebake all” terminar e, como parece que o YouTube levanta automaticamente os banimentos por IP, vou apenas esperar alguns dias/semanas.
Olá,
Meu fórum para de fazer oneboxing de vídeos do YouTube.
Começamos um tópico com muitos vídeos de música há uma semana e parece que temos o mesmo problema do @marcozambi: o oneboxing retorna erro 404.
Então, o que devo fazer?
Em /etc/resolv.conf no contêiner Docker, eu tinha o IP do meu servidor como primeiro endereço e o 8.8.8.8 do Google como segundo. Removi o primeiro endereço e funcionou.
Não tenho certeza total do que estava acontecendo. O YouTube era o único site inacessível a partir do contêiner.
