Oneboxing bloqueado por verificação de robô

Estou vendo isso em alguns sites e começou agora. Quando o Discourse tenta buscar as informações do site, ele é bloqueado. Isso funcionava em versões anteriores.

Incluí um link como exemplo:

Bloomberg - Você é um robô?

Parece ser uma limitação de taxa imposta pela Bloomberg. Provavelmente, não há muito o que fazer além de inferir quais são os limites e tentar mantê-se abaixo deles.

O que exatamente você está tentando oneboxar aqui? A URL é bastante estranha.

Artigo de notícias da Bloomberg. Se você clicar no link, esse é o artigo.

Tente "Onebox Assistant", crawl for those previews reliably!

Funciona com links do Bloomberg, se não me engano.

Qual é o link original? A que você colou acima não é um artigo, é um destino para o qual você foi redirecionado, suspeito.

https://www.bloomberg.com/opinion/articles/2020-01-29/peer-review-is-science-s-wheel-of-misfortune

Este é o link.

Entendi, aqui está o link

http://www.bloomberg.com/opinion/articles/2020-01-29/peer-review-is-science-s-wheel-of-misfortune

http://www.bloomberg.com/opinion/articles/2020-01-29/peer-review-is-science-s-wheel-of-misfortune

Parece que eles têm uma proteção contra raspagem de dados bem agressiva, já que tudo o que estamos fazendo é verificar os cabeçalhos de metadados..

Além disso, mais um exemplo de onde não deveríamos fazer oneboxing de forma alguma, porque não temos nem imagem nem descrição cc @techAPJ @sam .. realmente precisamos fazer o backport dessa alteração para a versão estável assim que for implementada na próxima semana.

Acabei de testar o link que termina na extensão html (sem todos os caracteres finais) apenas usando o Firefox, não o Discourse Onebox. A mensagem de erro estendida está abaixo da linha. O primeiro link (que tem a mensagem de erro abaixo) está entre <> aqui. O segundo link está sem estar entre <> e mostra o título da URL conforme exibido.
https://www.bloomberg.com/tosv2.html
Bloomberg - Are you a robot?


Detectamos atividade incomum na sua rede de computadores

Para continuar, clique na caixa abaixo para nos informar que você não é um robô.

Por que isso aconteceu?

Certifique-se de que seu navegador suporte JavaScript e cookies e de que você não esteja bloqueando o carregamento deles. Para mais informações, você pode revisar nossos Termos de Serviço e Política de Cookies.

Precisa de ajuda?

Para consultas relacionadas a esta mensagem, entre em contato com nossa equipe de suporte e forneça o ID de referência abaixo.

ID de referência do bloco: 13215fd0-4285-11eb-8faf-b7e9262e99b2