Oneboxing bloqueado por verificación de robot

Estoy viendo esto en algunos sitios y acaba de empezar. Cuando Discourse intenta obtener la información del sitio, se bloquea. Esto solía funcionar en versiones anteriores.

He incluido un enlace como ejemplo:

Bloomberg - ¿Eres un robot?

Parece que se trata de una limitación de velocidad por parte de Bloomberg. Probablemente no haya mucho que puedas hacer más que inferir cuáles son los límites y esforzarte por mantenerte por debajo de ellos.

¿Qué estás intentando exactamente onebox aquí? La URL es bastante extraña.

Artículo de noticias de Bloomberg. Si haces clic en el enlace, ese es el artículo.

Prueba "Onebox Assistant", crawl for those previews reliably!

Funciona con enlaces de Bloomberg, si no recuerdo mal.

¿Cuál es el enlace original? El que has pegado arriba no es un artículo; creo que es un destino al que has sido redirigido.

https://www.bloomberg.com/opinion/articles/2020-01-29/peer-review-is-science-s-wheel-of-misfortune

Este es el enlace.

Entiendo, aquí está el enlace

http://www.bloomberg.com/opinion/articles/2020-01-29/peer-review-is-science-s-wheel-of-misfortune

http://www.bloomberg.com/opinion/articles/2020-01-29/peer-review-is-science-s-wheel-of-misfortune

Parece que tienen medidas antiscraping bastante agresivas implementadas, ya que todo lo que estamos haciendo es verificar las cabeceras de metadatos..

Además, otro ejemplo más de donde no deberíamos generar una sola caja en absoluto porque no tenemos ni imagen ni descripción cc @techAPJ @sam .. realmente tendremos que hacer backport de ese cambio a la versión estable una vez que se implemente la próxima semana.

Acabo de probar el enlace que termina en la extensión .html (sin los caracteres finales) usando solo Firefox, no Discourse Onebox. El mensaje de error extendido aparece debajo de la línea. El primer enlace (que tiene el mensaje de error debajo) está encerrado en <> aquí. El segundo enlace no está encerrado en <> y muestra el título de la URL como se ve.
https://www.bloomberg.com/tosv2.html
Bloomberg - Are you a robot?


Hemos detectado actividad inusual en tu red de computadoras

Para continuar, haz clic en el cuadro de abajo para indicarnos que no eres un robot.

¿Por qué ocurrió esto?

Asegúrate de que tu navegador admita JavaScript y cookies y de que no los estés bloqueando. Para obtener más información, puedes revisar nuestros Términos de servicio y Política de cookies.

¿Necesitas ayuda?

Para consultas relacionadas con este mensaje, por favor contacta a nuestro equipo de soporte y proporciona el ID de referencia a continuación.

ID de referencia del bloqueo: 13215fd0-4285-11eb-8faf-b7e9262e99b2