Oneboxing заблокировано проверкой робота

Я вижу это на сайтах, и это только началось. Когда Discourse пытается получить информацию с сайта, доступ блокируется. Раньше это работало в предыдущих версиях.

Я добавил ссылку в качестве примера:

Bloomberg - Вы робот?

Похоже, что это ограничение скорости со стороны Bloomberg. Скорее всего, вам не останется ничего другого, кроме как определить эти лимиты и постараться не превышать их.

Что именно вы пытаетесь выдать в одном блоке? URL-адрес довольно странный.

Статья Bloomberg. Если вы нажмёте на ссылку, откроется статья.

Попробуйте "Onebox Assistant", crawl for those previews reliably!

Насколько я помню, это работает со ссылками Bloomberg.

Какова исходная ссылка? Та, которую вы привели выше, — это не статья, а страница, на которую вас, вероятно, перенаправили.

https://www.bloomberg.com/opinion/articles/2020-01-29/peer-review-is-science-s-wheel-of-misfortune

Это ссылка.

Понял, вот ссылка

http://www.bloomberg.com/opinion/articles/2020-01-29/peer-review-is-science-s-wheel-of-misfortune

http://www.bloomberg.com/opinion/articles/2020-01-29/peer-review-is-science-s-wheel-of-misfortune

Похоже, у них настроена довольно агрессивная защита от парсинга, учитывая, что мы всего лишь проверяем заголовки метаданных..

Кроме того, это ещё один пример того, где вообще не следует использовать однобоксинг, поскольку у нас нет ни изображения, ни описания cc @techAPJ @sam .. нам действительно нужно будет портировать это изменение в стабильную ветку, как только оно будет внедрено на следующей неделе.

Я только что проверил ссылку, ведущую к файлу с расширением html (без всех последующих символов), используя Firefox, не Onebox Discourse. Расширенное сообщение об ошибке приведено ниже линии. Первая ссылка (которая содержит сообщение об ошибке ниже) здесь заключена в <>. Вторая ссылка без заключительных символов <> и отображает заголовок URL, как показано.
https://www.bloomberg.com/tosv2.html
Bloomberg - Are you a robot?


Мы обнаружили необычную активность в вашей компьютерной сети

Чтобы продолжить, пожалуйста, нажмите на поле ниже, чтобы сообщить нам, что вы не робот.

Почему это произошло?

Пожалуйста, убедитесь, что ваш браузер поддерживает JavaScript и файлы cookie, и что вы не блокируете их загрузку. Для получения дополнительной информации вы можете ознакомиться с нашими Условиями использования и Политикой использования файлов cookie.

Нужна помощь?

По вопросам, связанным с этим сообщением, пожалуйста, свяжитесь с нашей службой поддержки и предоставьте приведенный ниже идентификатор ссылки.

Идентификатор ссылки блока: 13215fd0-4285-11eb-8faf-b7e9262e99b2