ロボットチェックによりワンボクシングがブロックされました

サイト上でこれが表示されるようになりました。Discourseがサイトから情報を取得しようとした際にブロックされています。以前は以前のバージョンで問題なく動作していました。
参考としてリンクを記載します。

Bloomberg - あなたはロボットですか?

ブルームバーグによるレート制限のようです。制限値を推測してそれ以下に抑えるようにする以外、できることはあまりないでしょう。

ここで一体何をワンボックス化しようとしているのですか?URL がかなり奇妙です。

ブルームバーグのニュース記事です。リンクをクリックすると、その記事が表示されます。

"Onebox Assistant", crawl for those previews reliably! をお試しください。

Bloomberg のリンクでも動作するはずです(記憶違いでなければ)。

元のリンクは何ですか?上記に貼り付けたものは記事ではなく、おそらくリダイレクトされた先です。

https://www.bloomberg.com/opinion/articles/2020-01-29/peer-review-is-science-s-wheel-of-misfortune

これがリンクです。

わかりました、こちらがリンクです

http://www.bloomberg.com/opinion/articles/2020-01-29/peer-review-is-science-s-wheel-of-misfortune

メタデータヘッダーのチェックだけを行っているにもかかわらず、かなり積極的なスクレイピング対策が講じられているようです。

また、画像も説明もないため、そもそもワンボックス表示すべきではないという別の例です cc @techAPJ @sam .. 来週実装されるその変更を、安定版にバックポートする必要があります。

html 拡張子で終わるリンク(末尾の余分な文字を除く)を、Discourse Onebox ではなく、単に Firefox で試してみました。エラーの詳細なメッセージは以下の通りです。1 つ目のリンク(下にエラーメッセージがあるもの)はここでは <> で囲まれています。2 つ目のリンクは <> で囲まれておらず、URL のタイトルがそのまま表示されます。
https://www.bloomberg.com/tosv2.html
Bloomberg - Are you a robot?


当社のネットワークから通常と異なるアクティビティを検出しました

続行するには、下のボックスをクリックして、あなたがロボットではないことをお知らせください。

なぜこのようなことが起こったのでしょうか?

お使いのブラウザが JavaScript とクッキーをサポートしていることを確認し、それらの読み込みをブロックしていないかご確認ください。詳細については、当社の利用規約およびクッキーポリシーをご覧ください。

ヘルプが必要ですか?

このメッセージに関するお問い合わせは、サポートチームまでご連絡ください。その際、以下の参照 ID をお知らせください。

ブロック参照 ID: 13215fd0-4285-11eb-8faf-b7e9262e99b2