Amazon.co.ukのoneboxが機能しない(amazon.comは動作する)

こんにちは、皆さん。

Discourse v2.4.0.beta6+119 を実行しています。

amazon.co.uk の製品リンクを onebox 化できません。

例(こちらは問題なく動作します):Amazon.co.uk

amazon.com(および他の Amazon の TLD)のリンクは問題なく onebox 化できます。

ブラウザのコンソールには 404 Not Found エラーが表示されます:

Amazon も Digital Ocean の IP アドレスをブラックリストに登録している可能性を考慮し、Vimeo の IP ブロックリストテストを試しましたが、不思議なことにサーバーから直接 wget するとリンクは正常に取得できます:

xx@xx:~# wget https://www.amazon.co.uk/BG-Electrical-NBS22G-Brushed-Switched/dp/B004TRJYE8
--2019-10-23 14:49:47--  https://www.amazon.co.uk/BG-Electrical-NBS22G-Brushed-Switched/dp/B004TRJYE8
Resolving www.amazon.co.uk (www.amazon.co.uk)... 99.86.105.85
Connecting to www.amazon.co.uk (www.amazon.co.uk)|99.86.105.85|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: âB004TRJYE8â

B004TRJYE8                                            [   <=>          ] 711.64K   682KB/s    in 1.0s

2019-10-23 14:49:48 (682 KB/s) - âB004TRJYE8â saved [728716]

次に試すべきことがあれば、ご教示いただけますでしょうか? :thinking:

私の経験では、Amazon に頻繁にアクセスすると、すぐにアカウントが停止されます。それも自動化されたものです。

最近、当社のメンバーはこれを頻繁に見かけています。特に、英国のアマゾンとフランスのアマゾンと提携しているためです。

議論に関連する推奨製品をワンボックス表示できることは、提携リンクを使用して商品が購入されると当社のフォーラムの資金が増加するため、明らかに当社の利益になります。

しかし、現在ワンボックスが表示されないのは異常であり、誰の役にも立っていません。その後、@merefield によるこのスレッドを見つけました。

Amazon のワンボックス化には注意してください。

私はその「違反」を理由に、プログラムから排除されました。

代わりに、彼らが提供する公式の画像リンクやツールバーで生成されるものを使用しています。これらをテーブルの Markdown 内に設定すれば、見た目を少し良くすることも可能です。もちろん、少し手間がかかりますが、その頻度次第では十分価値があります。

前述の通り、大きな利点の一つは、これらが彼らによって配信されている点です。

ロバートさん、ご指摘ありがとうございます。内容を理解し、共有いたしました。

法的には利用規約に違反していますが、ジェフの意見には同意します。私が「処罰」されたのは、おそらく些細なことにこだわって機嫌の悪い審査員が、Discourse に詳しくなかったせいでしょう。

ところで、Amazon UK は「フォーラムである」という理由で私を二度も却下しました(規則にはどこにもその記載はありません!)。米国では問題ありません。地域によって適用されるルールが異なるように見えるのは、本当に腹が立ちます。

Amazonのセラーサポートと同様に、誰があなたの問い合わせ、あるいはこの場合は申請を受け取るかによって、得られる回答は異なります!

Amazonアソシエイト・プログラムの運営規約は、2019年9月6日(英国)および10月1日(.com)に最近更新されました。

いつものように、「当社は、規約の条件のいずれを変更する権利を留保します」(第13条)と明記されており、もしあなたが気に入らないなら…残念ですが、去ってください(第6条)…彼らと一緒に働くのは本当に楽しいですよ!

https://affiliate-program.amazon.co.uk/help/operating/agreement

私たちはアマゾン・アソシエイトではなく、Discourse にてアマゾンの製品へのリンクを投稿するメンバーもいません。

メンバーが時折、コミュニティに関心のあるアマゾンの製品へのリンクを投稿することはありますが、その数は多くありません。1 日あたり平均 1 件のアマゾンリンク程度ではないでしょうか。したがって、システムを悪用しているわけではありません。

それでも、なぜサーバーから直接 URL を wget で取得できるのか、まだよくわかりません :thinking:

他に試せることやテストできることはありますか?キャッシュをフラッシュしたり、プロセスを再起動して何かを「更新」できるものはありますか?

話は深まる/混乱は続く…

ここで何が起きているか、何かご存知ですか?:thinking:

最初の URL は「Robot Check」メッセージ付きでワンボックス表示されますが、これにより何か手がかりが得られるでしょうか?

2 番目の URL は全くワンボックス表示されません。

対象の URL: https://www.amazon.co.uk/dp/B0791RGQW3/

:man_shrugging:

ちなみに、Robot Check メッセージはメタでは表示されず、空白の onebox が出るだけです:

Robot Check は、あなたがボットとしてブロックされていることを意味します。

良くないですね :confused:

サーバー自体からは wget でページに正常にアクセスできるので、Vimeo のような明らかな IP ブロックではないようです。彼らがどのようにこのチェックを行っているのか、ご存知でしょうか?

回避策に関するヒントはありますか? :thinking:

何らかの理由で、あなたが悪意のある存在として識別されています。VP サーバーがスクレイピングからブロックされることは非常に一般的です。プロキシクロールサービスが必要です。

私のプラグインでは、これをサポートしています:onebox assistant

ご提案ありがとうございます。一見して、その機能を利用するには有料サービスへの加入が必要そうです。他に回避策はありますか?

Amazon が Discourse からのリクエストを特定し、リアルタイムでブロックしている仕組みが気になります。同じサーバー上で wget を使った方法は問題なく動作しているのに、です。

おそらくUser-Agent文字列でしょう。

Discourse はどのような User-Agent を提示していますか?

これを操作して、通常の Firefox ブラウザのように見せかけることは可能でしょうか?:thinking: