Impossible de onebox Amazon.co.uk (mais amazon.com fonctionne)

Bonjour à tous,

Nous exécutons Discourse v2.4.0.beta6+119.

Nous ne parvenons pas à générer des onebox pour les liens vers des produits sur amazon.co.uk.

Par exemple (cela fonctionne ici d’ailleurs) : Amazon.co.uk

Nous pouvons générer des onebox pour les liens sur amazon.com (et d’autres TLD d’Amazon) sans aucun problème.

La console du navigateur affiche une erreur 404 Not Found :

J’ai essayé le test de liste noire d’adresses IP de Vimeo au cas où Amazon aurait également mis en liste noire un certain nombre d’adresses IP de Digital Ocean, mais étrangement, je peux exécuter wget sur le lien sans problème directement depuis le serveur :

xx@xx:~# wget https://www.amazon.co.uk/BG-Electrical-NBS22G-Brushed-Switched/dp/B004TRJYE8
--2019-10-23 14:49:47--  https://www.amazon.co.uk/BG-Electrical-NBS22G-Brushed-Switched/dp/B004TRJYE8
Résolution de www.amazon.co.uk (www.amazon.co.uk)... 99.86.105.85
Connexion à www.amazon.co.uk (www.amazon.co.uk)|99.86.105.85|:443... connecté.
Requête HTTP envoyée, en attente de la réponse... 200 OK
Longueur : non spécifiée [text/html]
Enregistrement sous : âB004TRJYE8â

B004TRJYE8                                            [   <=          ] 711,64K   682Ko/s    en 1,0s

2019-10-23 14:49:48 (682 Ko/s) - âB004TRJYE8â enregistré [728716]

Avez-vous des suggestions sur ce que je pourrais essayer ensuite ? :thinking:

D’après mon expérience, Amazon vous bannira très rapidement si vous les sollicitez trop. C’est aussi automatisé.

Nos membres le constatent de plus en plus souvent récemment, surtout parce que nous sommes affiliés à Amazon UK et Amazon France.

La possibilité de générer une onebox et d’afficher des produits suggérés pertinents pour la discussion nous aide évidemment, car les revenus de notre forum augmentent lorsqu’un article est acheté via un lien d’affiliation.

Mais le fait que la onebox ne s’affiche plus est absurde et n’aide personne. J’ai depuis trouvé ce sujet de @merefield :

Faites attention à l’encadrement unique (oneboxing) d’Amazon.

J’ai été exclu de leur programme pour cette « infraction ».

J’utilise à la place les liens d’images officiels qu’ils fournissent et qui sont générés dans leur barre d’outils. Vous pouvez les intégrer dans du markdown de tableau pour améliorer leur apparence. C’est un peu plus de travail, bien sûr, mais cela dépend surtout de la fréquence à laquelle vous devez le faire.

Comme je l’ai mentionné dans mon sujet initial, un grand avantage de cette méthode est qu’ils servent ces images.

Merci Robert, l’avertissement a été pris en compte et transmis.

Légalement, c’est contraire à leurs conditions d’utilisation, mais je suis d’accord avec Jeff : la fois où j’ai été « puni », c’était probablement dû à un examinateur pointilleux qui avait une mauvaise journée (et qui n’était probablement pas familier avec Discourse).

Au fait, Amazon UK m’a rejeté à deux reprises pour « être un forum » (ce qui n’est mentionné nulle part dans leurs règles !). Les États-Unis n’ont aucun problème. C’est incroyablement frustrant de voir qu’ils semblent appliquer des règles différentes selon la région.

Comme pour le support des vendeurs Amazon, tout dépend de qui reçoit votre requête ou, dans ce cas, votre demande, pour déterminer la réponse que vous obtiendrez !

L’accord d’exploitation du programme Amazon Associates a été récemment mis à jour le 6 septembre 2019 (pour le Royaume-Uni) et le 1er octobre sur .com.

Comme toujours, ils se réservent le droit de modifier toute partie des termes et conditions de l’accord (section 13), et si cela ne vous plaît pas… tant pis, partez (section 6)… c’est un vrai plaisir de travailler avec eux !

https://affiliate-program.amazon.co.uk/help/operating/agreement

Nous ne sommes pas affiliés à Amazon, ni aucun de nos membres qui publient des liens vers des produits Amazon sur notre Discourse.

Nos membres publient parfois des liens vers des produits sur Amazon qui pourraient intéresser notre communauté, mais cela ne représente pas grand-chose ; je dirais que la moyenne est aussi basse qu’un lien Amazon par jour. Nous n’abusons donc pas vraiment du système.

Je ne comprends toujours pas tout à fait pourquoi je peux wget l’URL directement depuis le serveur sans problème, pourtant :thinking:

Y a-t-il autre chose que je pourrais essayer ou tester ? Des caches que je pourrais vider ou des processus que je pourrais redémarrer afin de « rafraîchir » quelque chose ?

L’intrigue s’épaissit / la confusion persiste…

Une idée de ce qui se passe ici ? :thinking:

Le premier URL s’affiche directement dans une boîte, bien qu’avec un message « Vérification Robot », cela révèle-t-il quelque chose à quelqu’un ?

Le deuxième URL ne s’affiche pas du tout dans une boîte.

URL en question : https://www.amazon.co.uk/dp/B0791RGQW3/

:man_shrugging:

Par ailleurs, le message Robot Check n’apparaît pas ici sur meta, seulement une onebox vide :

La vérification Robot signifie que vous êtes bloqué en tant que robot.

Pas top :confused:

Comme je peux wget la page directement depuis le serveur sans problème, ce n’est pas un blocage IP pur comme celui utilisé par Vimeo. Savez-vous comment ils effectuent cette vérification ?

Des astuces pour un contournement ? :thinking:

Vous êtes en quelque sorte identifié comme indésirable. Il est très courant que les serveurs VP soient bloqués pour le scraping. Vous avez besoin d’un service de crawling par proxy.

Je prends en charge l’un d’eux dans mon plugin : Onebox Assistant

Merci pour la suggestion. Un coup d’œil rapide indique que je dois m’abonner à un service payant pour que cela fonctionne. Y a-t-il d’autres solutions de contournement que je pourrais utiliser ?

Je me demande comment Amazon sait que Discourse émet la requête et la bloque en temps réel, alors que la méthode wget sur le même serveur fonctionne toujours parfaitement.

Probablement la chaîne User Agent.

Que présente Discourse comme son User-Agent ?

Est-ce quelque chose que je pourrais falsifier pour faire croire qu’il s’agit d’un navigateur Firefox ordinaire ou autre ? :thinking: