Amazon.co.uk 원박스 생성 불가 (amazon.com은 정상 동작)

안녕하세요 여러분,

Discourse v2.4.0.beta6+119를 사용 중입니다.

amazon.co.uk의 제품 링크를 onebox로 불러오지 못하고 있습니다.

예를 들어 (여기서는 정상 작동합니다): BG Electrical Double Switched Power Plug Wall Socket, Nexus Metal, Brushed Steel, Grey Inserts, 13A, NBS22G : Amazon.co.uk: Musical Instruments & DJ

amazon.com(및 기타 Amazon TLD) 링크는 문제없이 onebox로 불러올 수 있습니다.

브라우저 콘솔에 404 Not Found 오류가 표시됩니다:

혹시 Amazon도 Digital Ocean IP 주소 일부를 차단했을 수 있어서 vimeo IP 차단 목록 테스트를 해보았지만, 이상하게도 서버에서 직접 wget으로 해당 링크를 가져오는 것은 정상적으로 작동합니다:

xx@xx:~# wget https://www.amazon.co.uk/BG-Electrical-NBS22G-Brushed-Switched/dp/B004TRJYE8
--2019-10-23 14:49:47--  https://www.amazon.co.uk/BG-Electrical-NBS22G-Brushed-Switched/dp/B004TRJYE8
Resolving www.amazon.co.uk (www.amazon.co.uk)... 99.86.105.85
Connecting to www.amazon.co.uk (www.amazon.co.uk)|99.86.105.85|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: âB004TRJYE8â

B004TRJYE8                                            [   <=>          ] 711.64K   682KB/s    in 1.0s

2019-10-23 14:49:48 (682 KB/s) - âB004TRJYE8â saved [728716]

다음에 시도해볼 수 있는 방법이 있을까요? :thinking:

제 경험상, 아마존은 요청을 많이 보내면 금방 계정을 정지시킵니다. 이 과정은 자동화되어 있기도 합니다.

회원분들이 최근 이 문제를 많이 겪고 계십니다. 특히 우리는 Amazon UK와 Amazon France와 제휴되어 있기 때문입니다.

토론과 관련된 추천 상품을 원박스(onebox)로 표시할 수 있다는 점은, 제휴 링크를 통해 상품이 구매될 때 포럼 수익이 증가하므로 우리에게 분명히 도움이 됩니다.

하지만 이제 원박스가 표시되지 않는다는 것은 말이 안 되며 누구에게도 도움이 되지 않습니다. 이후 @merefield님의 이 스레드를 발견했습니다.

아마존 원박싱(Oneboxing)을 사용할 때 주의하세요.

저는 그 '위반’으로 인해 해당 프로그램에서 제명되었습니다.

대신 그들이 제공하는 공식 이미지 링크를 사용하며, 그들의 툴바에서 이미지를 생성합니다. 표 마크다운에 설정하면 외관이 조금 더 좋아집니다. 물론 조금 더 노력이 필요하지만, 얼마나 자주 그렇게 해야 하는지에 따라 달라집니다.

제가 원래 주제에서 말했듯이, 이 방식의 큰 장점 중 하나는 그들이 이 이미지들을 직접 서빙(제공)한다는 점입니다.

로버트, 경고 잘 새겨들었습니다. 해당 내용을 전달해 두었습니다.

법적으로는 그들의 약관에 위배되지만, 제프의 의견에 동의합니다. 제가 "처벌"을 받은 것은 아마도 까다로운 리뷰어가 그날 컨디션이 안 좋았기 때문이었을 겁니다. (그리고 아마도 Discourse에 익숙하지 않았던 것 같고요.)

참고로, Amazon UK는 ‘포럼이기 때문에’ 두 번이나 제 신청을 거부했습니다. (그들의 규칙 어디에도 그런 내용은 언급되지 않았는데요!) 미국에서는 아무 문제가 없었습니다. 지역별로 다른 규칙을 적용하는 것 같아서 정말 답답합니다.

‌

아마존 셀러 지원팀의 경우와 마찬가지로, 응답은 문의나 이 경우 신청서를 누가 담당하느냐에 따라 달라집니다!

아마존 어소시에이트 프로그램 운영 약관이 최근 2019년 9월 6일(영국)과 10월 1일(.com)에 업데이트되었습니다.

항상 그렇듯, 그들은 “약관 및 조건을 수정하거나 변경할 권리를 보유합니다”(13조)라고 명시하고 있으며, 만약 이를 원치 않는다면… 불운하게도, 떠나야 합니다(6조).. 그들은 정말 일하기 즐거운 상대입니다!

https://affiliate-program.amazon.co.uk/help/operating/agreement

우리는 아마존 제휴사가 아니며, 우리의 디스코르스에서 아마존 제품 링크를 게시하는 회원들도 마찬가지입니다.

우리 회원들은 때때로 커뮤니티에 관심이 될 수 있는 아마존 제품 링크를 게시하지만, 그 수는 많지 않습니다. 하루 평균 아마존 링크가 1개 정도라고 보시면 될 것 같습니다. 따라서 우리는 시스템을 악용하고 있다고 볼 수 없습니다.

그래도 여전히 서버에서 URL을 직접 wget으로 가져오는 데는 문제가 없다는 점이 좀 의아합니다 :thinking:

기타 시도하거나 테스트해 볼 수 있는 것이 있을까요? 무언가를 '새로고침’할 수 있는 캐시를 비우거나 재시작할 수 있는 프로세스가 있을까요?

사건이 점점 복잡해지고 있습니다 / 혼란은 계속됩니다…

여기서 무슨 일이 일어나고 있는지 혹시 아시는 분 계신가요? :thinking:

첫 번째 URL은 Robot Check 메시지와 함께 원박싱(onebox)되는데, 이것이 누군가에게 무언가를 드러내나요?

두 번째 URL은 아예 원박싱이 되지 않습니다.

해당 URL: https://www.amazon.co.uk/dp/B0791RGQW3/

:man_shrugging:

참고로, Robot Check 메시지는 메타에서는 표시되지 않고, 빈 원박스만 표시됩니다:

로봇 확인은 봇으로 차단되고 있음을 의미합니다.

좋지 않네요 :confused:

서버 자체에서 wget로 페이지를 가져오는 데 문제가 없으므로, Vimeo가 사용하는 것과 같은 완전한 IP 차단이 아닙니다. 그렇다면 이 체크가 어떻게 수행되는지 알고 계신가요?

우회 방법에 대한 팁이 있을까요? :thinking:

어떤 이유로 인해 원치 않는 대상(undesirable)으로 식별되고 있습니다. VP 서버가 스크래핑에서 차단되는 것은 매우 흔한 일입니다. 프록시 크롤링 서비스가 필요합니다.

저는 제 플러그인에서 이를 지원합니다: onebox assistant

제안해 주셔서 감사합니다. 잠깐 살펴본 결과, 그 기능이 작동하려면 유료 서비스에 가입해야 하는 것 같습니다. 다른 우회 방법은 없을까요?

같은 서버에서 wget 경로는 여전히 정상적으로 작동하는데, Amazon이 Discourse에서 요청을 보내는 것을 어떻게 파악해서 실시간으로 차단하는지 궁금합니다.

아마도 User Agent 문자열 때문일 것입니다.

Discourse는 어떤 User-Agent를 표시하나요?

이걸 위장해서 일반 Firefox 브라우저인 것처럼 보이게 할 수 있을까요? :thinking: