이는 크롤링을 시도하는 사이트의 종류에 따라 모든 디스커스(Discourse) 사이트가 한 번쯤은 겪게 되는 반복적인 문제입니다.
Imgur의 도움말 페이지에서:
https://help.imgur.com/hc/en-us/articles/201569776-I-can-t-see-the-images
아래 내용을 인용합니다: “ 포럼에서의 핫링크(hotlinking)는 허용하지만, 블로그 게시물, 아바타, 사이트 요소, 광고 등 웹사이트 콘텐츠로 이 이미지들을 사용할 수는 없습니다. 자세한 내용은 이용약관을 참고하세요. 사이트가 잘못 차단되었다고 생각되면 도움을 요청하기 위해 저희에게 연락해 주세요.”
디스커스 사이트가 올바르게 분류되지 않고 있을 가능성이 있습니다.
따라서 다음과 같은 옵션이 있습니다:
-
차단 원인을 파악하기 위해 Imgur에 직접 연락해 보세요. 특정 IP 차단을 해제할 수 있을 수도 있습니다. 또한 디스커스 사용자 에이전트(User Agent)가 포럼 시스템이므로 화이트리스트에 추가되도록 요청해 볼 수 있습니다. 현재로서는 이를 포럼으로 인식하지 못하고 있을 수 있습니다. 이렇게 하면 커뮤니티에 도움이 될 것입니다.
-
다른 옵션으로는 IP 주소를 변경하는 것이 있습니다. 하지만 사이트가 이미지 링크를 많이 사용하는 경우, 일정 수 이상의 링크가 감지되면 해당 주소가 다시 차단되어 결국 같은 상황에 직면하게 될 수 있습니다.
-
마지막 옵션은 마음을 굳게 먹고 프록시 크롤링 서비스를 사용하는 것입니다. 이를 통해 사이트의 수익화를 더욱 확대하여 사용자들에게 비용을 지불하도록 유도할 수 있습니다.