# 왜 중국 웹사이트에서 검색이 많이 발생하나요?

**URL:** <https://meta.discourse.org/t/why-im-getting-lots-of-searches-from-chinese-websites/156524>\
**Category:** Product Support\
**Created:** [7월 1, 2020, 10:04오후 UTC](https://meta.discourse.org/t/why-im-getting-lots-of-searches-from-chinese-websites/156524 "2020-07-01T22:04:29Z")\
**Posts on this page:** 1\
**Showing post:** 6

<div class="post-metadata">

**Author:** ![neounix](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/neounix/32/215617_2.png) [@neounix](https://meta.discourse.org/u/neounix)\
**Post date:** [7월 3, 2020, 5:42오전 UTC](https://meta.discourse.org/t/why-im-getting-lots-of-searches-from-chinese-websites/156524/6 "2020-07-03T05:42:07Z")

</div>

> [@Yassine\_Yousfi](#):
>
> 흥미롭네요. 서버 자체를 건드리지 않고 작동할 수 있는 해결책이 있는지 아시는 분 계신가요…

저희는 수년 동안 대규모로 이 문제를 인지하고, 대응하며 완화해 왔습니다. 그리고 지난 몇 년간 무법(rogue) 봇을 차단하는 가장 신뢰할 수 있는 방법은 사용자 에이전트(UA) 문자열을 기반으로 차단하는 것(때로는 GeoIP 정보와 조합하여)임을 발견했습니다.

수년간 수억 건 이상의 중국발 봇 접근을 차단해 왔으며, IP 주소를 기반으로 차단하는 방식이 UA 문자열을 기반으로 클라이언트를 차단하는 방식만큼 장기적으로 잘 작동하는 경우는 거의 없었습니다.

예시로, 저희 사이트 중 하나에서 사용하는 코드 조각을 하나 소개합니다:

```plaintext
$user_agents = explode('|',$string_of_bad_user_agents,-1);
$hide_content_useragent = $_SERVER['HTTP_USER_AGENT'];
$IS_A_BAD_BOT = FALSE;

foreach($user_agents as $hcag) {
    trim($hcag);
    if (preg_match("/$hcag/i", "$hide_content_useragent")) {
        $IS_A_BAD_BOT = TRUE;
        break;
    }
}

```

대부분의(전부는 아니지만) 무법 봇은 비교적 쉽게 식별하고 차단할 수 있는 UA 문자열을 사용합니다(미래에는 상황이 어떻게 변할지 모르겠지만, 현재 시점에서는 그렇습니다). 따라서 저희는 수년 전부터 IP 주소를 기반으로 무법 봇을 차단하려는 방식을 포기했습니다. IP 기반 차단을 포기한 이유는 중국, 러시아, 북한 등 많은 국가들이 현재 다른 국가의 서버에서 봇 농장을 운영하기 때문입니다. IP 주소는 실제 출처나 의도를 나타내는 좋은 지표가 아닙니다. 또한, 대규모 IP 주소 블록을 차단하면 합법적인 사용자가 접근을 거부당하는 좋은 주소도 함께 차단될 수 있습니다.

예를 들어, 중국은 브라질 및 미국에 지리적으로 더 가까운 다른 국가에서 거대한 봇 서버 농장을 운영하여 출처를 위장하고 데이터를 더 빠르게 수집(인터넷 도달 거리 단축)합니다.

때로는 WHOIS 데이터가 중국, 북한 또는 러시아(예시)의 실제 물리적 주소와 일치하지만, 그렇지 않은 경우도 있으며, 현지 국가의 물리적 주소를 사용하기도 합니다. 지난 몇 년간 브라질 기업에 등록되어 있는 수많은 무법 중국 봇을 목격했으며, UA 문자열이 중국의 무법 봇과 일치하는 것을 확인(및 검증)할 수 있었습니다. 또한, 해당 UA 문자열로 구글 검색을 수행하면 다른 사용자들도 많은 동일한 UA 문자열을 중국발로 식별하고 있음을 볼 수 있습니다(예를 들어).

요약하자면, 많은 사람들이 무법 봇 활동을 차단하기 위해 즉시 IP 주소 차단을 시도하지만, 가장 정교한 봇 농장들은 봇을 다른 국가에서 운영하는 데 매우 능숙합니다. 대부분의 국가에서 VPS를 설정하는 것은 쉽고, 물론 봇이 대상 국가에 가까울수록 봇이 스크래핑할 수 있는 데이터가 더 많습니다. VPS는 몇 분 만에 생성되고 삭제될 수 있으며, 봇 소프트웨어는 전 세계 거의 모든 VPS 데이터 센터에 매우 빠르게 배포될 수 있습니다.

지난 몇 년간 UA 문자열 기반 차단은 더 신뢰할 수 있는 방법으로 입증되어 왔습니다(때로는 GeoIP 정보와 조합하고, 때로는 그렇지 않습니다). 하지만 물론 스팸 발송자, 봇 운영자 및 그들의 대리인들도 수년간 IP 주소를 위장해 왔듯이 이제 UA 문자열도 위장하기 시작하고 있습니다.

도움이 되길 바랍니다.

감사합니다 & 행복한 봇 사냥을!

---

_[View the full topic](https://meta.discourse.org/t/why-im-getting-lots-of-searches-from-chinese-websites/156524)._