다른 스레드에서 @simon 님이 크롤러를 차단/차단하는 설정이 있다고 언급한 것을 들었습니다. 그런데 이 설정을 찾을 수 없네요. 어떻게 해야 하는지, 이 설정이 어디에 있는지, 그리고 어떻게 작동하는지 아는 분이 계신가요?
7월 14일에 제 사이트에서 크롤러가 48개라는 비정상적인 급증을 기록했습니다. 이런 녀석들이랑은 안 맞는데, 대체 뭘 하는 건가요?
사이트 설정에서 "crawler"를 검색하세요. 사용자 에이전트별로 차단하거나 속도를 늦출 수 있습니다.
적어도 일부는 검색 엔진에 웹사이트가 표시되도록 인덱싱을 수행합니다. 아마도 그 부분은 원하시는 부분일 것입니다.
드디어 찾았네요. 기본적으로 차단된 크롤러 이름이 5개나 있는 것 같습니다. 아마도 알려진 문제 스파이더들일 거예요.
좋은 크롤러를 위한 허용 목록(allow-list)을 사용할 수 있는 옵션이 있는 것 같은데, 이걸 사용하면 다른 모든 전기적 벌레 같은 존재들은 자동으로 차단됩니다. 어떤 것들이 좋은 크롤러인지 모르겠네요.
웹 크롤러 사용자 에이전트 보고서를 찾아봤는데, 상위 항목들은 "YandexBox/3.0"과 "CensysInspect/1.1"입니다.
고객들이 필요로 하므로 일부 검색 엔진에 노출되는 것이 좋겠습니다.
마케팅 회사들로부터 해당 서비스와 웹사이트 구축을 위한 구독 서비스 관련 전화가 많이 오고 있습니다. 유용할 수도 있지만, 이런 전화가 계속 오는 것은 좀 귀찮네요.
사용자 에이전트는 매우 쉽게 위장할 수 있다는 점을 주목할 가치가 있습니다. Google이라면 대부분 그렇게 표시할 가능성이 높습니다. 하지만 Google이라고 표시된다고 해서 그것이 사실이라는 의미는 아닙니다.
(robots.txt와 동일한 상황입니다. 이러한 메커니즘은 신뢰를 전제로 합니다. 신뢰할 수 없는 주체는 다른 규칙을 따를 수 있습니다.)
비버(Weasel)보다 더 악랄한 은밀한 사칭자:
"# Yandex 로봇인지 확인하는 방법
일부 로봇은 관련 User Agent를 표시하여 Yandex 로봇인 것처럼 위장할 수 있습니다. 역방향 DNS 조회를 사용하여 로봇의 진위를 확인할 수 있습니다.
다음 단계를 따르세요:
-
서버 로그를 사용하여 해당 user agent의 IP 주소를 확인합니다.
-
IP 주소의 역방향 DNS 조회를 사용하여 호스트 도메인 이름을 확인합니다.
-
해당 호스트가 Yandex에 속하는지 확인합니다. 모든 Yandex 로봇 이름은 yandex.ru, yandex.net 또는 yandex.com으로 끝납니다. 호스트 이름의 끝이 다르다면 해당 로봇은 Yandex에 속하지 않습니다.
-
이름이 올바른지 확인합니다. 호스트 이름에 해당하는 IP 주소를 가져오기 위해正向 DNS 조회를 사용합니다. 이 IP 주소는 역방향 DNS 조회에 사용된 IP 주소와 일치해야 합니다. IP 주소가 일치하지 않으면 호스트 이름이 가짜임을 의미합니다."
여기 참고할 수 있는 가이드도 있습니다:
이러한 웹 크롤러가 음성 검색 시스템용으로도 사이트를 인덱싱하는지 혹시 아시나요?
매일 몇 통의 자동 전화가 제 회사가 주요 AI 음성 검색 엔진에 등록되어 있지 않다는 내용으로 걸려 오는데, 이는 해당 작업을 수행하는 제3자 회사들인 것 같고, 그들의 활동이 정당한지 확신이 서지 않습니다.
구체적으로 말하자면, 검색에 회사를 "등록"하거나 검색 결과 1페이지에 회사를 노출되도록 돕는 대가로 구독료를 청구하는 서비스입니다.
잘 모르겠습니다. 그렇게 보기는 어렵습니다.
이 문제를 실제로 해결해 줄 수 있다고 생각하는 몇몇 사람들을 만난 적이 있습니다. 그중에는 합법적인 방법을 사용하는 사람들도 있었죠. 제 생각에 그들은 예외적인 경우입니다.
저도 음성 검색에 대해 잘 모르고, 우리 회사가 그런 검색에 의해 인덱싱되기를 원하지도 않습니다.
특히 요즘 같은 시기에 이 점을 기억하는 것이 중요합니다. 사기꾼들은 점점 더 교묘해지고 있습니다.
제가 자주 받는 전화에는 "구글 리스팅이 검토를 위해 플래그가 지정되었습니다"라고 말하는데, 마치 구글에서 전화한 것처럼 보입니다. 하지만 구글은 절대 전화를 하지 않습니다. 일부 기업은 스스로를 "구글 파트너사"라고 부르기도 하는데, 그것이 실제로 존재하는 개념인지, 그리고 그 의미가 무엇인지 잘 모르겠습니다.
한 직원에게 들은 바로는, 음성 검색 플랫폼에 등록을 대행하는 회사가 약 40개, 혹은 최소 40개나 된다고 합니다. 그래서 전화가 그렇게 많이 오는 겁니다.