참고
자신의 사이트 페이지뷰를 꾸준히 모니터링하는 분들을 위해 공유드립니다. 2022년 7월 2일에 MegaIndex.ru라는 봇에서 약 4,000회의 페이지뷰가 발생했습니다. 확실히 눈에 띄는 수치였습니다.
정보 주셔서 감사합니다.
저는 질문을 드린 것이 아니라, 다른 분들에게 주의를 기울이도록 알리고 싶었습니다. 시간 분산 없이 한꺼번에 요청을 보내는 새로운 크롤러인 것 같습니다. 아마도 이 사이트가 처음 발견되어 모든 페이지를 한꺼번에 크롤링한 것일 수 있지만, 이런 식으로 하루에 대량의 요청이 계속된다면 더 자세히 조사해 보겠습니다.
4개의 좋아요
알려줘서 고마워. 이렇게 엉망으로 작성된 봇/웹 인덱서/웹 스파이더는 정말 서버를 무너뜨릴 수 있어!
13개의 좋아요
저도 그걸 알아챘습니다. 제 인스턴스에서 가장 많은 페이지뷰를 기록하는 건 바로 그 봇이고, 그 뒤를 이어 Seekport(하루 35K 페이지뷰)와 mj12bot이 있습니다. 이 봇들 때문에 가끔 DOS(서비스 거부) 현상이 발생하고 있습니다. Cloudflare의 안티봇 기능을 사용하면 모니터링을 거의 하지 않아도 대부분의 봇을 제한할 수 있었습니다.
5개의 좋아요
모든 크롤러의 속도를 늦출 수 있을까요? – 즉, robots.txt에 crawl-delay를 추가하는 것과 같은 효과를 내는 것이 가능한가요?
2개의 좋아요
아니요. robots.txt를 따르는 크롤러는 극소수이고, 지연 설정을 준수하는 경우는 그보다도 더 적습니다.
2개의 좋아요
아쉬운 일입니다. 이는 Discourse에 좋은 기능이 될 수 있었을 텐데요.
참고로, 기존 시스템(모든 크롤러를 차단하되, 유한한 목록에 대해서만 크롤 지연을 추가할 수 있도록 하는 방식)은 robots.txt의 disallow와 crawl-delay를 통해 작동하나요?
그것은 전혀 별개의 문제입니다. 다만 개인적으로는 다른 사이트에서 crawl-delay가 효과적이었다는 경험을 한 적이 있습니다.
2개의 좋아요
화이트햇 봇에 대해서만 해당되며, 그런 봇은 그리 많지 않습니다. 나머지는 좋은 봇과 나쁜 봇의 비율이 대략 1:100 정도이며, robots.txt에 무엇을 넣었든 상관없이 무시합니다. 가장 악질적인 봇들은 시스템 관리자나 웹마스터가 원하지 않는 곳을 찾기 위해 robots.txt를 확인하고, 즉시 그 지시를 따릅니다.
(참고로, < grin >은 HTML 태그로 작동하는 것 같습니다 
제 생각에는 Discourse가 이를 위해 단순히 < >를 사용해서는 안 됩니다)
SEO 봇들은 정말로 행실이 나쁜 편입니다. 하지만 그 중 다수는 스크립트 키디들이 만든 가짜 사용자 에이전트를 보고 있습니다.
많은 봇을 완전히 차단할 수는 있지만, 이는 앱 레벨이 아니라 서버 레벨에서 수행해야 합니다.
2개의 좋아요
그건 이제 중요하지 않습니다. 제 경험은 달랐고, Discourse에서 개별 크롤러를 지정하지 않아도 crawl-delay를 설정할 수 있도록 해 주셨으면 합니다.
2개의 좋아요
이것은 보고서 페이지의 내장 보고서 중 하나입니다.
3개의 좋아요
고맙습니다. 찾았어요.
| 사용자 에이전트 | 페이지뷰 |
|---|---|
| Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) | 5514 |
| Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/) | 5212 |
| Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) | 1427 |
| Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot) | 872 |
nginx 로그에서 IP를 확인해 본 결과, 이 피크는 MJ12bot과 Nexus 5X Build(정통 구글 봇)에서 발생한 것입니다.
이들이 왜 이런 페이지뷰를 생성하는지 아이디어가 있을까요? MJ12bot도 정통인 것 같습니다(적어도 제 구글 검색 결과로는 그렇게 나와요…). 참고로 포럼은 온라인 상태이지만, 콘텐츠를 보려면 로그인이 필요합니다. 며칠 후에는 대중에 공개될 예정입니다.
때때로 포럼에서 크롤러 피크를 보지만, 보통 1~2일 정도 지속된 후 오랫동안 사라집니다.
예시:
3개의 좋아요
IP를 확인해 보세요. 이 봇도 가장 많이 사용되는 가짜 봇 중 하나입니다. 게다가 소위 SEO 봇들과 마찬가지로 당신에게 전혀 쓸모없는 봇이기도 합니다.
3개의 좋아요
크롤러에 대해 잘 모르겠습니다. 공식 Google 크롤러가 SEO에 도움이 되지 않나요? 주제에서 벗어난 것 같아 죄송합니다.
3개의 좋아요
주제를 시작한 사람이 저이기 때문에, 당신의 질문을 오프토픽으로 보지 않습니다. 제 게시글은 참고용(FYI)이었을 뿐이며, 당신은 단순히 정보의 세부 내용을 더 잘 이해하려고 하는 것뿐입니다.
저는 SEO 전문가가 아니지만, 사람들이 검색 엔진을 통해 당신의 사이트를 찾길 원한다면 검색 엔진 크롤러가 웹사이트를 크롤링하여 인덱스를 구축하고 업데이트할 수 있도록 허용해야 합니다.
문제는 일부 크롤러가 사용자를 사이트로 유도하지 않는다는 점입니다. 만약 그런 경우라면 과도한 페이지 히트를 원치 않는다면 robots.txt를 사용하여 해당 크롤러가 사이트를 크롤링하지 않도록 요청할 수 있습니다. 하지만 불량 검색 엔진은 robots.txt를 무시하므로, 그 경우엔 방화벽 규칙 등을 사용해야 합니다. 그러면 오래된 문제로 돌아가게 되는데, 로그인 없이 접근 가능한 공개 사이트에서 누군가가 접근을 시도할 경우 매번 신원을 바꾸기 때문에 차단하기가 어렵다는 것입니다. 로그인을 필수로 설정하면 가입자 수가 줄어드는 경우가 많습니다.
원래 게시글에 대해 말씀드리자면, 보고된 이상치 이후로 MeagIndex나 다른 크롤러로 인해 하루 만에 페이지뷰가 대량으로 증가한 경우는 아직 확인되지 않았습니다.
2개의 좋아요
업데이트: 2022/08/13
봇이 2022/08/04에 다시 우리 사이트를 방문했습니다 (크롤러 사이트)
보고서: 통합 페이지뷰
보고서: 웹 크롤러 사용자 에이전트
보고서: 주요 트래픽 출처
MegaIndex.ru/2.0 봇이 사이트를 인덱싱하도록 허용하는 것이 사이트 트래픽을 생성하는 것으로 보이지 않습니다.
참고: AFAIK(제 생각에는) yandex.ru와 Megaindex.ru는 다릅니다.
크롤러를 차단하려면 robots.txt를 사용할 수 있으며, 이는 다음과 같이 언급되었습니다.
https://<Discourse 사이트>/admin/customize/robots
하지만 모든 크롤러가 robots.txt를 준수하지는 않습니다. 
4개의 좋아요
robots.txt는 봇을 차단하기 위한 것이 아닙니다. 이는 잘 행동하는 봇을 위한 가이드라인일 뿐입니다. 봇의 차단은 서버 레벨에서 이루어져야 합니다. 이것이 제 디스커스가 리버스 프록시 뒤에 있는 가장 큰 이유 중 하나입니다.
4개의 좋아요
2개의 좋아요
반정규 크롤러 활동의 급증은 흔한 일입니다. 저희는 이를 다음과 같이 구분합니다.
- 정당한 검색 엔진에 의한 정규 크롤러
- 신규/커스텀 검색 엔진에 의한 비정규 크롤러
- 경쟁사나 기타 "연구자
3개의 좋아요