1월 8일과 18일에 두 차례 스파이크가 발생했습니다. 두 번 모두 러시아 웹 크롤러인 Yandex에서 비롯된 것이었습니다. 두 번 모두 크롤링 시도가 2배 이상 증가했습니다. 시간대별 최대 탐지 봇은 PetalSearch.com의 petalbot이었습니다. Yandex를 비롯한 다른 봇들보다 4배에서 6배까지 스캔 횟수가 많았습니다.
1개의 좋아요
1개의 좋아요
그들은 자기가 정당한 서비스인 것 같다고 생각하는 것 같은데, 분명히 틀렸어.
1개의 좋아요
가끔 그런 요청은 합법적인 봇에 의해 발생하는 경우도 있습니다. 하지만 가끔은… 그 이상의 무언가일 수도 있죠. IP 주소는 꽤 자주 진실을 드러내줍니다.
어쨌든, 그런 트래픽은 완전히 쓸모없으며, 기본적으로 콘텐츠를 훔치기만 할 뿐 아무것도 돌려주지 않습니다. 이를 막을 수 있는 유일한 방법은 리버스 프록시입니다. 하지만 AFAIK(제 지대한 한)으로는 Discourse의 경우 상황이 괜찮은 편입니다. 왜냐하면 그런 트래픽이 부하를 크게 증가시키지 않았기 때문입니다. WordPress 환경에서는 이런 상황이 사이트 다운을 유발하거나 유발할 수 있었을 것입니다.
2개의 좋아요
제 주장을 잘 대변해 주셨네요!
1개의 좋아요
이것을 어떻게 보시나요?
1개의 좋아요
그것은 표준 보고서 중 하나처럼 보입니다. /admin/reports/web_crawlers에서 본인의 보고서를 찾을 수 있어야 합니다. 
3개의 좋아요
AI 요약:
이 토론은 Discourse 사이트에서 웹 크롤러 봇으로 인한 페이지뷰 급증에 관한 것입니다. 페이지뷰 급증을 유발한 것으로 확인된 봇에는 다음이 포함됩니다:
- MegaIndex 봇: 하루 동안 약 4,000회의 페이지뷰를 기록했습니다.
- MJ12bot: 하루 동안 5,000회 이상의 페이지뷰를 기록했습니다.
- Seekport 봇: 여러 차례 급증을 유발했습니다.
- Yandex 봇: 두 차례에 걸쳐 페이지뷰가 두 배 이상 증가하도록 만들었습니다.
- PetalSearch.com의 PetalBot: 다른 봇보다 4~6배 많은 페이지를 스캔했습니다.
- DataForSEO 봇: 하루 동안 15,000회 이상의 페이지뷰 급증을 유발했습니다.
이러한 급증은 때때로 성능 문제를 일으킬 수 있습니다. 봇 트래픽을 제한하는 방법에는 robots.txt 파일 사용이 포함되지만, 모든 봇이 이를 준수하지는 않습니다. 다른 옵션으로는 서버 수준 차단 및 리버스 프록시 사용이 있습니다. 이러한 봇들은 가치를 제공하지 않으면서 “콘텐츠를 훔치는” 것으로 인식됩니다.
1개의 좋아요
아, 네, 그랬습니다. 원래 요청도 함께 삭제되었기 때문이죠 
지금 복원했습니다
감사합니다.
일정 시간이 지난 후 주제 읽기에 도움이 되지 않지만 주제의 흐름을 끊지 않는 답변은 삭제하는 편입니다. 이번 경우는 단순한 요청이었고 요약도 작성해 주셨으므로, 다른 분들이 이 주제를 방문할 때마다 요청 내용을 다시 읽을 필요가 없었습니다.
이것은 StackExchange 사이트에서 배운 습관입니다. 그곳에서는 주석(댓글)을 남겼다가 나중에 삭제하곤 했습니다. 또한, 주제와 직접적으로 관련은 없지만 저와 다른 분들에게 유용한 Of interest로 시작하는 주석들도 몇 개 작성해 두었습니다. 아마도 StackExchange 사이트에서 그런 주석이 수백 개는 될 것입니다. Discourse에서도 그런 기능이 정말 필요했는데, 해당 제안은 지지(트랙션)를 얻지 못했습니다.
1개의 좋아요
당사 웹사이트 방문을 확인하던 중 페이지 뷰가 극히 비정상적인 수치를 보이고 있었습니다. 전체 개요를 살펴보면
2023년 10월 23일부터 익명의 사용자 한 명이 원인인 것으로 추정되는 과다 트래픽이 시작되었습니다.
확인 결과
증가분의 원인이 처음에는 바로 알아채지 못한 몇몇 봇임이 드러났습니다.
- fidget-spinner-bot
- my-tiny-bot
- thesis-research-bot
귀하에게 도움이 될 수 있을 것 같아 이 정보를 공유드립니다.
2개의 좋아요
나도 같은 증상이 나타납니다
3개의 좋아요
이런 사례를 몇 번 본 것 같습니다. 크롤러가 크롤러임을 밝히지 않아서 ‘익명’ 방문자로 집계되는 것 같습니다.
1개의 좋아요
(게시자 수정 - 이 게시글은 원래 새 스레드였으나, 이후 이곳으로 병합되었습니다. 문제없습니다. 원래 제목은 "호기심: 2023년 11월 초 이후 크롤러 방문량이 크게 감소"였습니다)
현재 제 쪽에서는 아무런 변경 사항이 없는 것으로 보입니다:
혹시 다른 분들도 비슷한 현상을 보고 계신가요?
익명(Anon)과 크롤러(Crawler) 사이에 큰 수치 교환이 일어나지 않으므로, 이는 분류 변경 사항이 아닙니다.
3개의 좋아요
네
Consolidated Pageviews 보고서를 게시하셨으니 관리자 권한이 있으실 것 같습니다.
<site>/admin/reports/consolidated_page_views
또한 다음 경로를 사용하여
<site>/admin/reports/web_crawlers
페이지뷰를 생성하는 웹 크롤러가 무엇인지 식별해 보세요.
우리 중 일부가 최근 발견했듯이, 이러한 봇들이 갑자기 등장하여 높은 페이지뷰 수치를 유발하고 있습니다.
- fidget-spinner-bot
- my-tiny-bot
- thesis-research-bot
1개의 좋아요
아, 네. 수치 증가에 관한 그 주제를 본 적이 있습니다. 하지만 실제로 그 세 봇 모두 높은 수치의 원인이었습니다. 8일 이후로 그 봇들은 모두 사라졌고, 우리는 일종의 기준선으로 돌아왔습니다. 그것이 감소의 이유를 설명합니다.
(관리자: 이 스레드를 해당 스레드 하단에 고정하는 데 문제가 없습니다.) (수정: 감사합니다, 관리자님!)
3개의 좋아요