# MegaIndex 봇이 하루 동안 약 4,000회 페이지뷰 기록
**URL:** https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824
**Category:** Community Building
**Created:** [2월 10, 2022, 10:35오후 UTC](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824 "2022-02-10T22:35:19Z")
**Posts on this page:** 20
**Page:** 2
### Author:  [@JimPas](https://meta.discourse.org/u/JimPas)
#### Post date: [1월 19, 2023, 9:06오후 UTC](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824/21 "2023-01-19T21:06:09Z")
1월 8일과 18일에 두 차례 스파이크가 발생했습니다. 두 번 모두 러시아 웹 크롤러인 Yandex에서 비롯된 것이었습니다. 두 번 모두 크롤링 시도가 2배 이상 증가했습니다. 시간대별 최대 탐지 봇은 PetalSearch.com의 petalbot이었습니다. Yandex를 비롯한 다른 봇들보다 4배에서 6배까지 스캔 횟수가 많았습니다.
---
### Author:  [@EricGT](https://meta.discourse.org/u/EricGT)
#### Post date: [2월 6, 2023, 7:14오후 UTC](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824/22 "2023-02-06T19:14:34Z")
어제 2023년 5월 2일 [Seekport Bot](https://bot.seekport.com/)이 난리를 쳤습니다
---
### Author:  [@EricGT](https://meta.discourse.org/u/EricGT)
#### Post date: [2월 24, 2023, 11:21오전 UTC](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824/23 "2023-02-24T11:21:13Z")
특정 하루 동안 과도한 페이지 뷰라는 이상치를 유발한 또 다른 봇입니다.
> **[DataForSEO Link Bot – DataForSEO](https://dataforseo.com/dataforseo-bot)**
>
> LIVE backlink bot from DATAFOSEO! We’re working on the biggest available backlink database on the web. Own Backlinks API!
날짜: 2023-02-23
---
### Author:  [@Deveroonie](https://meta.discourse.org/u/Deveroonie)
#### Post date: [4월 28, 2023, 1:32오후 UTC](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824/24 "2023-04-28T13:32:54Z")
> [@EricGT](#):
>
> [DataForSEO Link Bot – DataForSEO](https://dataforseo.com/dataforseo-bot)
그들은 자기가 정당한 서비스인 것 같다고 생각하는 것 같은데, 분명히 틀렸어.
> [@](#):
>
> 많은 사람들이 DataForSEO Link Bot을 또 다른 웹 크롤러로 분류할 것입니다.
>
> 음, 그건 틀렸고, 그 이유는 다음과 같습니다.
>
> DataForSEO를 출시한 이래로, 우리의 사명은 전 세계의 SEO 애호가와 전문가들에게 고품질 데이터를 제공하여 평등한 경쟁 환경을 조성하는 것이었습니다.
>
> DataForSEO Bot은 ‘좋은 봇(Good Bots)’ 카테고리에 속하며, 이는 웹사이트에 어떤 형태의 피해도 주지 않는다는 뜻입니다.
---
### Author:  [@EricGT](https://meta.discourse.org/u/EricGT)
#### Post date: [5월 8, 2023, 12:24오후 UTC](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824/25 "2023-05-08T12:24:25Z")
특정 하루에 과도한 페이지 뷰라는 이상치를 유발한 또 다른 봇입니다.
> **[Seekport Bot](https://bot.seekport.com/)**
날짜: 2023-05-04
---
### Author:  [@Jagster](https://meta.discourse.org/u/Jagster)
#### Post date: [5월 8, 2023, 12:58오후 UTC](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824/26 "2023-05-08T12:58:22Z")
가끔 그런 요청은 합법적인 봇에 의해 발생하는 경우도 있습니다. 하지만 가끔은… 그 이상의 무언가일 수도 있죠. IP 주소는 꽤 자주 진실을 드러내줍니다.
어쨌든, 그런 트래픽은 완전히 쓸모없으며, 기본적으로 콘텐츠를 훔치기만 할 뿐 아무것도 돌려주지 않습니다. 이를 막을 수 있는 유일한 방법은 리버스 프록시입니다. 하지만 AFAIK(제 지대한 한)으로는 Discourse의 경우 상황이 괜찮은 편입니다. 왜냐하면 그런 트래픽이 부하를 크게 증가시키지 않았기 때문입니다. WordPress 환경에서는 이런 상황이 사이트 다운을 유발하거나 유발할 수 있었을 것입니다.
---
### Author:  [@EricGT](https://meta.discourse.org/u/EricGT)
#### Post date: [5월 8, 2023, 1:19오후 UTC](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824/27 "2023-05-08T13:19:50Z")
> [@Jagster](#):
>
> 그것들은 완전히 쓸모없고, 기본적으로 콘텐츠를 훔칠 뿐 아무것도 돌려주지 않습니다.
제 주장을 잘 대변해 주셨네요!
---
### Author:  [@Deveroonie](https://meta.discourse.org/u/Deveroonie)
#### Post date: [5월 9, 2023, 10:07오전 UTC](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824/28 "2023-05-09T10:07:31Z")
> [@EricGT](#):
>
> 
>
> image1004×271 5.96 KB
이것을 어떻게 보시나요?
---
### Author:  [@JammyDodger](https://meta.discourse.org/u/JammyDodger)
#### Post date: [5월 9, 2023, 10:18오전 UTC](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824/29 "2023-05-09T10:18:49Z")
그것은 표준 보고서 중 하나처럼 보입니다. `/admin/reports/web_crawlers`에서 본인의 보고서를 찾을 수 있어야 합니다. 👍
---
### Author:  [@Deveroonie](https://meta.discourse.org/u/Deveroonie)
#### Post date: [5월 9, 2023, 10:40오전 UTC](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824/30 "2023-05-09T10:40:39Z")
팔로알토 정말 싫어
---
### Author:  [@Bas](https://meta.discourse.org/u/Bas)
#### Post date: [8월 8, 2023, 12:29오후 UTC](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824/32 "2023-08-08T12:29:47Z")
AI 요약:
> 이 토론은 Discourse 사이트에서 웹 크롤러 봇으로 인한 페이지뷰 급증에 관한 것입니다. 페이지뷰 급증을 유발한 것으로 확인된 봇에는 다음이 포함됩니다:
>
> - MegaIndex 봇: 하루 동안 약 4,000회의 페이지뷰를 기록했습니다.
> - MJ12bot: 하루 동안 5,000회 이상의 페이지뷰를 기록했습니다.
> - Seekport 봇: 여러 차례 급증을 유발했습니다.
> - Yandex 봇: 두 차례에 걸쳐 페이지뷰가 두 배 이상 증가하도록 만들었습니다.
> - [PetalSearch.com](http://PetalSearch.com)의 PetalBot: 다른 봇보다 4~6배 많은 페이지를 스캔했습니다.
> - DataForSEO 봇: 하루 동안 15,000회 이상의 페이지뷰 급증을 유발했습니다.
>
> 이러한 급증은 때때로 성능 문제를 일으킬 수 있습니다. 봇 트래픽을 제한하는 방법에는 robots.txt 파일 사용이 포함되지만, 모든 봇이 이를 준수하지는 않습니다. 다른 옵션으로는 서버 수준 차단 및 리버스 프록시 사용이 있습니다. 이러한 봇들은 가치를 제공하지 않으면서 “콘텐츠를 훔치는” 것으로 인식됩니다.
---
### Author:  [@EricGT](https://meta.discourse.org/u/EricGT)
#### Post date: [8월 9, 2023, 11:04오전 UTC](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824/33 "2023-08-09T11:04:42Z")
@Bas
저의 요청에 따라 AI가 생성한 요약을 여기에 게시했는데, 지금은 사라져 있습니다.
삭제하신 건가요?
---
### Author:  [@Bas](https://meta.discourse.org/u/Bas)
#### Post date: [8월 14, 2023, 8:49오전 UTC](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824/34 "2023-08-14T08:49:14Z")
아, 네, 그랬습니다. 원래 요청도 함께 삭제되었기 때문이죠 🙂
지금 복원했습니다
---
### Author:  [@EricGT](https://meta.discourse.org/u/EricGT)
#### Post date: [8월 14, 2023, 9:58오전 UTC](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824/35 "2023-08-14T09:58:08Z")
감사합니다.
일정 시간이 지난 후 주제 읽기에 도움이 되지 않지만 주제의 흐름을 끊지 않는 답변은 삭제하는 편입니다. 이번 경우는 단순한 요청이었고 요약도 작성해 주셨으므로, 다른 분들이 이 주제를 방문할 때마다 요청 내용을 다시 읽을 필요가 없었습니다.
이것은 StackExchange 사이트에서 배운 습관입니다. 그곳에서는 주석(댓글)을 남겼다가 나중에 삭제하곤 했습니다. 또한, 주제와 직접적으로 관련은 없지만 저와 다른 분들에게 유용한 `Of interest`로 시작하는 주석들도 몇 개 작성해 두었습니다. 아마도 StackExchange 사이트에서 그런 주석이 수백 개는 될 것입니다. Discourse에서도 그런 기능이 정말 필요했는데, 해당 제안은 지지(트랙션)를 얻지 못했습니다.
---
### Author:  [@EricGT](https://meta.discourse.org/u/EricGT)
#### Post date: [11월 10, 2023, 6:12오후 UTC](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824/36 "2023-11-10T18:12:12Z")
당사 웹사이트 방문을 확인하던 중 페이지 뷰가 극히 비정상적인 수치를 보이고 있었습니다. 전체 개요를 살펴보면
2023년 10월 23일부터 익명의 사용자 한 명이 원인인 것으로 추정되는 과다 트래픽이 시작되었습니다.
확인 결과
증가분의 원인이 처음에는 바로 알아채지 못한 몇몇 봇임이 드러났습니다.
- fidget-spinner-bot
- my-tiny-bot
- thesis-research-bot
귀하에게 도움이 될 수 있을 것 같아 이 정보를 공유드립니다.
---
### Author:  [@piffy](https://meta.discourse.org/u/piffy)
#### Post date: [11월 10, 2023, 6:21오후 UTC](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824/37 "2023-11-10T18:21:35Z")
> [@이상한 크롤러 활동?](https://meta.discourse.org/t/weird-crawler-activity/284376):
>
> This is the report across the last three days. Weird agent names for the top two with heavy amounts of requests. Any idea what these are? Should I be concerned? For now, I’ve added them to the crawler block setting
나도 같은 증상이 나타납니다
---
### Author:  [@JammyDodger](https://meta.discourse.org/u/JammyDodger)
#### Post date: [11월 11, 2023, 11:51오전 UTC](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824/38 "2023-11-11T11:51:35Z")
이런 사례를 몇 번 본 것 같습니다. 크롤러가 크롤러임을 밝히지 않아서 ‘익명’ 방문자로 집계되는 것 같습니다.
---
### Author:  [@Ed\_S](https://meta.discourse.org/u/Ed_S)
#### Post date: [12월 2, 2023, 9:05오전 UTC](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824/39 "2023-12-02T09:05:36Z")
(게시자 수정 - 이 게시글은 원래 새 스레드였으나, 이후 이곳으로 병합되었습니다. 문제없습니다. 원래 제목은 "호기심: 2023년 11월 초 이후 크롤러 방문량이 크게 감소"였습니다)
현재 제 쪽에서는 아무런 변경 사항이 없는 것으로 보입니다:
혹시 다른 분들도 비슷한 현상을 보고 계신가요?
익명(Anon)과 크롤러(Crawler) 사이에 큰 수치 교환이 일어나지 않으므로, 이는 분류 변경 사항이 아닙니다.
---
### Author:  [@EricGT](https://meta.discourse.org/u/EricGT)
#### Post date: [12월 2, 2023, 9:37오전 UTC](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824/40 "2023-12-02T09:37:17Z")
> [@Ed\_S](#):
>
> 혹시 다른 분들도 비슷한 현상을 확인하신 건가요?
네
이 [토픽](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824)과 특히 이 [글](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824/36?u=ericgt)을 확인해 보세요.
`Consolidated Pageviews` 보고서를 게시하셨으니 관리자 권한이 있으실 것 같습니다.
\/admin/reports/consolidated\_page\_views
또한 다음 경로를 사용하여
\/admin/reports/web\_crawlers
페이지뷰를 생성하는 웹 크롤러가 무엇인지 식별해 보세요.
우리 중 일부가 최근 발견했듯이, 이러한 봇들이 갑자기 등장하여 높은 페이지뷰 수치를 유발하고 있습니다.
- fidget-spinner-bot
- my-tiny-bot
- thesis-research-bot
---
### Author:  [@Ed\_S](https://meta.discourse.org/u/Ed_S)
#### Post date: [12월 2, 2023, 10:02오전 UTC](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824/41 "2023-12-02T10:02:49Z")
> [@EricGT](#):
>
> 우리 중 일부가 최근 발견했듯이, 이 봇들이 갑자기 등장해서 높은 수치를 유발하고 있습니다
>
> - fidget-spinner-bot
> - my-tiny-bot
> - thesis-research-bot
아, 네. 수치 증가에 관한 그 주제를 본 적이 있습니다. 하지만 실제로 그 세 봇 모두 높은 수치의 원인이었습니다. 8일 이후로 그 봇들은 모두 사라졌고, 우리는 일종의 기준선으로 돌아왔습니다. 그것이 감소의 이유를 설명합니다.
(관리자: 이 스레드를 해당 스레드 하단에 고정하는 데 문제가 없습니다.) (수정: 감사합니다, 관리자님!)
[이전 페이지](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824.md?page=1)
[다음 페이지](https://meta.discourse.org/t/megaindex-bot-did-about-4-000-pageviews-on-one-day/217824.md?page=3)