업데이트: 2022/08/13
봇이 2022/08/04에 다시 우리 사이트를 방문했습니다 (크롤러 사이트)
보고서: 통합 페이지뷰
보고서: 웹 크롤러 사용자 에이전트
보고서: 주요 트래픽 출처
MegaIndex.ru/2.0 봇이 사이트를 인덱싱하도록 허용하는 것이 사이트 트래픽을 생성하는 것으로 보이지 않습니다.
참고: AFAIK(제 생각에는) yandex.ru와 Megaindex.ru는 다릅니다.
크롤러를 차단하려면 robots.txt를 사용할 수 있으며, 이는 다음과 같이 언급되었습니다.
https://<Discourse 사이트>/admin/customize/robots
하지만 모든 크롤러가 robots.txt를 준수하지는 않습니다. 
