웹 크롤러 사용자 에이전트를 확인하는 데 관리자 권한이 있는 분들을 위해 공유합니다:
예를 들어 실제 링크는 다음과 같으며, 필요에 따라 자사 사이트 URL로 변경하십시오.
https://swi-prolog.discourse.group/admin/reports/web_crawlers
저희 사이트에서는 Mastodon 에이전트가 갑자기 증가하는 것을 확인했습니다. 이 에이전트들이 Mastodon 사이트에서 온 것으로 추정됩니다. 저는 Mastodon을 사용하지 않으므로, 이것이 저희 사이트에 잠재적인 문제가 되는지, 아니면 단순히 인지해야 할 사항인지 조사해야 합니다.
웹 페이지에 표시된 보고서에는 필요한 정보가 일부 잘려 나오므로, 보고서를 다운로드했습니다.
web-crawlers-251023-084425-10.zip (4.3 KB)
마지막 부분을 보면 다음과 같은 줄을 확인할 수 있습니다.
http.rb/5.1.1 (Mastodon/4.2.20; +https://acc4e.com/),1
다음 사항들에 대해 더 많은 정보를 주실 수 있는 분은 없을까요?
- 이 에이전트들은 Mastodon 소셜 네트워크 사이트와 관련이 있나요?
- Mastodon의 작동 방식 때문에 앞으로 더 많이 나타날까요? 즉, 의도적으로 생성된 것이 아니라 Mastodon의 설정 또는 사용 방식의 부수적 결과로 생성되는 것인가요?
- Discourse 사이트에서 가치가 없다면 크롤러로 거부할 수 있거나 거부해야 하나요?
현재로서는 긴급한 문제가 아닙니다. 모든 Mastodon 에이전트는 페이지뷰가 1로만 표시되는 반면, 목록 상단의 Mozilla/5.0 에이전트는 37,279를 표시하고 있기 때문입니다.
이것에 대해 Discourse AI 봇에게 질문했습니다.
https://ask.discourse.com/t/understanding-mastodon-agents-as-web-crawlers/16732
다른 분들도 링크가 정상 작동하는지 알려주세요.
추가 조사와 저희 사이트의 다른 관리자들과의 논의를 거쳐, 우리는 이 에이전트들을 환영합니다. 링크 미리보기 생성에 사용되기 때문입니다. (참조)
공유할 만한 흥미로운 부가 생각이 있습니다.
이것에 대한 조사를 하기 전까지는, 웹 크롤러를 사이트의 모든 공개 페이지를 색인화하고 정기적으로 사이트를 재방문하는 것으로만 생각했습니다. 따라서 크롤러는 사이트를 방문한 웹 크롤러 에이전트 목록에 정기적으로 나타날 것입니다.
이 블로그에서 언급된 대로
“fetcher” - Mastodon 플랫폼을 대신하여 콘텐츠를 가져오는 특수한 유형의 웹 크롤러.
따라서 이러한 Mastodon 에이전트는 웹 크롤러 사용자 에이전트 보고서에 일시적으로 나타나는 것일 수 있습니다.
그러므로 사이트의 매우 구체적인 URL을 타격하는 fetcher 에이전트만 표시하는 새로운 보고서를 볼 수 있으면 좋겠습니다. 또한 다른 사람들이 사이트에서 어떤 가치를 발견하는지 알 수 있으면 좋겠습니다.