이렇게 보이네요
크롤러가 뭔지 궁금해서요.
크롤러란 Google 검색과 같은 서비스가 웹사이트의 콘텐츠를 자동으로 "크롤링"하여, 사용자가 검색할 때 해당 사이트를 보여줄 수 있도록 하는 것을 말합니다.
Google 외에도 다른 크롤러들이 있습니다.
자세한 내용은 이 게시물(그 안의 링크 포함)을 확인해 보세요: Better pageview metrics with the new site traffic report
가장 쉽게 이해하자면, 크롤러는 온라인에서 페이지를 기어다니며(크롤링) 링크를 따라 더 많은 페이지를 기어다니는 봇입니다. 주로 검색 엔진이 인덱스를 구축하는 데 사용되며, 웨이백 머신(Wayback Machine) 등 다른 용도로 사용되는 크롤러도 온라인에 존재합니다.
그중 대부분은 실제로는 SEO와 AI 회사이지, 검색 엔진이나 다른 유용한 행위자가 아닙니다. 그리고 그 검색 봇 중 일부는 실제로는 취약점을 탐색하고 콘텐츠를 도용하는 스크레이퍼입니다.
제 포럼과 사이트에서는 적어도 그렇습니다.
전형적인 사례입니다. 사람들은 항상 남의 것을 훔치려 하니까요.