Итак, я вижу это
и мне интересно, что такое краулеры?
Краулеры — это, например, Google Search, который автоматически «сканирует» ваш сайт на наличие контента, чтобы Google Search мог отображать ваш сайт при поиске.
Помимо Google, существуют и другие краулеры.
Рекомендуем ознакомиться с этой публикацией (и ссылкой в ней) для получения дополнительной информации: Better pageview metrics with the new site traffic report
Для простоты понимания: краулеры — это боты, которые обходят веб-страницы в интернете и переходят по ссылкам, чтобы проиндексировать ещё больше страниц. В основном они используются поисковыми системами для построения индекса, но в сети существуют и другие краулеры, например Wayback Machine и другие.
Большинство из них на самом деле являются SEO- и AI-компаниями, а не поисковыми системами или другими полезными участниками. Часть X из этих поисковых ботов — это на самом деле скраперы, ищущие уязвимости и крадущие контент.
По крайней мере, на моём форуме и сайтах.
типично, люди всегда пытаются украсть чужую работу.