Ich sehe das hier
und ich frage mich, was Crawler sind?
1 „Gefällt mir“
Crawler sind Dinge wie die Google Suche, die Ihre Website nach Inhalten „durchforstet“, damit die Google Suche Ihre Website präsentieren kann, wenn Sie danach suchen.
Es gibt auch andere Crawler außer denen von Google.
Sie sollten diesen Beitrag (und den Link darin) für weitere Informationen lesen: Better pageview metrics with the new site traffic report
7 „Gefällt mir“
Zum einfacheren Verständnis sind Crawler Bots, die Seiten online durchsuchen und Links folgen, um noch mehr Seiten zu durchsuchen. Sie werden hauptsächlich von Suchmaschinen zum Erstellen des Index verwendet, es gibt aber auch andere Crawler online, zum Beispiel die Wayback Machine usw.
1 „Gefällt mir“
Die meisten davon sind tatsächlich SEO- und KI-Unternehmen, keine Suchmaschinen oder andere nützliche Akteure. Und Teil X dieser Suchbots sind tatsächlich Scraper, die nach Schwachstellen suchen und Inhalte stehlen.
Auf meinem Forum und meinen Websites jedenfalls.
1 „Gefällt mir“
typisch, die Leute versuchen immer, die Arbeit anderer Leute zu stehlen.