これが見えるのですが
クローラーとは何ですか？
「いいね！」 1
クローラーとは、Google検索がコンテンツのためにウェブサイトを「クロール」するようなもので、Google検索でサイトを検索した際に表示できるようにします。
Google以外のクローラーも存在します。
詳細については、こちらの投稿（およびその中のリンク）をご覧ください: Better pageview metrics with the new site traffic report
「いいね！」 7
最も簡単な理解のために、クローラーはオンラインのページをクロールし、さらに多くのページをクロールするためにリンクをたどるボットです。主に検索エンジンがインデックスを構築するために使用されますが、Wayback Machineなどの他のクローラーもオンラインに存在します。
「いいね！」 1
それらのほとんどは実際にはSEOおよびAI企業であり、検索エンジンやその他の有用なアクターではありません。そして、それらの検索ボットのパートXは、実際には脆弱性を検索してコンテンツを盗むスクレイパーです。
とにかく、私のフォーラムやサイトで。
「いいね！」 1
典型的だ。人々は常に他人の作品を盗もうとしている。