Que sont exactement les crawlers ?

Je vois ceci


et je me demandais ce que sont les robots d’exploration ?

1 « J'aime »

Les robots d’exploration sont des programmes comme celui de Google Search qui « explorent » automatiquement votre site Web pour en extraire du contenu, afin que Google Search puisse afficher votre site lorsque vous le recherchez.

Il existe également d’autres robots d’exploration que celui de Google.

Vous devriez consulter cet article (et le lien qu’il contient) pour plus d’informations : Better pageview metrics with the new site traffic report

7 « J'aime »

Pour une compréhension la plus simple, les robots d’exploration (crawlers) sont des bots qui explorent les pages en ligne et suivent les liens pour explorer encore plus de pages. Principalement utilisés par les moteurs de recherche pour construire l’index, il existe d’autres robots d’exploration en ligne, par exemple la Wayback Machine, etc.

1 « J'aime »

La plupart d’entre elles sont en fait des entreprises de SEO et d’IA, pas des moteurs de recherche ou d’autres acteurs utiles. Et une partie X de ces robots d’exploration recherche en fait des faiblesses et vole du contenu.

Sur mon forum et mes sites en tout cas.

1 « J'aime »

typique, les gens essaient toujours de voler le travail des autres.