J’ai entendu sur un autre fil de discussion que @simon mentionnait qu’il y avait un réglage pour arrêter/écraser les robots d’exploration, je ne trouve pas ce réglage, comment faire, quelqu’un sait où il se trouve et comment il fonctionne ?
J’ai eu une augmentation inhabituelle de 48 robots d’exploration sur mon site le 14 juillet, je n’aime pas ces petites saletés, que font-ils ?
Recherchez les paramètres du site pour « crawler ». Vous pouvez bloquer ou ralentir par agent utilisateur.
Au moins, certains indexent votre site pour qu’il apparaisse dans les moteurs de recherche. Vous aimez probablement ça.
De plus, consultez le rapport « Agents utilisateurs du robot d’exploration Web » pour obtenir le nom du robot qui cause le problème :
Merci, j’ai trouvé cela maintenant. Je vois qu’il y a cinq noms de robots d’exploration bloqués par défaut, je suppose que ce sont des robots connus pour causer des problèmes.
Il semble y avoir une option pour utiliser une liste d’autorisation pour les bons robots d’exploration, qui, si elle est utilisée, refuse automatiquement l’entrée à tous les autres “êtres insectoïdes électriques”. Je ne sais pas quels pourraient être les bons ?
J’ai trouvé les rapports d’agents utilisateurs de robots d’exploration web, les principaux sont "YandexBox/3.0 et CensysInspect/1.1 https://about.censys.io/
Ce serait bien d’apparaître sur certains moteurs de recherche pour les clients qui en ont besoin.
J’ai reçu beaucoup d’appels de sociétés de marketing qui facturent un service d’abonnement pour obtenir de l’aide à ce sujet et pour la création de sites web, ce qui pourrait être bien, mais c’est un peu ennuyeux tous ces appels à ce sujet.
Il convient de noter que les agents utilisateurs sont très faciles à usurper. S’il s’agit de Google, vous pouvez être à peu près sûr qu’il le dira. Mais ce n’est pas parce qu’il dit que c’est Google que cela signifie quoi que ce soit.
(Même situation que robots.txt, ce sont des mécanismes qui supposent la confiance. Les parties non fiables peuvent simplement jouer selon des règles différentes.)
Des imposteurs sournois, pires que des belettes, peuvent être :
https://yandex.com/support/webmaster/robot-workings/check-yandex-robots.html
« # Comment vérifier qu’un robot appartient à Yandex
Certains robots peuvent se faire passer pour des robots Yandex en indiquant l’User Agent approprié. Vous pouvez vérifier l’authenticité d’un robot à l’aide d’une recherche DNS inversée.
Suivez simplement ces étapes :
Déterminez l’adresse IP de l’agent utilisateur en question à l’aide des journaux de votre serveur.
Utilisez une recherche DNS inversée de l’adresse IP pour déterminer le nom d’hôte du domaine.
Vérifiez si l’hôte appartient à Yandex. Tous les noms de robots Yandex se terminent par yandex.ru, yandex.net ou yandex.com. Si le nom d’hôte a une terminaison différente, le robot n’appartient pas à Yandex.
Assurez-vous que le nom est correct. Utilisez une recherche DNS directe pour obtenir l’adresse IP correspondant au nom d’hôte. Elle doit correspondre à l’adresse IP utilisée dans la recherche DNS inversée. Si les adresses IP ne correspondent pas, cela signifie que le nom d’hôte est faux. »
Il y a aussi un guide auquel vous pouvez vous référer ici :
Savez-vous si les robots d’exploration Web indexent les sites pour les systèmes de recherche vocale ?
Je reçois quelques appels automatisés chaque jour concernant ma société qui n’est pas enregistrée auprès des principaux moteurs de recherche vocale par IA. Il semble qu’il s’agisse uniquement de sociétés tierces qui font cela et je ne suis pas sûr que ce qu’elles font soit légitime.
Plus précisément : facturer un service d’abonnement pour « enregistrer » une entreprise dans la recherche, ou aider les entreprises à apparaître en première page des résultats de recherche.
Je ne sais pas. J’en doute.
J’ai interagi avec des personnes qui, je pense, peuvent réellement aider à cela, certaines utilisant des méthodes légitimes. Elles semblent être l’exception, à mon avis.
Je n’y connais rien non plus en matière de recherche vocale, et je ne souhaite même pas nécessairement que mon entreprise soit un jour indexée par celles-ci.
C’est important de s’en souvenir, surtout de nos jours, les escrocs deviennent de plus en plus sophistiqués.
Les appels que je reçois disent souvent « votre fiche Google a été signalée pour examen », ce qui suggère que c’est Google qui appelle, mais Google n’appelle jamais. Certaines entreprises s’appellent elles-mêmes une « société partenaire de Google », je ne suis pas sûr de ce que cela signifie si cela existe même.
J’ai entendu dire par un représentant qu’il y a environ/au moins 40 entreprises différentes qui font cela, appellent les startups pour les enregistrer sur des plateformes de recherche vocale, ce qui explique le grand nombre d’appels.
This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.
