Agents de web crawler - les agents Mastodon sont de plus en plus nombreux

Communauté
1

Pour ceux qui ont un accès administrateur pour vérifier les agents d’utilisateurs du robot d’exploration Web

image
image392×193 1.34 KB

par exemple, lien réel, modifiez l’URL de votre site selon vos besoins.
https://swi-prolog.discourse.group/admin/reports/web_crawlers

notre site montre une augmentation soudaine des agents Mastodon. Je soupçonne que ces agents proviennent de sites Mastodon. Comme je n’utilise pas Mastodon, je dois maintenant enquêter pour savoir s’il s’agit d’un problème potentiel pour notre site ou simplement de quelque chose à savoir.

Étant donné que le rapport tel qu’il apparaît sur la page Web coupe certaines des informations nécessaires, j’ai téléchargé le rapport.

web-crawlers-251023-084425-10.zip (4,3 Ko)

à la fin, remarquez les lignes comme

http.rb/5.1.1 (Mastodon/4.2.20; +https://acc4e.com/),1

Quelqu’un peut-il apporter plus de précisions sur

  • Ces agents sont-ils liés aux sites du réseau social Mastodon ?
  • Y en aura-t-il d’autres à l’avenir en raison du fonctionnement de Mastodon, en d’autres termes, sont-ils créés non pas intentionnellement mais comme un effet secondaire de la manière dont Mastodon est configuré ou utilisé ?
  • Peuvent-ils/doivent-ils être refusés en tant que robot d’exploration s’ils n’ont pas de valeur pour un site Discourse ?

Ce n’est pas un problème urgent pour le moment car tous les agents Mastodon n’affichent qu’une seule page vue, tandis que le haut de la liste pour un agent Mozilla/5.0 affiche 37 279.

2 « J'aime »
2

Cool, cela signifie probablement que quelque chose dans votre communauté a été reposté par des utilisateurs sur Mastodon. Parce que Mastodon est fédéré, les robots d’exploration d’aperçus de liens auront des agents utilisateurs différents. À la fois parce que les instances seront sur différentes versions de Mastodon et parce qu’il semble que Mastodon inclut l’URL de la communauté dans l’agent utilisateur.

D’accord. Il pourrait également être intéressant de regrouper les agents utilisateurs, afin que vous puissiez voir les totaux des aperçus de liens Mastodon, les totaux des onebox Facebook, les totaux des onebox Discourse (provenant d’autres communautés) et ainsi de suite.

5 « J'aime »