Para aqueles com acesso de administrador para verificar os User Agents do Web Crawler
por exemplo, link real, altere a URL para o seu site conforme necessário.
https://swi-prolog.discourse.group/admin/reports/web_crawlers
nosso site mostra um aumento repentino em agentes do Mastodon. Suspeito que esses agentes sejam de sites Mastodon. Como não uso Mastodon, agora tenho que investigar se isso é um problema potencial para nosso site ou apenas algo a ser observado.
Como o relatório mostrado na página da web corta algumas das informações necessárias, baixei o relatório.
web-crawlers-251023-084425-10.zip (4,3 KB)
no final, note as linhas como
http.rb/5.1.1 (Mastodon/4.2.20; +https://acc4e.com/),1
Alguém pode esclarecer mais sobre
- Esses agentes estão relacionados aos sites da rede social Mastodon?
- Haverá mais aparecendo no futuro por causa da maneira como o Mastodon funciona, em outras palavras, eles estão sendo criados não de propósito, mas como um efeito colateral da maneira como o Mastodon é configurado ou usado?
- Eles devem/podem ser recusados como um crawler se não tiverem valor para um site Discourse?
Não é um problema urgente no momento, pois todos os agentes do Mastodon mostram apenas uma visualização de página de 1, enquanto o topo da lista para um agente Mozilla/5.0 mostra 37.279.