Para aquellos con acceso de administrador para verificar los User Agents del Rastreador Web
por ejemplo, enlace real, cambia la URL para tu sitio según sea necesario.
https://swi-prolog.discourse.group/admin/reports/web_crawlers
nuestro sitio muestra un aumento repentino de agentes de Mastodon. Sospecho que estos agentes provienen de sitios de Mastodon. Como ya no uso Mastodon, tengo que investigar si esto es un problema potencial para nuestro sitio o simplemente algo a tener en cuenta.
Dado que el informe que se muestra en la página web corta parte de la información necesaria, descargué el informe.
web-crawlers-251023-084425-10.zip (4.3 KB)
al final, nota las líneas como
http.rb/5.1.1 (Mastodon/4.2.20; +https://acc4e.com/),1
¿Alguien puede arrojar más luz sobre?
- ¿Están estos agentes relacionados con los sitios de la red social Mastodon?
- ¿Aparecerán más en el futuro debido a la forma en que funciona Mastodon, en otras palabras, se crean no a propósito sino como un efecto secundario de la forma en que Mastodon está configurado o se usa?
- ¿Se les puede/debe rechazar como rastreadores si no aportan valor a un sitio de Discourse?
No es un problema urgente en este momento, ya que todos los agentes de Mastodon solo muestran una visita de página de 1, mientras que la parte superior de la lista para un agente Mozilla/5.0 muestra 37,279.