 |
Resumen | Integra el servicio Known Agents con Discourse para llevar un registro de los rastreadores y araña no deseados que visitan tu foro. |
 |
Enlace al repositorio | https://github.com/magicball-network/discourse-darkvisitors |
 |
Guía de instalación | Cómo instalar plugins en Discourse |
Características
Known Agents es un servicio que lleva un registro de los agentes (rastreadores, arañas y otros tipos de bots) que visitan tus sitios web. Su principal atención se centra en el análisis de agentes de IA.
Ofrece dos servicios:
- Generación y monitoreo de robots.txt
- Analítica de agentes
El servicio de robots.txt es gratuito. El servicio de analítica ofrece una tarifa gratuita. Sugerimos visitar su sitio web para obtener más información.
Este plugin de Discourse se conecta a todos estos servicios, todos ellos opcionales y configurables en cierta medida.
Generación de robots.txt
Discourse ya proporciona una opción para configurar el robots.txt. Este plugin la extiende. Cuando está habilitado, el plugin recupera una lista de agentes en diferentes categorías (actualmente solo se admiten las categorías de IA) y aquellos que faltan en los agentes ya configurados, los añadirá. La lista se actualizará diariamente. De esta manera, cuando se reconozca un nuevo araña de IA, se añadirá a tu robots.txt.
Esta función solo funciona si Discourse gestiona el robots.txt y no lo has sobrescrito manualmente. El plugin no cambia la configuración de Agentes de usuario de rastreadores bloqueados, sino que amplía el robots.txt con los nuevos agentes faltantes. Por lo tanto, sigues teniendo el control total sobre la gestión de esta lista.
Cuando visites el robots.txt de tu sitio, verás un comentario inicial con la fecha de la última actualización y el número de agentes devueltos por Known Agents. Los agentes que aún no estaban configurados se añaden al final de la lista. Deberían estar entre Googlebot y la directiva del mapa del sitio (si está configurada).
Analítica de agentes
Puede habilitarse para todos los visitantes o solo para los visitantes no autenticados.
La analítica del lado del servidor informa a Known Agents sobre las visitas rastreadas. Enviará la ruta de la solicitud, la dirección remota del visitante, la cabecera User-Agent y algunas más cabeceras del navegador.
Hay algunos ajustes adicionales sobre qué solicitudes se informan, consulta los ajustes siguientes. Por defecto, solo se rastrean las solicitudes que Discourse marca para rastrear como vistas. Las siguientes solicitudes a Discourse nunca se informarán:
- Solicitudes a la sección de administración
- Solicitudes de fondo y de API
Todas las solicitudes rastreadas cuentan hacia los eventos que afectan a tu plan de pago.
Configuración
Necesitas registrarte en Known Agents para utilizar este plugin. La tarifa gratuita te da 100,000 eventos al mes. Cuando se alcance ese límite, no verás eventos más recientes en su analítica, pero aún podrás enviar nueva información y seguir utilizando el servicio de robots.txt.
Después de registrarte, debes crear un proyecto (es decir, un sitio para rastrear). Esto te proporcionará un token de acceso necesario para la funcionalidad de robots.txt y la analítica del lado del servidor.
Cuando habilites la funcionalidad de robots.txt, tardará un poco antes de que se actualice. Visita https://tusitio/robots.txt para ver si funciona. Debería tener un comentario en la parte superior
# Augmented by Dark Visitors on 2025-05-07T12:46:00+00:00 with 28 agents
Cuando habilites la analítica del lado del servicio, puedes probar si funciona solicitando una visita de prueba desde la configuración del proyecto de Known Agents. Puede tardar unos segundos. Deberías ver el resultado en la página Tiempo real de Known Agents.
Ajustes
| Nombre | Descripción |
|---|---|
| darkvisitors enabled | Bandera global para habilitar todo el plugin |
| darkvisitors access token | El token de acceso secreto necesario para el robots.txt y la analítica del lado del servidor para comunicarse con Known Agents. Encontrarás esto en el proyecto de Known Agents bajo configuración. |
| darkvisitors robots txt enabled | Cuando está habilitado, el robots.txt de Discourse se ampliará con agentes adicionales |
| darkvisitors robots txt agents | El tipo de agentes a añadir al robots.txt. |
| darkvisitors robots txt path | La ruta a la que se denegará el acceso a los agentes. Probablemente sea mejor dejarla en / para rechazar el acceso a todo el sitio. |
| darkvisitors server analytics | Habilita la analítica del lado del servidor. Recomiendo habilitarla solo para usuarios anónimos. |
| darkvisitors server analytics include | Solicitudes adicionales a rastrear. También puedes rastrear solicitudes a archivos subidos, o incluso solicitudes 404 No encontrado. |
| darkvisitors server analytics ignore | Subcadenas en los agentes de usuario para ignorar (distingue mayúsculas y minúsculas). Si usas monitoreo de actividad, sugiero fuertemente incluir su agente de usuario identificativo en esta lista. |
