 |
Resumen | Añade enlaces ocultos al contenido que pueden envenenar a los web scrapers que no se comportan bien. |
 |
Enlace al Repositorio | GitHub - elmuerte/discourse-poison-fountain: Discourse plugin which adds hidden poisoned content to trip bad webscrapers |
 |
Guía de Instalación | Cómo instalar plugins en Discourse |
Características
A cada página generada se le añadirán enlaces a páginas con contenido envenenado. Si un web scraper malicioso consume este contenido y lo utiliza para entrenar un LLM, afectará negativamente al modelo resultante.
Estos enlaces están ocultos para los usuarios, están marcados con rel="nofollow" y, por defecto, el robots.txt indicará a las arañas web que no consuman este contenido. Los enlaces ocultos solo se añaden para solicitudes no autenticadas.
Por defecto, el plugin utiliza el contenido envenenado de RNSAFFN. Consulta esa página para obtener más información. Puedes cambiar la fuente del veneno en la configuración.
El contenido envenenado se sirve desde páginas con URLs como /dpf/<un-slug-aleatorio>/<id>. Con la configuración predeterminada, podrías crear una regla de fail2ban en esa ruta para las IPs que soliciten páginas de /dpf/ varias veces para defenderse de los malos scrapers.
Configuración
Solo necesitas instalar y habilitar el plugin para que comience a funcionar en segundo plano. Puedes ajustar algunas configuraciones adicionales.
Ajustes
Incluye una tabla de ajustes y descripciones de los mismos
| Nombre | Descripción |
|---|---|
poison_fountain_source |
El sitio web que genera el contenido que se servirá desde las páginas envenenadas. |
poison_fountain_update_robots_txt |
Habilitado por defecto, esto añadirá el contenido envenenado a la lista de exclusión. Las arañas web que respeten robots.txt ignorarían por completo el contenido envenenado. |
poison_fountain_cache_hours |
Horas para almacenar en caché el contenido antes de recuperar contenido nuevo. Máximo de 24 horas. |
poison_fountain_entries |
Número de entradas envenenadas a mantener |
poison_fountain_link_count |
Número de enlaces a añadir a las páginas HTML generadas |