¡Las arañas constituyen la mayor parte de nuestro tráfico!

[spdegabrielle (Stephen De Gabrielle)]

Soy administrador de una instancia gratuita de código abierto amablemente proporcionada por las maravillosas personas de Discourse.

Veo que parte de ser una buena persona es no abusar de esta amabilidad utilizando recursos más allá de las condiciones del servicio gratuito.

Lamentablemente, las arañas se han estado llevando la mayor parte de nuestra asignación de vistas y solo parecen empeorar. (¿Alguien más sufre esto?)

¿Alguien puede hacer alguna sugerencia para ayudar a mitigar este problema?

Saludos cordiales
Stephen

[Jagster (Jakke Lehtonen)]

Puedes prohibir la mayoría de los bots. Ayuda. Pero a Discourse no le importa cuando un WordPress estaría de rodillas.

Cómo atrapar humanos… bueno, díganos a todos cuando lo averigües.

[supermathie (Michael Brown)]

Gracias por el aprecio; con el aumento del scraping, esto ha sido una preocupación para muchos de nuestros clientes.

Puedes consultar el informe de tu bot y bloquear los rastreadores más graves de tu sitio, eso sería un buen comienzo.

Estamos trabajando en el desarrollo de mejores herramientas para gestionar esto, pero por el momento, a menos que se convierta en un problema DRÁSTICO, no te preocupes por ello.

[Jagster (Jakke Lehtonen)]

El único problema con eso es la interfaz de usuario. Añadir esas cosas de Discourse es un fastidio en algún punto, porque hay muchos bots de SEO inútiles y otros ladrones de contenido. Si tuviéramos alguna forma de enviar una lista o algo