Una observación secundaria que plantea una pregunta: ¿podría el uso de Cloudflare también ayudar con la indexación de Google?
Noté algunas mejoras ayer, una tendencia positiva de indexación e impresiones, pero podría ser una coincidencia. 
Noté un gran aumento hacia finales de octubre. Estos deben estar superando la función de mitigación Bloquear Bots de IA de CF.
CF ahora sugiere usar AI Labyrinth:
AI Labyrinth modifica sus páginas web añadiendo enlaces nofollow que contienen contenido generado por IA para interrumpir a los bots que ignoran los estándares de rastreo. Los enlaces nofollow añadidos no alteran el contenido de sus páginas web y solo son visibles para los bots.
¿Luchar contra la IA con IA? 
¿Carrera armamentista de IA?
1 me gusta
Es una carrera armamentista y, como con los spammers, sospecho que siempre lo será.
¿Cuál es la opción sin Cloudflare (búnker antiaéreo) como intermediario para mitigar esto, o es la única opción?
Parece que es todo o nada, y nada = ¡tráfico de IA que se comporta como un ataque de denegación de servicio (DDOS)! 
1 me gusta
Este aumento es un verdadero fastidio (PITA), la medida más efectiva ha sido el bloqueo geográfico total del tráfico de todas las zonas geográficas excepto la zona geográfica de donde proviene la mayor parte del tráfico actualmente.
Hay tantas ASN potencialmente involucradas en este aumento que identificarlas es un proceso lento.
Esto hace que las cosas sean muy inviables a medio y largo plazo.
1 me gusta
Para mí, lo que más importa es la experiencia de los usuarios humanos reales, ya sean miembros o visitantes ocasionales. Mientras mi foro tenga una capacidad de respuesta aceptable, y no me cobren por tráfico adicional, o mi almacenamiento se llene de registros, este tráfico adicional no deseado no es realmente una preocupación.
Por supuesto, es posible que mis costos aumenten si necesito añadir RAM o almacenamiento o CPU, o si necesito pagar por tráfico excesivo. A mí, todavía no me ha sucedido.
2 Me gusta
Sí, la experiencia del usuario es primordial, ese es el objetivo de este tema. Solo existimos por los “usuarios”, pero a veces me pregunto si los desarrolladores y demás olvidan esto. 
Estas cosas de IA cargan tanto el servidor que empiezas a tener errores 50x. Especialmente si intentas una búsqueda. La plataforma puede soportar mucho tráfico y aguantar, pero se vuelve un poco inestable.
Me pregunto con qué especificaciones estás lidiando y si está detrás de CF u otro WAF.
He visto que este aumento de IA afecta a droplets de 4vCPU 8Gb 160+Gb HD, que fácilmente gestionan oleadas de 10 o más usuarios únicos en un pico real de visitantes únicos, empezar a tener serios problemas bajo la succión de la IA.
Ejecutando Discourse en un droplet de nivel de entrada, digamos un droplet de 2GB, muy rápidamente la plataforma comenzará a tambalearse y colapsar, si no está detrás de algo como CF.
Este factor no ocurría antes de la IA, a menos que tuvieras un tema candente. He visto que eso sucedía, pero solo después del hecho, porque no había una diferencia notable en el rendimiento, Discourse manejaba el servicio sin problemas.
Mirando los datos promedio servidos por CF por día, son alrededor de 2Gb/día durante un mes; cuando este enjambre golpeó, saltó a 14GB sin señales de parar, hasta que algunas reglas del WAF pusieron orden en el asalto.
Tener que intensificar la fricción de entrada significa que los usuarios que realmente quieren entrar lo consiguen, tienes que valorar a esos, pero más o menos el tráfico orgánico extra y demás, bueno, eso no va a importar.
Como dije, la viabilidad a medio y largo plazo aquí plantea un problema realmente serio.
Ahora requiere recursos de tiempo y también dinero, uno o ambos. No tengo idea de cómo evitar esto de otra manera que no sea la postura actual, y luego está la opción nuclear, desconectar. He visto sitios cerrarse por menos.
Internet abierto no fue construido pensando en este tipo de juego.
Sin duda, si te encuentras con errores 50x, eso es algo dramático.
Solía operar detrás de Cloudflare y lo volvería a hacer si tuviera un problema: mi pensamiento es que tienen una visión central de todo el tráfico malicioso y pueden responder de manera rápida y centralizada. Creo que tienen ofertas específicas para detener rastreadores de IA mal comportados. No esperaría que los métodos locales funcionen muy bien en esta carrera armamentista.
Así como pago una pequeña tarifa a Mailgun para manejar el correo, lo cual en algún mundo ideal no necesitaría, aceptaría que podría necesitar pagar una pequeña tarifa a alguien para bloquear este tráfico no deseado.