Una osservazione a latere che pone una domanda: l’uso di Cloudflare potrebbe anche aiutare con l’indicizzazione di Google?
Ho notato alcuni miglioramenti ieri, un trend positivo di indicizzazione e impressioni, ma potrebbe essere solo una coincidenza. 
Ho notato un forte aumento verso la fine di ottobre. Questi devono superare la funzione di mitigazione Blocca Bot IA di CF.
CF ora suggerisce di usare AI Labyrinth:
AI Labyrinth modifica le tue pagine web aggiungendo link nofollow che contengono contenuti generati dall’IA per interrompere i bot che ignorano gli standard di scansione. I link nofollow aggiunti non alterano il contenuto delle tue pagine web e sono visibili solo ai bot.
Combattere l’IA con l’IA? 
Corsa agli armamenti dell’IA?
È una corsa agli armamenti e, come con gli spammer, sospetto che lo sarà sempre.
Qual è l’opzione senza Cloudflare (bunker antiatomico) come intermediario per mitigare questo, o è l’unica opzione?
Sembra che sia tutto o niente, e niente = traffico AI che si comporta come un DDOS! 
Questo picco è davvero una seccatura (PITA), la misura più efficace è stata il blocco geografico totale del traffico da ogni altra zona geografica, ad eccezione della zona geografica da cui proviene attualmente la maggior parte del traffico.
Ci sono così tanti ASN potenzialmente coinvolti in questo picco che individuarli è un processo lento.
Questo rende le cose molto non sostenibili nel medio-lungo periodo.
Per me, ciò che conta di più è l’esperienza degli utenti umani reali, che siano membri o semplici visitatori. Finché la reattività del mio forum è accettabile, e non mi vengono addebitati costi per traffico extra, o il mio spazio di archiviazione non si riempie di log, questo traffico indesiderato in più non è una vera preoccupazione.
Naturalmente è possibile che i miei costi aumentino se dovessi aggiungere RAM o spazio di archiviazione o CPU, o se dovessi pagare per traffico eccessivo. Per me, non è ancora successo.
Sì, l’esperienza utente è fondamentale, è il punto centrale di questo argomento. Esistiamo solo grazie agli “utenti”, ma a volte mi chiedo se gli sviluppatori e simili lo dimentichino. 
Queste cose IA caricano così tanto il server che si iniziano a ottenere errori 50x. Soprattutto se si tenta una ricerca. La piattaforma può gestire molto traffico e resistere, ma diventa un po’ scattosa.
Mi chiedo con quale specifica si abbia a che fare e se sia dietro CF o un altro WAF?
Ho visto questo picco di IA colpire droplet 4vCPU 8Gb 160+Gb HD, che gestiscono facilmente decine di utenti unici colpiti da un vero picco di visitatori unici, iniziare a soffrire davvero sotto la suzione dell’IA.
Eseguendo Discourse su un droplet entry-level, diciamo un droplet da 2GB, molto rapidamente la piattaforma inizierà a cedere e collassare, se non è protetta da qualcosa come CF.
Questo fattore non si verificava prima dell’IA, a meno che non ci fosse un argomento caldo. L’ho visto accadere, ma solo dopo, perché non c’era una differenza percepibile nelle prestazioni, Discourse gestiva il servizio senza problemi.
Guardando i dati medi di CF serviti al giorno, sono circa 2Gb al giorno su un mese, quando questo sciame ha colpito è saltato a 14GB senza segno di fermarsi, finché alcune regole del WAF non hanno messo ordine nell’assalto.
Dover intensificare l’attrito all’ingresso significa che gli utenti che vogliono davvero entrare ci riescono, devi dare valore a quelli, ma più o meno il traffico organico extra e così via, beh, quello non darà fastidio.
Come ho detto, la sostenibilità a medio-lungo termine qui pone un problema davvero serio.
Ora richiede risorse di tempo e anche denaro, uno o entrambi. Non ho idea di come aggirare questo problema in altro modo, se non con la postura attuale, e poi c’è l’opzione nucleare, staccare la spina. Ho visto siti chiudere per meno.
Internet aperto non è stato costruito pensando a questo tipo di gioco.
Certamente, se ti trovi a servire errori 50x, è qualcosa di drammatico.
In passato utilizzavo Cloudflare e lo rifarei se avessi un problema: il mio pensiero è che abbiano una visione centrale di tutto il traffico dannoso e possano rispondere rapidamente e centralmente. Credo che abbiano offerte specifiche per bloccare i crawler AI malintenzionati. Non mi aspetterei che i metodi locali funzionino molto bene in questa corsa agli armamenti.
Proprio come pago una piccola tariffa a Mailgun per gestire la posta, cosa di cui in un mondo ideale non avrei bisogno, accetterei di dover pagare una piccola tariffa a qualcuno per bloccare questo traffico indesiderato.