Uma observação secundária que levanta uma questão: usar o Cloudflare também poderia ajudar na indexação do Google?
Notei algumas melhorias ontem, com tendências positivas de indexação e impressões, mas pode ser apenas coincidência. 
Notei um grande aumento no final de outubro. Estes devem estar passando pelo recurso de mitigação Bloquear Bots de IA do CF.
O CF agora sugere usar o AI Labyrinth:
O AI Labyrinth modifica suas páginas da web adicionando links nofollow que contêm conteúdo gerado por IA para perturbar bots que ignoram os padrões de rastreamento. Os links nofollow adicionados não alteram o conteúdo de suas páginas da web e são visíveis apenas para bots.
Lutar contra IA com IA? 
Corrida armamentista de IA?
1 curtida
É uma corrida armamentista e, como acontece com os spammers, suspeito que sempre será.
Qual é a opção sem o Cloudflare (bunker) como intermediário para mitigar isso, ou é a única opção?
Parece que é tudo ou nada, e nada = tráfego de IA que se comporta como DDOS! 
1 curtida
Este surto é uma verdadeira dor de cabeça (PITA), a medida mais eficaz tem sido o bloqueio geográfico total do tráfego de todas as outras zonas geográficas, exceto a zona geográfica de onde a maioria do tráfego está vindo atualmente.
Existem tantos ASN potencialmente envolvidos neste surto que identificá-los é um processo lento.
Isso torna as coisas inviáveis a médio e longo prazo.
1 curtida
Para mim, o que mais importa é a experiência de usuários humanos reais - sejam membros ou visitantes esporádicos. Contanto que a capacidade de resposta do meu fórum esteja OK, e eu não seja cobrado por tráfego extra, ou meu armazenamento fique cheio de logs, esse tráfego indesejado extra não é realmente uma preocupação.
É claro que é possível que meus custos aumentem se eu precisar adicionar RAM ou armazenamento ou CPUs, ou se eu precisar pagar por tráfego excessivo. Isso ainda não aconteceu, para mim.
2 curtidas
Sim, a experiência do usuário é fundamental, o ponto principal deste tópico. Nós só existimos por causa dos “usuários”, mas às vezes me pergunto se os desenvolvedores e afins esquecem disso. 
Essas coisas de IA sobrecarregam tanto o servidor que você começa a ter erros 50x. Especialmente se você tentar uma busca. A plataforma aguenta muito tráfego e aguenta, mas fica um pouco instável.
Gostaria de saber qual especificação você está lidando e se está atrás do CF ou de outro WAF?
Eu vi esse surto de IA atingir droplets de 4vCPU 8Gb 160+Gb HD, que facilmente gerenciam dezenas de usuários únicos em um verdadeiro surto de visitantes únicos, começando a sofrer muito sob o movimento de sucção da IA.
Executando o Discourse em um droplet de nível de entrada, digamos um droplet de 2GB, muito rapidamente a plataforma começará a ceder e entrar em colapso, se não estiver atrás de algo como o CF.
Esse fator não acontecia antes da IA, a menos que você tivesse um tópico quente. Eu vi isso acontecer, mas só depois do fato, porque não havia diferença perceptível no desempenho, o Discourse lidava com o serviço sem problemas.
Analisando os dados médios servidos pelo CF por dia, são cerca de 2Gb ao longo de um mês; quando esse enxame atingiu, saltou para 14GB sem sinal de parar, até que algumas regras do WAF colocaram ordem no ataque.
Com certeza, se você se deparar com erros 50x, isso é algo drástico.
Eu costumava operar atrás do Cloudflare e faria isso novamente se tivesse um problema: meu raciocínio é que eles têm uma visão central de todo o tráfego malicioso e podem responder de forma rápida e centralizada. Acredito que eles têm ofertas específicas para impedir rastreadores de IA mal-comportados. Eu não esperaria que métodos locais funcionassem muito bem nessa corrida armamentista.
Assim como pago uma pequena taxa ao Mailgun para gerenciar e-mails, o que em algum mundo ideal eu não precisaria, eu aceitaria que talvez precisasse pagar uma pequena taxa a alguém para bloquear esse tráfego indesejado.