Isso não é exatamente um bug, mas sim uma tentativa de obter mais informações sobre o que parece ser um rastreador de IA agressivo.
No meu painel de análise do Cloudflare, vejo 60% das requisições HTTP vindas de um user-agent com “Discourse” no nome, notadamente: lfc-discourse-public-crawler. O user-agent completo é lfc-discourse-public-crawler/0.1 (+public Discourse API archival crawl). Nunca vi esse user-agent antes.
Informações adicionais:
Acessa apenas a versão .json de um tópico.
Parece estar operando a partir de Singapura.
O IP aponta para speedypage.com.
Navegador: desconhecido/outros.
SO: desconhecido/outros.
E não parece estar afiliado ao Discourse. Mas com um nome assim, talvez seja bom que vocês também estejam cientes disso.
Obrigado, @awesomerobot. Esta pode de fato ser a ferramenta usada aqui. Como não estou arquivando nada com tal ferramenta, parece que outra pessoa está fazendo (ou tentando fazer) uma cópia de todo o meu conteúdo.
Como medida para tentar impedir isso, bloqueei o user-agent via robots.txt. E também bloqueei todas as solicitações vindas de Cingapura. Vou reavaliar em sete dias.
robots.txt é apenas uma sugestão educada. Por si só, ele não impede nada. Mas, se um user agent seguir essas regras, isso indica que o bot não é malicioso.
Devemos realizar essas operações no nível do nginx
