Tive 2 ocasiões de picos, em 8 e 18 de janeiro - ambas as vezes do Yandex, o rastreador da web russo. Ambas as tentativas de rastreamento aumentaram mais do que o dobro. O maior espião ao longo do tempo é o petalbot do PetalSearch.com. Eles tiveram entre 4x e 6x o número de varreduras do que o Yandex e outros bots.
1 curtida
1 curtida
Outro bot resultando em um outlier de visualizações excessivas de página em um único dia.
Data: 2023-02-23
1 curtida
eles parecem pensar que são legítimos, claramente errado embora
1 curtida
Outro bot resultando em um outlier de visualizações excessivas de página em um único dia.
Data: 2023-05-04
1 curtida
Às vezes, esses acessos são de bots legítimos. Às vezes… algo mais. Endereços IP frequentemente revelam a verdade.
De qualquer forma, eles são totalmente inúteis e basicamente só roubam conteúdo e nunca devolvem nada. A única maneira de pará-los é com um proxy reverso. Mas, que eu saiba, a situação é boa com o Discourse porque eles não aumentaram tanto a carga. No mundo WordPress, tal situação poderia colocar um site fora do ar.
2 curtidas
Obrigado por reforçar meu ponto!
1 curtida
Como você vê isso?
1 curtida
Parece um dos relatórios padrão. Você deve conseguir encontrar o seu em /admin/reports/web_crawlers 
3 curtidas
Resumo de IA:
A discussão é sobre picos de visualizações de página de bots rastreadores da web em sites Discourse. Alguns bots que foram identificados como causadores de grandes picos de visualizações de página incluem:
- Bot MegaIndex: fez cerca de 4.000 visualizações de página em um dia
- MJ12bot: fez mais de 5.000 visualizações de página em um dia
- Bot Seekport: causou picos em várias ocasiões
- Bot Yandex: fez com que as visualizações de página mais do que dobrassem em duas ocasiões
- PetalBot de PetalSearch.com: fez de 4 a 6 vezes mais varreduras de página do que outros bots
- Bot DataForSEO: causou um pico de mais de 15.000 visualizações de página em um dia
Esses picos às vezes podem causar problemas de desempenho. As maneiras de limitar o tráfego de bots incluem o uso de robots.txt, embora nem todos os bots respeitem isso. Outras opções são o bloqueio em nível de servidor e o uso de um proxy reverso. Os bots são vistos como “roubando conteúdo” sem fornecer valor.
1 curtida
Você postou um resumo gerado por IA aqui, em resposta a um pedido meu, e agora ele sumiu.
Você o excluiu?
Ah sim, eu fiz, porque sua solicitação original também foi removida 
Restaurei agora
Obrigado.
Eu tendo a remover respostas que, após algum tempo, não têm mais valor para a leitura do tópico, mas que não deixam lacunas no tópico. Como foi um pedido simples e você criou o resumo, não havia necessidade de outras pessoas lerem o pedido toda vez que visitavam este tópico.
É um hábito que adquiri nos sites do StackExchange, onde eu deixava comentários e depois os apagava. Há também outros comentários mais úteis que criei para mim e para outros, mas não diretamente relacionados ao tópico, que começam com De interesse. Provavelmente tenho algumas centenas de tais comentários em sites do StackExchange. Realmente queria algo assim para o Discourse, mas a sugestão nunca ganhou força.
1 curtida
Ao verificar as visitas ao nosso site, as visualizações de página foram extremamente incomuns. Olhando para a visão geral de alto nível
o excesso começa em 23/10/2023 com o que eu imagino ser um usuário anônimo.
Uma verificação de
mostra que o aumento se transforma em alguns bots que eu não reconheci imediatamente
- fidget-spinner-bot
- my-tiny-bot
- thesis-research-bot
Apenas passando essa informação adiante, pois pode ter valor para você.
2 curtidas
Acontece comigo também
3 curtidas
Acho que vimos alguns casos disso. Parece ser um rastreador que não se identifica como rastreador, por isso é contado como visualizações ‘anônimas’.
1 curtida
(Edição do autor - esta postagem era originalmente um novo tópico, desde então mesclado aqui, o que é bom. O título era “Curiosidade: grande redução nas visitas de crawlers desde o início de novembro (2023)”)
Neste ponto, não acredito que nada tenha mudado do meu lado:
Mais alguém viu algo semelhante?
Não há uma grande troca de números entre Anon e Crawler, então não é uma mudança de categorização.
3 curtidas
Sim
Dê uma olhada neste tópico e especificamente neste post
Como você postou um relatório de Visualizações de Página Consolidadas, presumo que você tenha acesso de administrador.
/admin/reports/consolidated_page_views
use também
/admin/reports/web_crawlers
para identificar qual rastreador da web está gerando as visualizações de página.
Como alguns de nós descobriram, esses bots apareceram recentemente e estão causando os altos números
- fidget-spinner-bot
- my-tiny-bot
- thesis-research-bot
1 curtida
Ah sim, eu tinha visto esse tópico, que era sobre aumentos. Mas de fato, todos os três foram responsáveis pelos altos números - depois do dia 8, todos eles sumiram, e voltamos a algum tipo de linha de base. O que explica a diminuição.
(Mods: tudo bem colar este tópico no final daquele.) (Editar: obrigado mods!)
3 curtidas