Ho avuto 2 occasioni di picchi, l’8 e il 18 gennaio, entrambe da Yandex, il crawler web russo. Entrambi i tentativi di scansione sono aumentati più del doppio. Il più grande “snoop” nel tempo è petalbot da PetalSearch.com. Hanno avuto tra 4x e 6x il numero di scansioni rispetto a Yandex e ad altri bot.
1 Mi Piace
1 Mi Piace
Un altro bot che ha causato un picco di visualizzazioni di pagine eccessive in un singolo giorno.
Data: 2023-02-23
1 Mi Piace
pensano di essere legittimi, chiaramente sbagliato però
1 Mi Piace
Un altro bot che ha causato un picco di visualizzazioni di pagine eccessive in un singolo giorno.
Data: 2023-05-04
1 Mi Piace
A volte quei colpi sono di bot legittimi. A volte… qualcos’altro. Gli indirizzi IP rivelano spesso la verità.
Comunque, sono totalmente inutili e fondamentalmente rubano solo contenuti senza mai restituire nulla. L’unico modo per fermarli è un proxy inverso. Ma per quanto ne so, la situazione è buona con Discourse perché non hanno aumentato molto il carico. Nel mondo WordPress, una situazione del genere potrebbe mettere giù un sito.
2 Mi Piace
Grazie per aver reso il mio punto!
1 Mi Piace
come vedi questo?
1 Mi Piace
Sembra uno dei report standard. Dovresti essere in grado di trovare il tuo su /admin/reports/web_crawlers 
3 Mi Piace
AI Summary:
La discussione riguarda picchi di pageview da bot crawler web sui siti Discourse. Alcuni bot identificati come causa di grandi picchi di pageview includono:
- Bot MegaIndex: ha effettuato circa 4.000 pageview in un giorno
- MJ12bot: ha effettuato oltre 5.000 pageview in un giorno
- Bot Seekport: ha causato picchi in più occasioni
- Bot Yandex: ha causato un raddoppio delle pageview in due occasioni
- PetalBot da PetalSearch.com: ha effettuato scansioni di pagine 4-6 volte superiori rispetto ad altri bot
- Bot DataForSEO: ha causato un picco di oltre 15.000 pageview in un giorno
Questi picchi possono talvolta causare problemi di performance. Modi per limitare il traffico dei bot includono l’uso di robots.txt, anche se non tutti i bot lo rispettano. Altre opzioni sono il blocco a livello di server e l’uso di un reverse proxy. I bot sono visti come “furti di contenuti” senza fornire valore.
1 Mi Piace
@Bas
Hai pubblicato qui un riassunto generato dall’IA, in risposta a una mia richiesta, e ora è sparito.
L’hai cancellato?
Ah sì, l’ho fatto, perché anche la tua richiesta originale è stata rimossa 
L’ho ripristinata ora
Grazie.
Tendo a rimuovere le risposte che dopo un po’ di tempo non hanno più valore per la lettura dell’argomento, ma che non lasciano buchi nell’argomento. Poiché si trattava di una semplice richiesta e tu hai creato il riassunto, non c’era bisogno che altri leggessero la richiesta ogni volta che visitavano questo argomento.
È un’abitudine che ho preso dai siti di StackExchange, dove lasciavo commenti e poi li cancellavo. Ci sono anche altri commenti più utili che ho creato per me e per gli altri, ma non direttamente correlati all’argomento, che iniziano con Di interesse. Probabilmente ho qualche centinaio di tali commenti sui siti di StackExchange. Volevo davvero qualcosa del genere per Discourse, ma il suggerimento non ha mai preso piede.
1 Mi Piace
Nel controllo delle visite al nostro sito, le visualizzazioni di pagina sono state estremamente insolite. Guardando la panoramica generale
l’eccesso inizia il 23-10-2023 con quello che presumo sia un utente anonimo.
Un controllo di
mostra che l’aumento si trasforma in alcuni bot che non ho immediatamente riconosciuto
- fidget-spinner-bot
- my-tiny-bot
- thesis-research-bot
Sto solo passando queste informazioni perché potrebbero esserti utili.
2 Mi Piace
Succede anche a me
3 Mi Piace
Penso che abbiamo visto un paio di istanze di questo. Sembra che sia un crawler che non si dichiara come tale, quindi viene conteggiato come visualizzazioni ‘anonime’.
1 Mi Piace
(Modifica dell’autore - questo post era originariamente un nuovo thread, ora unito qui, il che va bene. Il titolo era “Curiosità: grande riduzione delle visite dei crawler dall’inizio di novembre (2023)”)
A questo punto non credo sia cambiato nulla da parte mia:
Qualcun altro ha notato qualcosa di simile?
Non c’è un grande scambio di numeri tra Anon e Crawler, quindi non si tratta di un cambio di categorizzazione.
3 Mi Piace
Sì
Dai un’occhiata a questo topic e in particolare a questo post
Dato che hai pubblicato un report Consolidated Pageviews, presumo che tu abbia accesso amministrativo.
/admin/reports/consolidated_page_views
utilizza anche
/admin/reports/web_crawlers
per identificare quale web crawler sta generando le visualizzazioni di pagina.
Come alcuni di noi hanno scoperto, questi bot sono apparsi di recente e stanno causando gli alti numeri
- fidget-spinner-bot
- my-tiny-bot
- thesis-research-bot
1 Mi Piace
Ah sì, avevo visto quell’argomento, che riguardava gli aumenti. Ma in effetti, tutti e tre erano responsabili dei numeri elevati - dopo l’8, sono tutti spariti e siamo tornati a una sorta di livello di base. Il che spiega la diminuzione.
(Moderatori: va bene incollare questo thread in fondo a quello.) (Modifica: grazie moderatori!)
3 Mi Piace