Problema di indicizzazione di Google (robots.txt)

Google mi ha segnalato questo problema relativo al mio forum; avete qualche suggerimento per risolverlo?

Inoltre, Discourse non ha una sitemap. Ho trovato un plugin per la sitemap, ma la mia domanda è: la sitemap si aggiorna costantemente o devo riattivare frequentemente il plugin per “aggiornare” la sitemap?

Forum di riferimento

Quante pagine o URL sono interessati da questo problema?

7

:loudspeaker:

:downwards_button:

10 apr 2020

https://voskcointalk.com/u/greer

10 apr 2020

10 apr 2020

10 apr 2020

10 apr 2020

9 apr 2020

9 apr 2020

Sì, le pagine /u/ sono escluse nel file robots.txt per impostazione predefinita. Credi di perdere qualcosa non indicizzando i profili utente?

Se la risposta è sì, puoi sovrascrivere il tuo file robots.txt in

https://voskcointalk.com/admin/customize/robots

C’è un motivo per cui sono esclusi di default? E se qualcuno volesse cercare facilmente un utente specifico su un forum tramite Google, per esempio?

Se il profilo di Greer su Voscointalk non viene indicizzato, non sarebbe possibile trovarlo direttamente, a meno che Google non colleghi solo a un thread in cui è presente, costringendo l’utente a navigare fino a quel thread.

Nella vista del crawler per le pagine dei profili non c’è altro contenuto oltre alla biografia, e gli spammer adorano inserire spazzatura nelle loro bio. È meglio in generale bloccare l’indicizzazione per evitare che la spazzatura venga associata al sito.

Anche Discourse non ha una sitemap. Ho trovato un plugin per la sitemap, ma la mia domanda è: la sitemap si aggiorna costantemente o devo riavviare frequentemente il plugin per “aggiornare” la sitemap?

Sei a conoscenza di queste informazioni? Grazie per la risposta precedente.

Si aggiorna automaticamente.

Evitare il blocco da parte del WAF: (http.request.uri.path eq "/basic-info.json" and http.request.uri.path eq "/posts(/[0-9]+)?") Ignora tutto.