Se non hai personalizzato il file robots.txt, non dovrai fare nulla… disallow sta già svolgendo gran parte del lavoro.
Per impostazione predefinita, Discourse utilizza sia disallow che noindex nel file robots.txt.
Nel post del blog su questo aggiornamento, Google suggerisce di utilizzare disallow, cosa che facciamo già. Utilizziamo anche noindex per contribuire a evitare il problema di linking menzionato da Google (ho messo in evidenza la parte rilevante)…
Disallow in robots.txt: I motori di ricerca possono indicizzare solo le pagine di cui sono a conoscenza, quindi bloccare la scansione della pagina significa solitamente che il suo contenuto non verrà indicizzato. Sebbene il motore di ricerca possa anche indicizzare un URL in base a collegamenti da altre pagine, senza vedere il contenuto stesso, miriamo a rendere tali pagine meno visibili in futuro.
Da parte nostra, valuteremo un aggiornamento per aggiungere il tag meta noindex o utilizzare l’intestazione X-Robots-Tag nelle nostre risposte HTTP per garantire che Google non indichi il collegamento quando appare su altre pagine (aggiorneremo questo argomento con eventuali modifiche).
Se hai aggiunto regole personalizzate noindex al file robots.txt tramite la pagina di amministrazione /admin/customize/robots, dovresti modificarle in disallow