Buono a sapersi. Sembra un grande passo nella giusta direzione.
Per quello che vale, abbiamo effettivamente visto alcuni casi nel nostro attuale forum (quando era ancora pubblico) in cui avevamo aggiunto il file robots.txt a determinate sottocartelle del nostro forum, e Google li stava comunque indicizzando. Credo che questo sia altamente irregolare… ma la nostra scoperta è stata che ci sono alcuni casi in cui Google non segue questa direttiva. L’unico modo per essere sicuri al 100% che una pagina non venga indicizzata è che la pagina sia nascosta dietro una schermata di accesso o che la pagina non esista affatto.
Dalla prospettiva di un estraneo, sembra che dovrebbe essere semplice dire a Discourse di non fare lo sforzo aggiuntivo di creare questi URL aggiuntivi per ogni risposta. Il software farebbe meno lavoro e creerebbe meno complessità in questo modo, non credi?
Sarebbe bello avere una funzione nelle impostazioni di amministrazione per disattivare semplicemente questi URL aggiuntivi del tutto.