TL;DR: Non bloccare le pagine non canoniche: puntale semplicemente a un URL corretto tramite \u003clink rel=\"canonical\" … \u003e: è stato creato per questo.
Questa funzionalità potrebbe danneggiare il link building SEO a lungo termine:
Tutti i deep-link alle risposte all’interno degli argomenti si trovano ora su pagine noindex! A Google piacerà?
In realtà, un tag canonical che punta sempre all’URL dell’argomento, anche per le pagine con deep-link a una risposta, dovrebbe fare perfettamente il suo lavoro, senza aggiungere X-Robots-Tag: noindex:
Alla prima scansione di una pagina con deep-link a una risposta, Google riconosce che l’URL della pagina (risposta all’interno dell’argomento) non corrisponde all’URL canonico e decide quindi di scansionare solo l’URL canonico (argomento).
Possiamo aggiungere Modifica: no, vedi Search engines now blocked from indexing non-canonical pages - #9 by j127\u003ca rel=\"nofollow\" …\u003e a tutti i link che effettuano questo deep-linking argomento-risposta?
In questo modo, potremmo risparmiare ancora di più questo prezioso e limitato budget di scansione dei motori di ricerca:
il motore di ricerca non estrarrebbe il link in primo luogo né effettuerebbe una chiamata all’URL. Poiché la chiamata all’URL comporta una risposta con un’intestazione http X-Robots-Tag: noindex che causa la “scartata” della risposta aggiungendo l’URL all’elenco interno “noindex” dei motori di ricerca.
Ulteriori risparmi sul budget di scansione con nofollow aggiunto agli URL dei feed RSS: