TL;DR : Ne bloquez pas les pages non canoniques - pointez-les simplement vers une URL correcte via \u003clink rel=\"canonical\" … \u003e - c’est à cela qu’elle sert.
Cette fonctionnalité pourrait nuire au SEO et à la création de liens à long terme :
Tous les liens profonds vers les réponses à l’intérieur des sujets sont désormais sur des pages noindex ! Google apprécie-t-il cela ?
En fait, une balise canonical pointant toujours vers l’URL du sujet - même pour les pages de liens profonds vers une réponse - devrait parfaitement faire l’affaire - sans ajouter X-Robots-Tag: noindex :
Lors du premier parcours d’une page de réponse avec lien profond, Google reconnaît que l’URL de la page (réponse dans le sujet) ne correspond pas à l’URL canonique et décide alors de ne parcourir que l’URL canonique (sujet).
Pouvons-nous ajouter Edit : non, voir Search engines now blocked from indexing non-canonical pages - #9 by j127\u003ca rel=\"nofollow\" … \u003e à tous les liens effectuant ce lien profond sujet-réponse ?
Nous pourrions ainsi économiser davantage ce budget d’exploration précieux et limité des moteurs de recherche :
le moteur de recherche n’extrairait pas le lien en premier lieu, ni n’appellerait l’URL. L’appel à l’URL entraînant une réponse avec un en-tête http X-Robots-Tag: noindex provoquant le “rejet” de la réponse en ajoutant l’URL à la liste interne “noindex” des moteurs de recherche.
Quelques économies supplémentaires sur le budget d’exploration avec nofollow ajouté aux URL des flux RSS :