Sur mon forum, il existe des catégories qui nécessitent un certain niveau de TL pour être lues.
Google essaie de les explorer et obtient une erreur. Celles-ci devraient-elles être automatiquement exclues par robots.txt ?
D’où Google obtient-il les liens, ces sujets apparaissent-ils dans un plan de site ?
Hmm. Excellente question. Je vois que l’URL canonique des fils de discussion ne contient pas le category_id et ne peut donc pas être facilement filtrée. En supposant qu’elle ne figure pas dans les sitemaps, si Google trouve le lien ailleurs, il n’y a pas de blocage facile, à moins d’inclure chaque URL individuelle dans robots.txt, ce qui n’est pas une approche judicieuse.