Le robot d'exploration bloqué nécessite une connexion sur les pages restreintes

Sur mon forum, il existe des catégories qui nécessitent un certain niveau de TL pour être lues.

Google essaie de les explorer et obtient une erreur. Celles-ci devraient-elles être automatiquement exclues par robots.txt ?

D’où Google obtient-il les liens, ces sujets apparaissent-ils dans un plan de site ?

2 « J'aime »

Hmm. Excellente question. Je vois que l’URL canonique des fils de discussion ne contient pas le category_id et ne peut donc pas être facilement filtrée. En supposant qu’elle ne figure pas dans les sitemaps, si Google trouve le lien ailleurs, il n’y a pas de blocage facile, à moins d’inclure chaque URL individuelle dans robots.txt, ce qui n’est pas une approche judicieuse.

1 « J'aime »

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.