Problème d'indexation Google (robots.txt)

Google m’a signalé ce problème concernant mon forum. Avez-vous des suggestions pour le résoudre ?

De plus, Discourse ne dispose pas de plan de site. J’ai trouvé un plugin de plan de site, mais ma question à ce sujet est la suivante : le plan de site se met-il à jour automatiquement, ou dois-je réinitialiser fréquemment le plugin pour « mettre à jour » le plan de site ?

Forum référencé

Combien de pages / URL sont touchées par ce problème ?

7

10 avril 2020

https://voskcointalk.com/u/greer

10 avril 2020

10 avril 2020

10 avril 2020

10 avril 2020

9 avril 2020

9 avril 2020

Oui, les pages /u/ sont exclues par défaut dans le fichier robots.txt. Pensez-vous manquer quelque chose en ne mettant pas en index les profils utilisateurs ?

Si la réponse est oui, vous pouvez remplacer votre fichier robots.txt sur :

https://voskcointalk.com/admin/customize/robots

Y a-t-il une raison pour laquelle ils sont exclus par défaut ? Que se passe-t-il si quelqu’un souhaite rechercher facilement un utilisateur spécifique sur un forum via Google, par exemple ?

Si le profil de Greer Voskcointalk n’est pas indexé, cela ne serait pas possible, sauf si Google se contente de lier à un de ses fils de discussion, obligeant alors l’utilisateur à naviguer directement vers celui-ci ?

Il n’y a pas de contenu dans la vue du crawler pour les pages de profil, à part la biographie, et les spammeurs adorent y mettre des déchets. Il est préférable, dans l’ensemble, de bloquer le crawling pour empêcher que ces déchets soient associés au site.

De plus, Discourse n’a pas de sitemap. J’ai trouvé un plugin de sitemap, mais ma question à ce sujet est la suivante : le sitemap se met-il à jour en continu ou devrais-je réinitialiser fréquemment le plugin pour « mettre à jour » le sitemap ?

Êtes-vous familier avec ces informations ? Merci pour la réponse ci-dessus.

Il se met à jour automatiquement.

Éviter le blocage par WAF : (http.request.uri.path eq "/basic-info.json" and http.request.uri.path eq "/posts(/[0-9]+)?") Ignorer tout.