Perfiles de usuario / Directorio de usuarios en robots.txt / cabecera x-robots-tag

Error
1

EDIT: esto resulta ser un error, ver la publicación n.º 3

Si está marcada la opción “Ocultar perfiles de usuario del público”, ¿no debería denegarse /u en robots.txt?
De lo contrario, los motores de búsqueda obtendrán un 403, lo que podría afectar la clasificación y la visibilidad.

Supuestamente, esto se implementó en 2014 Excluding user profiles in robots.txt (or allow edit of file) - #2 by neil Disallow /users/ in robots.txt · discourse/discourse@8267a45 · GitHub

El único foro de Discourse que pude encontrar que tiene Disallow: /u es Meta :thinking:

2

Quizás Meta fue personalizado para que la migración en FIX: Remove /u/ from robots by nattsw · Pull Request #30782 · discourse/discourse · GitHub se omitiera

3

Buen hallazgo @Moin

Actualmente, ya añadimos noindex a las rutas /u. Sin embargo, debido a que robots.txt bloquea esto, los motores de búsqueda no pueden ver la cabecera.

Entonces se nos remite a un cambio anterior FIX: Always noindex /u routes by nattsw · Pull Request #27712 · discourse/discourse · GitHub

que dice

En segundo lugar, SiteSetting.hide_user_profiles_from_public lanza un Forbidden, lo que impide que se active nuestra after_action: add no index header.

Este PR asegura que la cabecera noindex se añada mediante before_action en su lugar. Podríamos considerar eliminar /u de

discourse/app/controllers/robots_txt_controller.rb

Línea 24 en 2900cbe

DISALLOWED_WITH_HEADER_PATHS = %w[/badges /u/ /my /search /tag//l /g /t//.rss /c/.rss]

Lamentablemente, eso no siempre funciona. Mientras que /u/rgj sí tiene una cabecera x-robots-tag: noindex, /u/rgj/summary no la tiene, por lo que parece que el cambio más reciente está teniendo algunos efectos secundarios no deseados.

(Moviendo a Bug)

1 me gusta