Perfis de usuário / Diretório de usuários em robots.txt / Cabeçalho x-robots-tag

Bug
1

EDIT: isto se revela ser um bug, veja a postagem #3

Se “Ocultar perfis de usuário do público” estiver marcado, /u não deveria ser proibido no robots.txt?
Caso contrário, os mecanismos de busca encontrarão um 403, o que pode afetar a classificação e a visibilidade.

Isto foi supostamente implementado em 2014 Excluding user profiles in robots.txt (or allow edit of file) - #2 by neil Disallow /users/ in robots.txt · discourse/discourse@8267a45 · GitHub

O único fórum Discourse que encontrei que tem Disallow: /u é o Meta :thinking:

2

Talvez o Meta tenha sido personalizado para que a migração em FIX: Remove /u/ from robots by nattsw · Pull Request #30782 · discourse/discourse · GitHub tenha sido ignorada

3

Boa descoberta @Moin

Atualmente, já adicionamos noindex às rotas /u. No entanto, como o robots.txt está bloqueando isso, os mecanismos de pesquisa não conseguem ver o cabeçalho.

Então somos remetidos a uma alteração anterior FIX: Always noindex /u routes by nattsw · Pull Request #27712 · discourse/discourse · GitHub

que diz

Em segundo lugar, SiteSetting.hide_user_profiles_from_public gera um Forbidden, o que impede que nossa after_action: add no index header seja acionada.

Este PR garante que o cabeçalho noindex seja adicionado via before_action em vez disso. Podemos considerar remover /u de

discourse/app/controllers/robots_txt_controller.rb

Linha 24 em 2900cbe

DISALLOWED_WITH_HEADER_PATHS = %w[/badges /u/ /my /search /tag//l /g /t//.rss /c/.rss]

Infelizmente, isso nem sempre funciona. Embora /u/rgj tenha um cabeçalho x-robots-tag: noindex, /u/rgj/summary não tem, então parece que a alteração mais recente está tendo alguns efeitos colaterais indesejados.

(Movendo para Bug)

1 curtida