Perfis de usuário / Diretório de usuários em robots.txt / Cabeçalho x-robots-tag

Contribuir Bug
1

EDIT: isto se revela ser um bug, veja a postagem #3

Se “Ocultar perfis de usuário do público” estiver marcado, /u não deveria ser proibido no robots.txt?
Caso contrário, os mecanismos de busca encontrarão um 403, o que pode afetar a classificação e a visibilidade.

Isto foi supostamente implementado em 2014 Excluding user profiles in robots.txt (or allow edit of file) - #2 by neil Disallow /users/ in robots.txt · discourse/discourse@8267a45 · GitHub

O único fórum Discourse que encontrei que tem Disallow: /u é o Meta :thinking:

1 curtida
2

Talvez o Meta tenha sido personalizado para que a migração em FIX: Remove /u/ from robots by nattsw · Pull Request #30782 · discourse/discourse · GitHub tenha sido ignorada

3

Boa descoberta, @Moin.

Atualmente, já adicionamos noindex às rotas /u. No entanto, devido ao bloqueio no robots.txt, os mecanismos de busca não conseguem visualizar o cabeçalho.

Portanto, somos remeter a uma alteração anterior FIX: Always noindex /u routes - Pull Request #27712 - discourse/discourse - GitHub

que diz:

Além disso, SiteSetting.hide_user_profiles_from_public gera um Forbidden, o que impede que nosso after_action: add no index header seja acionado.

Este PR garante que o cabeçalho no index seja adicionado via before_action. Podemos considerar remover /u de

discourse/app/controllers/robots_txt_controller.rb

Linha 24 em 2900cbe

DISALLOWED_WITH_HEADER_PATHS = %w[/badges /u/ /my /search /tag//l /g /t//.rss /c/.rss]

Infelizmente, isso nem sempre funciona. Embora /u/rgj tenha o cabeçalho x-robots-tag: noindex, /u/rgj/summary não o tem, então parece que a alteração mais recente está causando alguns efeitos colaterais indesejados.

(Movendo para Contribute > Bug)

1 curtida