O Google me informou sobre esse problema no meu fórum. Alguma sugestão para corrigi-lo?
Além disso, o Discourse não possui um sitemap. Encontrei um plugin de sitemap, mas minha dúvida é: o sitemap se atualiza constantemente ou preciso reativar o plugin frequentemente para “atualizar” o sitemap?
Fórum referenciado
Quantas páginas/URLs são afetadas por esse problema?
7
10 de abril de 2020
https://voskcointalk.com/u/greer
10 de abril de 2020
10 de abril de 2020
10 de abril de 2020
10 de abril de 2020
9 de abril de 2020
9 de abril de 2020
Sim, as páginas /u/ são excluídas no robots.txt por padrão. Você acha que está perdendo algo ao não indexar os perfis de usuários?
Se a resposta for sim, você pode sobrescrever seu arquivo robots.txt em
Existe algum motivo para eles serem excluídos por padrão? E se alguém quiser pesquisar facilmente por um usuário específico em um fórum, por exemplo, através do Google?
Por exemplo, o Greer do Voskcointalk: se o perfil dele não estiver sendo indexado, isso não seria possível, a menos que o Google apenas linkasse para um tópico dele, obrigando o usuário a navegar diretamente até lá?
Não há conteúdo na visualização do crawler para páginas de perfil, exceto a biografia, e spammers adoram colocar lixo em suas biografias. É melhor, de todos os jeitos, bloquear o rastreamento para evitar que esse lixo seja associado ao site.
Além disso, o Discourse não tem um sitemap. Encontrei um plugin de sitemap, mas minha dúvida é: o sitemap se atualiza constantemente ou eu precisaria reativar o plugin frequentemente para “atualizar” o sitemap?
Você está familiarizado com essa informação? Obrigado pela resposta acima.
Ele atualiza automaticamente.
Evitando bloqueio pelo WAF: (http.request.uri.path eq "/basic-info.json" and http.request.uri.path eq "/posts(/[0-9]+)?") Ignorar tudo.
