Recentemente, notei que o número de páginas indexadas no Google Developer Console está diminuindo a cada dia.
O conteúdo criado no fórum é inteiramente por usuários reais e é 100% original. No painel de administração do Discourse, vejo que a proporção DAU/MAU é de 38%. Portanto, tenho um fórum muito ativo. Alguém tem alguma ideia do que pode ser a diminuição das páginas indexadas? Estou usando a versão mais recente do Discourse (3.2.0.beta4-dev).
Se você descer até a página “Páginas”, ela terá uma lista de motivos pelos quais as páginas não estão indexadas. Alguns motivos (“Página com redirecionamento”, “Excluída por tag ‘noindex’”, “Página alternativa com tag canônica adequada”, etc.) não valem a pena se preocupar. Mas “Rastejada - atualmente não indexada” e “Descoberta - atualmente não indexada” podem ser agendadas para indexação. Acho que é apenas o Google levando seu tempo para indexar as coisas. “Erro de servidor (5xx)” e “Não encontrado (404)” geralmente são o resultado de tempo de inatividade do site e esses também podem ser reindexados.
Do ponto de vista do retorno sobre o investimento, não tenho certeza do quanto vale a pena solicitar a indexação. Provavelmente não faz mal fazê-lo se você já estiver olhando os relatórios. Parece apenas apertar o botão “fechar porta” em um elevador. Parece tão provável quanto não ser uma ilusão de controle 
A exceção, é claro, é se os motivos para não indexar uma página puderem ser rastreados até um problema em seu site. Pela minha experiência, o Google faz um bom trabalho explicando o problema se ele o identificar.
Deve haver algum tipo de cronjob configurado nos bastidores.
