Não tenho certeza se isso está relacionado a sitemaps ou hospedagem em nuvem. O Meta é hospedado na AWS, que é um local completamente diferente de onde hospedamos muitos de nossos outros clientes, e começamos a ver resultados muito inconsistentes para o Meta ultimamente e para vários sites em várias opções de hospedagem.
Tenho tentado ajustar algumas coisas para ver se algo ajuda.
-
Não seguimos mais links para
.rss, o que impede o Google de rastrear variantes/1/2etc. de um tópico que compartilham o mesmo canônico. -
Dizemos explicitamente ao Google para não seguir links dentro do feed
.rss, caso ele receba um feed rss. -
Desativei temporariamente alguns ajustes canônicos que fizemos - que mostraram promessa: Search engines now blocked from indexing non-canonical pages
Os sintomas que estou observando aqui no Meta são que
- O Google está rastreando TODO o conteúdo, posso ver isso nos weblogs
- Apesar de rastrear as páginas, cerca de 50% dos novos tópicos recentes do Meta não estão aparecendo no índice.
Isso é extremamente preocupante, o Google nos dá muito pouca visibilidade de “por quê?” aqui.
Meu próximo passo é obter mais dados e um relatório contínuo. Provavelmente usaremos o serpapi para descobrir quais páginas estão faltando no Google e tentar descobrir um padrão.