Desativar ou contornar a detecção de recursos para o Googlebot (ao servir o aplicativo JS para rastreadores)

Você estava trabalhando em algo que mudou a forma como o Discourse é rastreado, como tentar usar o prerender nele então?

Se você verificar seu relatório de páginas de destino no GA, ele fornece alguma pista sobre qual parte do site foi afetada?


Para o site principal, se John Muller sugeriu que há problemas de qualidade, eu revisaria a documentação de qualidade deles e me perguntaria se alguma delas se aplica.

De uma olhada rápida, você tem cadeias de redirecionamento do site de 2019 que podem ser mais longas do que o Google consegue rastrear.

Um candidato a uma penalidade súbita é que os URLs do site de 2019 têm 6 redirecionamentos, mas o Google diz para mantê-los “abaixo de 5” ou eles podem não seguir os redirecionamentos. Isso pode ter feito parecer ao Google que as páginas antigas desapareceram da Web.

Exemplo:

curl -sSL -D - http://flynumber.com/virtual-phone-number/united-states_alexandria_1-318 -o /dev/null -H 'User-Agent: header_bot'

Os redirecionamentos são provavelmente os mais fáceis de corrigir. Em vez de fazê-los assim:

/a → /b → /c → /d → /e → /final-destination

Eu faria assim:

/a → /final-destination
/b → /final-destination
/c → /final-destination
/d → /final-destination
/e → /final-destination

(Parece que você também tem páginas de entrada e sinonimização automática, mas eu tentaria corrigir o problema mais simples primeiro, já que isso pode ser suficiente.)