Você alterou os user agents de crawler na lista de permissões ou os user agents de crawler na lista de bloqueio?
Você também pode querer ver:
https://meta.discourse.org/t/why-isnt-google-indexing-discourse-seo-concerns/218098
Há muita informação útil lá.