Por que o Google não está rastreando meu site?

Olá a todos,

Antes, costumávamos receber um bom número de discussões do nosso fórum da comunidade quando pesquisávamos alguns tópicos no Google. Mas recentemente, notamos que não vemos mais nenhum resultado da comunidade nos resultados de busca. Fizemos uma reorganização de categorias e fechamos várias discussões recentemente. Essa foi a única alteração.

Também tentamos alterar o arquivo robots.txt para permitir tudo: https://community.tyk.io/robots.txt

No entanto, ainda estamos recebendo um erro 403 Forbidden ao usar o Browseo: Your New SEO Browser: Browseo

Até o momento, quando pesquisamos pela comunidade no Google, este é o resultado:

Não temos certeza do que estamos fazendo de errado. Qualquer ajuda seria muito apreciada. Além disso, em geral, se houver blogs ou tutoriais sobre SEO em comunidades Discourse, por favor, compartilhem. Gostaríamos muito de saber como podemos melhorar.

Obrigado!

O que você vê ao clicar no link “Saiba por quê” que é exibido na parte inferior do resultado da pesquisa do Google?

Você fez alguma alteração nas configurações do site do Discourse agentes de usuário de rastreadores na lista branca ou agentes de usuário de rastreadores na lista negra?

Na nossa experiência de anos, você não precisa fazer nada. No entanto, se o seu site não estiver bem vinculado na web, pode levar algum tempo. Consulte as Ferramentas para Webmasters do Google para o seu domínio.

Sou redirecionado para esta página no Suporte do Google.

Acho que não.

Obrigado, Jeff. Estou pedindo à equipe para investigar o Google Webmaster Tools. Provavelmente é um problema do Google, pois realmente não alteramos nada no Discourse, exceto fechar tópicos e recategorizá-los.

Não sei nada sobre sitemaps, mas vou citar a equipe do Discourse sobre isso:

whitelisted crawler user agents
AVISO! DEFINIR ISSO VAI BLOQUEAR TODOS OS CRAWLERS QUE NÃO ESTIVEREM LISTADOS AQUI!

O nome em amarelo significa que a configuração foi modificada.
Redefina essa configuração usando o botão de redefinir.