みなさん、こんにちは。
以前は、Google で特定のトピックを検索すると、コミュニティフォーラムから多くの議論が検索結果に表示されていました。しかし最近、コミュニティからの結果が検索結果に表示されなくなったことに気づきました。最近、カテゴリの再編成を行い、多くの議論をクローズしましたが、それ以外の変更は行っていません。
また、robots.txt を すべて許可 に変更しようと試みました：https://community.tyk.io/robots.txt
しかし、Browseo でアクセスすると、依然として 403 Forbidden エラーが表示されます：Your New SEO Browser: Browseo
現在、Google でコミュニティを検索すると、以下の結果が表示されます：
何が間違っているのか分かりません。ご助力いただければ幸いです。また、Discourse コミュニティに関する SEO 関連のブログやチュートリアルをご存知であれば、ぜひ共有してください。どのように改善できるか知りたいです。
ありがとうございます！
「Learn why」リンクをクリックすると、Google 検索結果の下部に表示されるものは何ですか？
Discourse サイトの「whitelisted crawler user agents」または「blacklisted crawler user agents」サイト設定を変更しましたか？
当社の長年の経験から、特別な作業は不要です。ただし、あなたのサイトがウェブ上で十分にリンクされていない場合、時間がかかる可能性があります。ドメインの Google ウェブマスターツールをご確認ください。
ありがとうございます、ジェフ。チームに Google ウェブマスターツールを確認させています。Discourse 側ではスレッドの閉鎖とカテゴリの再分類以外に変更がないため、おそらく Google 側の問題だと思われます。
サイトマップについては詳しくありませんが、Discourse チームのコメントを引用します：
whitelisted crawler user agents
警告！この設定を行うと、ここにリストされていないすべてのクローラーが拒否されます！
名前が黄色で表示されているのは、設定が変更されたことを意味します。
リセットボタンを使ってその設定をクリアしてください。
