皆さん、こんにちは。
Discourseフォーラム（forum.evteam.pl）を運営していますが、Googleにページがインデックスされない問題に直面しています。数ページはインデックスされていますが、サイトマップを送信したにもかかわらず、ほとんどのページがインデックスされていません。
現在の状況は以下の通りです。
- インデックスされたページは8ページのみ（180ページ以上）。
- インデックスされたページ数は一時的に増加しましたが、その後減少しました。
- Google Search Consoleには172ページが「インデックス未登録」と表示されています。
- サイトマップは長期間承認されていません。
- Googleからの検索パフォーマンスは非常に低く、クリックはほとんどありません。
以下の点を確認しました。
robots.txt – 明らかな制限はありません。
sitemap.xml – 送信済みですが、まだ承認されていません。
noindexタグ – 主要なページには存在しません。
Google Search Console – 手動によるペナルティやセキュリティの問題はありません。
Discourseフォーラムで同様の問題を経験した方はいらっしゃいますか？Googleのインデックスポリシーによるものか、それとも何か見落としている点があるのでしょうか？解決策について何かヒントがあれば教えていただけますでしょうか？
よろしくお願いします！
nat
(Natalie T)
3
確認していただけますか
- \\u003cyoursite\u003e/admin/reports/web_crawlers に Googlebot がリストに含まれているか？
- サイト設定
allowed_crawler_user_agents で、誤って Google をブロックしていないか確認してください（可能であればここに共有してください）。
Discourse SEO overview (sitemap / robots.txt ) は役立つトピックかもしれません。
「いいね！」 1
ご提案ありがとうございます！
- /admin/reports/web_crawlersを確認したところ、Googlebotがリストに含まれているため、フォーラムをクロールしています。
- allowed_crawler_user_agentsリストは空だったので、次のように追加しました：
Googlebot
bingbot
DuckDuckBot
また、Google Search Consoleでサイトマップを再送信し、今後数日間でインデックスの改善を監視します。
Jagster
(Jakke Lehtonen)
5
それは潜在的に悪い考えかもしれません — 他のすべてのボットを無効にできると確信していない限り。Googleは、googlebot文字列を宣言していない多くのクローラーを使用しています。
「いいね！」 2
ご指摘ありがとうございます！Googleが明示的に Googlebot を宣言しない他のクローラーを使用しているとは知りませんでした。
誤って何かをブロックしないように、allowed_crawler_user_agentsリストをクリアします。
