Пожалуйста, проверьте:
- <yoursite>/admin/reports/web_crawlers, чтобы убедиться, что Googlebot есть в списке?
- Настройку сайта
allowed_crawler_user_agents, чтобы случайно не заблокировать Google (пожалуйста, поделитесь ею здесь, если возможно)
Discourse SEO overview (sitemap / robots.txt) может быть полезной темой для вас.