Google не индексирует форум Discourse – карта сайта не утверждена

Поддержка
1

Всем привет,

Я запускаю форум на Discourse (forum.evteam.pl) и сталкиваюсь с проблемой индексации моих страниц в Google. Хотя несколько страниц уже проиндексированы, большинство остаются неиндексированными, несмотря на отправку карты сайта.

Вот текущая ситуация:

  • Проиндексировано только 8 страниц из более чем 180.
  • Количество проиндексированных страниц ненадолго увеличилось, но затем снова снизилось.
  • Google Search Console показывает 172 страницы как неиндексированные.
  • Карта сайта давно не одобрена.
  • Производительность в поиске очень низкая, практически нет кликов из Google.

GSC
GSC923×766 35.5 KB

Я проверил следующее:
:white_check_mark: Robots.txt – Явных ограничений нет.
:white_check_mark: Sitemap.xml – Отправлена, но до сих пор не одобрена.
:white_check_mark: Теги noindex – Отсутствуют на ключевых страницах.
:white_check_mark: Google Search Console – Нет ручных санкций или проблем с безопасностью.

У кого-нибудь были похожие проблемы с форумами на Discourse? Может ли это быть связано с политикой индексации Google, или я что-то упускаю? Есть ли какие-то советы по решению этой проблемы?

Заранее спасибо!

3

Пожалуйста, проверьте:

  1. <yoursite>/admin/reports/web_crawlers, чтобы убедиться, что Googlebot есть в списке?
  2. Настройку сайта allowed_crawler_user_agents, чтобы случайно не заблокировать Google (пожалуйста, поделитесь ею здесь, если возможно)

Discourse SEO overview (sitemap / robots.txt) может быть полезной темой для вас.

4

Спасибо за ваши предложения!

  1. Я проверил /admin/reports/web_crawlers, и Googlebot есть в списке, значит, он сканирует форум.
  2. Список allowed_crawler_user_agents был пуст, поэтому я добавил:
Googlebot  
bingbot  
DuckDuckBot

Также я повторно отправил карту сайта в Google Search Console и буду следить, улучшится ли индексация в ближайшие дни.

5

Это может быть потенциально плохой идеей — если только вы не уверены на сто процентов, что все остальные боты могут быть запрещены. Google использует множество краулеров, которые не объявляют строку googlebot.

6

Спасибо, что указали на это! Я не знал, что Google использует других краулеров, которые явно не объявляют Googlebot.

Я очистлю список allowed_crawler_user_agents, чтобы случайно ничего не заблокировать.