Почему Google не сканирует мой сайт?

Всем привет,

Раньше при поиске по Google мы получали множество обсуждений с нашего форума сообщества. Однако недавно мы заметили, что в результатах поиска ничего из нашего сообщества не отображается. Недавно мы провели повторную категоризацию и закрыли ряд обсуждений. Это было единственное изменение.

Мы также попробовали изменить robots.txt на разрешить всё: https://community.tyk.io/robots.txt

Тем не менее, при проверке через Browseo мы всё ещё получаем ошибку 403 Forbidden: Your New SEO Browser: Browseo

На данный момент при поиске нашего сообщества в Google результат выглядит так:

Не понимаем, что мы делаем не так. Любая помощь будет очень кстати. Также, если существуют какие-либо блоги или руководства по SEO для сообществ на Discourse, пожалуйста, поделитесь ими. Хотелось бы узнать, как мы можем улучшить ситуацию.

Спасибо!

Что вы увидите, если нажмёте на ссылку «Узнать почему», отображаемую в нижней части результата поиска Google?

Вносили ли вы какие-либо изменения в настройки сайта Discourse whitelisted crawler user agents или blacklisted crawler user agents?

В нашем многолетнем опыте вам не нужно ничего делать. Однако, если ваш сайт недостаточно хорошо связан в сети, это может занять некоторое время. Обратитесь к инструментам Google Webmaster для вашего домена.

Я перехожу на эту страницу в справке Google.

Думаю, что нет.

Спасибо, Джефф. Я поручил команде разобраться с Google Webmaster Tools. Скорее всего, проблема на стороне Google, так как мы действительно ничего не меняли в Discourse, кроме закрытия тем и перекатегоризации.

Я не знаю о картах сайтов, но процитирую команду Discourse по этому вопросу:

Разрешённые агенты-пауки
ВНИМАНИЕ! УСТАНОВКА ЭТОГО ПАРАМЕТРА ЗАПРЕТИТ ВСЕХ ПАУКОВ, НЕ УКАЗАННЫХ ЗДЕСЬ!

Жёлтый цвет названия означает, что настройка была изменена.
Сбросьте эту настройку с помощью кнопки сброса.