SEO - Страницы просканированы, но не проиндексированы

Здравствуйте,

Я являюсь куратором сообщества для заметного проекта с открытым исходным кодом Keycloak в группе Discourse. Мы заметили, что начиная с января этого года сайт Discourse перестал появляться в результатах поиска Google. Однако он по-прежнему отображается в Bing и других поисковых системах.

У кого-нибудь есть ценная информация или опыт, объясняющие, почему Google может перестать считать контент ценным или обходить его при сканировании, но не индексировать? Ошибка в инструментах для веб-мастеров Google гласит: «Сканировано — в настоящее время не проиндексировано». Тестирование живых URL-адресов показывает, что всё в порядке.

Мы уже обратились в службу поддержки Discourse, но они тоже в недоумении. Они предложили создать пост в сообществе для привлечения экспертов, которые могут находиться на форумах и оказать помощь.

Сайт: https://keycloak.discourse.group/

Карта сайта настроена правильно.

Некоторые дополнительные элементы (ограничены новыми лимитами участников Discourse)

Карта сайта

Мы наблюдали эту проблемную модель в прошлом на некоторых других сайтах.

Во многом Google — это «чёрный ящик», и он ведёт себя загадочным образом. Тем не менее, есть несколько общих рекомендаций, которые, по моему мнению, важно соблюдать:

Установите авторитет для вашего домена

Google построен на PageRank. Чем больше входящих ссылок имеет ваш форум, тем выше PageRank.

Когда я ищу keycloak.discourse.group, первая ссылка ведёт на meta (эта тема), но на втором месте:

Второй авторитетный ответ Google: «не используйте keycloak.discourse.group».

Кроме того, отсутствует чёткое определение, где должна вестись дискуссия:

  • GitHub — нормально
  • Slack — нормально
  • Почтовая рассылка — нормально
  • Discourse — нормально

Вместо этого централизуйте асинхронные обсуждения на одной платформе. Сейчас у вас есть три варианта для довольно небольшого (в глобальном масштабе) объёма обсуждений.

Почтовая рассылка получает 20–30 сообщений в месяц.
Discourse получает немного больше.
GitHub получает трафик, сопоставимый с Discourse.

Выберите победителя и действуйте — именно так вы устанавливаете авторитет.

Отдавайте предпочтение использованию вашего существующего авторитета

Когда речь заходит о выборе домена, у вас уже есть авторитет вашего существующего бренда https://www.keycloak.org/.

При создании сообщества ваше предпочтение должно быть направлено на развитие вашего онлайн-бренда.

Вам нужны community.keycloak.org или forum.keycloak.org, а не Reddit, GitHub или даже discourse.group.

Кроме того, добавьте в подвал (footer) и разместите ссылку на этот форум / портал асинхронного сообщества на каждой странице.

Спасибо за подробный ответ, Сэм. Я полностью понимаю вопрос централизации, но факт остаётся фактом: там содержится много полезной исторической информации, которая, пока не будет перенесена, остаётся очень ценной. В списке рассылки, конечно, меньше трафика, но он всё ещё используется. Slack хорош для общения, но не способствует SEO-оптимизации ответов.