Я не уверен, что это связано с картами сайта или облачным хостингом. Meta размещена на AWS, что совершенно отличается от места, где мы хостим многих наших других клиентов. В последнее время мы наблюдаем очень неравномерные результаты для Meta, а также для довольно большого количества сайтов на различных вариантах хостинга.
Я пытался настроить несколько вещей, чтобы посмотреть, поможет ли это.
-
Мы больше не следуем ссылкам на
.rss, что спасает Google от сканирования вариантов темы/1,/2и т. д., у которых есть общий канонический URL. -
Мы явно указываем Google не следовать ссылкам внутри
.rss-ленты на случай, если она получит rss-ленту. -
Я временно отключил некоторые настройки канонизации, которые мы делали и которые показывали многообещающие результаты: Search engines now blocked from indexing non-canonical pages
Симптом, который я наблюдаю здесь на Meta, заключается в следующем:
- Google действительно сканирует ВСЕ содержимое, я вижу это в веб-журналах.
- Несмотря на сканирование страниц, около 50% последних новых тем на Meta не отображаются в индексе.
Это чрезвычайно беспокоит, Google дает нам очень мало информации о том, “почему?”.
Мой следующий шаг — получить больше данных и начать постоянный отчет. Мы, вероятно, будем использовать SerpApi, чтобы выяснить, какие страницы отсутствуют в Google, и попытаться найти закономерность.