Я начинаю думать, что моя логика была ошибочной с самого начала. Это объясняет, почему никто не отреагировал — возможно, ничего не сломано.
Вот свежая статья о том, что для Google нормально показывать белую страницу в скриншоте:
Теперь я вижу «проиндексированный» HTML для главной страницы — это индексированная версия, а не из «Live test». Она показывает полную страницу. Имейте в виду, что Google разобрался с этим, обслуживая полное JS-приложение.
Интересно, что они дошли примерно до 27-го поста на главной странице с точки зрения индексации. Таким образом, функция бесконечной прокрутки понятна Google.
Не уверен, помогло ли это, но я снял галочку с настройки AJAX в административных настройках. Из-за этого Google начал находить URL-адреса, подобные нижеследующему (и обслуживать версию для краулеров). Я снял галочку, и теперь этот URL будет показывать JS-версию:
https://discuss.flynumber.com/t/japan-phone-numbers-disconnect-notice/2351?_escaped_fragment_=
Теперь мне осталось только разобраться, как убрать лишние канонические URL-адреса, которые Discourse создает для страниц пользователей.](Canonical structure for /u/* causing many urls to be indexed)