Для эксперимента я загрузил Meta через представление краулера, используя строку user-agent GoogleBot. Затем перешел к странице 666 нашего последнего списка, где находятся темы, последний раз обновленные в середине 2017 года, почти 3 года назад.
Одной из тем в списке является Глубокая интеграция Discourse в приложение Ionic. Я выполнил поиск в Google без авторизации, и запрос «integration discourse ionic» вывел эту тему на самое первое место!!
Meta — это «маленький» экземпляр с менее чем 30 тысячами тем, но все они, похоже, правильно проиндексированы. Поскольку это старый домен, и мы занимаем первое место по всем запросам, связанным с Discourse, мы получаем достаточный «карму» у GoogleBot, поэтому он работает на нашем домене достаточно долго, чтобы просканировать всё необходимое.
Ваш форум мигрировал со старого программного обеспечения на Discourse?