Отключить или обойти проверку функций для Googlebot (при обслуживании JS-приложения для поисковых роботов)

Вы занимались чем-то, что изменило способ индексации Discourse поисковыми системами? Например, пробовали использовать prerender?

Если проверить отчёт о целевых страницах в GA, даст ли он какие-либо подсказки о том, какая часть сайта пострадала?


Что касается основного сайта: если Джон Мюллер предположил наличие проблем с качеством, стоит изучить их документацию по качеству и задать себе вопрос, применимы ли какие-либо из этих пунктов к вашему случаю.

При беглом осмотре обнаруживаются цепочки редиректов с сайта 2019 года, которые могут быть длиннее, чем Google способен просканировать.

Одной из возможных причин внезапного штрафа является то, что URL-адреса с сайта 2019 года содержат 6 редиректов, тогда как Google рекомендует держать их «менее 5», иначе он может не следовать по ним. Это могло создать у Google впечатление, что старые страницы исчезли из сети.

Пример:

curl -sSL -D - http://flynumber.com/virtual-phone-number/united-states_alexandria_1-318 -o /dev/null -H 'User-Agent: header_bot'

Вероятно, проще всего исправить именно редиректы. Вместо такой цепочки:

/a → /b → /c → /d → /e → /final-destination

лучше сделать так:

/a → /final-destination
/b → /final-destination
/c → /final-destination
/d → /final-destination
/e → /final-destination

(Кажется, у вас также есть страницы-ловушки и автоматическая генерация синонимов, но сначала стоит попытаться исправить более простую проблему, так как этого может оказаться достаточно.)