Рад, что вы спросили. Да, я считаю, что это причина моего «мягкого штрафа» от Google.
Позвольте мне пояснить.
Около сентября-октября 2019 года у нас было очень небрежное обновление сайта, и основной сайт сразу же провалился.
Мы так и не восстановились. С точки зрения SEO сайт никогда не был в таком плохом состоянии. Конечно, он не идеален, но мы опережаем некоторых конкурентов на световые годы. Сайты, использующие наши многолетние изображения и тексты, обгоняют нас на несколько страниц. Мы находимся на третьей странице, а они, возможно, на вершине второй.
Я прочитал бесчисленное количество блогов о SEO, посмотрел видео, изучил посты и даже переписывался с Джоном Мюллером (на Reddit).
Самое большее, что я от него услышал, — это то, что проблема может быть в «вопросах качества». Мы значительно улучшили основной сайт с 1 января этого года, но органический трафик даже не дрогнул.
Discourse: Я установил его ещё в 2013 году и забыл о нём. Почти не проверял его трафик.
Если посмотреть на аналитику основного сайта, вы увидите резкое падение в конце графика. Это произошло именно тогда, когда я начал работать над Discourse.
Когда я попробовал prerender.io для Discourse, позиции основного сайта скакали. Иногда они прыгали на 10–15 мест вверх за ночь, а потом возвращались назад. (Я позже прекратил использовать prerender, так как они не могли рендерить главное меню, вход и т. д.).
Согласно тому, что я читал в интернете, это признак того, что Google не знает, где разместить вас в результатах поиска. Они говорят, что нужно лишь немного «больше», чтобы попасть на хорошую сторону алгоритма.
Ничто из того, что мы делали за последние 3 года, не вызвало этих колебаний в выдаче (SERP).
(Использование инструмента Google Disavow, очистка кода, чистые URL, структура сайта, внутренняя перелинковка, социальные сети, контент и т. д.)
Вы можете возразить: почему Google не наказал вас в 2018 году? (Тогда у вас тоже был Discourse на поддомене).
Ну, я думаю, это было сочетание факторов, уникальных для сайта, его истории и профиля ссылок, что привело к падению в конце 2019 года. Похоже, что Google перераспределил ранжирование сайта и, возможно, придал ссылкам Discourse больший вес, чем раньше.
И вот что важно… Я люблю Discourse. Особенно сейчас, когда я больше участвую в Meta, узнал о всех этих крутых плагинах и функциях, о которых даже не подозревал: Wiki, платные подписки, оглавление и теперь чат!!
Поэтому отказ от Discourse сейчас не вариант — слишком много вложено.
Я обдумывал это и готов рискнуть. Я знаю, что это не будет идеально, но, судя по тому, что я читал и смотрел, Google в последнее время стал очень хорош в понимании JavaScript.
Они даже отказались от схемы сканирования AJAX.
Времена изменились. Сегодня, если вы не блокируете Googlebot от сканирования ваших JavaScript или CSS файлов, мы, как правило, можем рендерить и понимать ваши веб-страницы так же, как современные браузеры.
Замечание: В Discourse есть настройка для сканирования AJAX — думаю, её в конечном итоге придётся убрать.
Итак, план состоит в том, чтобы отдавать приложение Google, сделать всё возможное для устранения любых возникающих проблем с SEO и насладиться всплеском трафика.
Затем я смогу сообщить о результатах на Meta и аргументировать, что Discourse следует рассмотреть возможность оптимизации JavaScript для Google.
Например, возможно, что-то подобное этому (из блога Google) поможет с проблемами пагинации и прокрутки.
И оставить версию для старых браузеров без сканеров.