Спасибо, Джош, ценю обратную связь.
Хорошо подмечено. И хотя реализация была неидеальной и заняла много месяцев, похоже, Google всё же разобрался, какие страницы соответствуют каким.
Другими словами, со временем я начал видеть всё больше страниц, на которые я сделал 301-редирект с ключевыми словами, использовавшимися на старых страницах.
Это имеет большой смысл. Посмотрю, как это можно реализовать. В настоящее время в Search Console не видно, что сканер часто получает 301-ответы. Кажется, что по мере улучшения ранжирования они начинают чаще следовать за 301-редиректами. Возможно, это причинно-следственная связь без корреляции.
Это вовсе не критика Discourse — я просто не склонен легко верить утверждениям вроде «тысячи пользователей Discourse имеют отличный органический трафик».
Google тоже не станет нам ничего объяснять.
Всегда нужно помнить: Google — это алгоритм, он не смотрит на вещи человеческими глазами.
Хотя обе версии содержат схожий контент, и Google знает, что это не злонамеренное скрытие текста, ему всё равно приходится корректировать ранжирование.
Одна версия выглядит намного лучше, работает лучше и даёт представление о структуре внутренних ссылок. Другая же — просто glorified RSS-лента.
Google не знает, что у меня есть этот стильный форум, работающий на всех [современных] устройствах, действительно поощряющий обсуждение, и являющийся одним из самых крутых творений интернета.
Я всегда люблю использовать ссылку do-follow с текстом «Powered by Discourse» в версии для сканеров (просто потому, что это легко).
Опять же, я понимаю, что это не злонамеренно, но нужно смотреть на это глазами Google. Вы, FlyNumber (не https://community.cloudflare.com/), предоставляете сканерам эту версию с внешней ссылкой, которую вы не показываете обычным пользователям.
Алгоритм вполне может заметить, что происходит, и проигнорировать внешнюю ссылку на домен Cloudflare (поскольку это такой авторитетный домен).
То, что Google применяет к Cloudflare, не обязательно применится ко мне.
Возможно, вопрос в том, платили ли вы за эту внешнюю ссылку, которую вы показываете ботам (но не хотите показывать обычным пользователям?). Это больше о том, как они могут воспринимать сайт. Я не утверждаю, что так и есть, но это возможность, которую стоит исключить.
Если говорить проще: версия для сканеров не имеет меню или какой-либо реальной структуры.
Именно этот контент алгоритм считает тем, что вы хотите показать конечным пользователям.
С очень общей точки зрения, я не вижу, чтобы алгоритм поощрял такое.
Возможно, пришло время начать рассматривать серьёзный пересмотр версии для сканеров. Хотя бы добавить главное меню и рекомендуемые темы внизу.
Интересное обновление: Google добавил «JSON» в список «типов файлов» в статистике сканирования для моего экземпляра Discourse. «Javascript» — это отдельный «тип файла».
Буду внимательно следить, но всё же хотел бы, чтобы это корректно отображалось в инструменте Google.