Продолжение обсуждения из SEO для тонкого контента или изменение мета-тегов:
У меня здесь та же проблема.
Я использую WP-Discourse, и это отлично! Но для каждой новой записи в блоге создается тема с точно таким же заголовком в моем сообществе. Наличие двух URL с одинаковым заголовком — это плохо, так как они снижают релевантность друг друга в результатах поиска.
Кроме того, комментарии из темы также выводятся под записями блога, что создает дублирующийся контент (одинаковое содержимое на нескольких URL).
Обе эти проблемы серьезны с точки зрения SEO и могут привести к наложению санкций на домен.
Как это исправить?
Решение было бы простым: добавить флажок в окно настройки категории:
[ ] Скрывать темы из этой категории в результатах поиска.
Если флажок установлен, в заголовок всех связанных страниц (сама категория, темы, пагинация и т. д.) будет вставлен тег noindex:
<meta name=“robots” content=“noindex, dofollow”>
Таким образом, всё остается доступным для пользователей, но игнорируется поисковыми системами.
Что не решает проблему
Давайте заглянем немного вперед и разберем некоторые распространенные ответы. Я видел несколько тем по этому вопросу, и все они предлагали решения, которые на самом деле проблему не решают.
Robots.txt
Самое распространенное предложение — добавить строку “disallow: /c/category/id” в файл robots.txt. Но это уберет из результатов поиска только саму категорию, а не темы, что и является главной проблемой.
Структура URL всех тем одинакова, поэтому мы не можем заблокировать их, просто добавив строку “disavow” в robots.txt.
Пример:
Скрытие тем из списка
Скрытая тема всё ещё видна поисковым системам. Она будет скрыта в списках сообщества, но к ней можно получить доступ, если есть прямая ссылка. А нам нужно отправлять пользователей к темам, поэтому мы добавляем ссылку на неё в запись блога. Следовательно, поисковые системы найдут все скрытые темы.
Обратите внимание, что добавление атрибута nofollow к этой ссылке не заставит Googlebot игнорировать её: https://webmasters.googleblog.com/2019/09/evolving-nofollow-new-ways-to-identify.html
Кроме того, скрытие темы приводит к снижению вовлеченности пользователей, так как они не смогут перемещаться между темами внутри сообщества.
Таким образом, эта идея ничего не решает. Она снижает вовлеченность, но при этом не скрывает темы от поисковых систем.
Требование входа для просмотра тем в этой категории
Когда новый пользователь нажимает кнопку комментария, он видит сообщение “Эта страница не существует” вместо самой темы. Пользователь думает, что что-то сломалось, и уходит с сайта. В результате нет комментариев и нет новых регистраций. Очень плохо для вовлеченности и удобства использования.
В заключение, было бы очень полезно добавить эту опцию в Discourse, или кто-то мог бы разработать простой плагин.
Это должно быть реализовано на уровне ядра, иначе Googlebot проигнорирует JavaScript.
Специалисты по SEO будут этому очень рады!