Каноническая структура для /u/* приводит к индексации множества URL

[stance455 (Nader)]

Изначально я написал это для категории «Баги»…

… но не останавливайте меня, если кто-то считает, что это заслуживает PR или коммита

Последние два месяца я довольно глубоко изучал каноническую структуру Discourse, и в целом она отличная.

Странные URL-адреса с параметрами вроде no_definitions=true или /search?q= возвращают правильный канонический URL.

Всё это работает при обслуживании JS-версии сайта как для пользователей, так и для поисковых роботов.

Однако, похоже, URL-адреса вида /u/* были упущены из виду — у них есть канонические ссылки, но они ведут на адреса, из-за которых Google индексирует тысячи лишних URL.

Задача:

Я хочу, чтобы все URL-адреса после имени пользователя указывали канонически на основную страницу профиля пользователя.

Таким образом, /u/FlyNumber — это основная страница профиля.

Следующие URL должны иметь каноническую ссылку на него (вместо того, что происходит сейчас, когда каноническая ссылка указывает на сам себя):

/u/FlyNumber/summary
/u/FlyNumber/activity
/u/FlyNumber/activity/topics
/u/FlyNumber/activity/replies
/u/FlyNumber/activity/likes-given
/u/FlyNumber/badges

[justin (Justin DiRose)]

Это для вашей настройки кастомной индексации, о которой обсуждалось здесь?

Need "window.prerenderReady" implemented on my instance [PAID GIG]

I’m using prerender.io to serve the “application/JS” version of the site to crawlers ( my instance serves crawlers the JS version via a hidden setting ) It’s working well but seems discourse might fall under this category … but some web pages use some custom loading flows or constant polling that may trick Prerender’s logic; thus, it fails to make a decision on the ready-ness of the page. The first time prerender accesses any discourse URL, it will timeout ( 20 seconds set by prerender ) T…

Если да, то стоит отметить это, чтобы те, кто рассматривает эту работу, понимали, на что идут.

По умолчанию URL-адреса в формате /u/ не индексируются — это установлено как в robots.txt, так и передаётся в начальном заголовке запроса страницы.

[stance455 (Nader)]

@justin

Это для вашей настройки пользовательской индексации, обсуждаемой здесь?

Нет, так как я отказался от использования prerender — он не мог рендерить главное меню, кнопку входа и т. д.

Google Bot получает «приложение» напрямую.

У меня в скрытых настройках Discourse установлено значение для обслуживания краулеров JS-версии. Google, кажется, справляется с этим хорошо. (Скоро будут дополнительные обновления по этому поводу.)

@justin

По умолчанию URL-адреса /u/ не индексируются

Хорошее замечание, /badges тоже…

@justin

укажите оба в robots.txt

Я использую отредактированный вручную файл robots.

@justin

и передайте их в начальном заголовке запроса на странице.

Я использую Cloudflare Workers, чтобы изменить заголовок на 'index'

[stance455 (Nader)]

@Justin DiRose

По умолчанию URL-адреса /u/ не индексируются; это установлено как в robots.txt, так и передаётся в начальном заголовке запроса страницы.

/u/FlyNumber/summary
/u/FlyNumber/activity
/u/FlyNumber/activity/topics
/u/FlyNumber/activity/replies
/u/FlyNumber/activity/likes-given
/u/FlyNumber/badges

Хочу также отметить, что полное удаление канонических ссылок для этих URL-адресов было бы шагом в правильном направлении. (На мой взгляд, мой метод лучше для SEO)

Как указано выше, установлено значение noindex, поэтому неясно, зачем Discourse вообще генерирует каноническую ссылку.

[stance455 (Nader)]

Возможно, кто-то знает умный способ сделать это с помощью JS и Cloudflare Workers? Таким образом, мне не придется лезть в код Discourse.

Я могу настроить «триггер» на /u/*/summary — (я могу срабатывать только на /u/*) — и выполнить что-то вроде этого:

const canonical = document.querySelector('link[rel="canonical"]');
if (canonical !== null) {
  canonical.href = 'ЗДЕСЬ_НОВЫЙ_HREF';
}

Что я могу сделать здесь, чтобы передать имя пользователя в ЗДЕСЬ_НОВЫЙ_HREF — и чтобы канонический URL стал /u/* вместо /u/*/summary.

Любая помощь здесь будет очень кстати.

Редактирование

Возможно, кто-то сможет указать на соответствующие страницы на GitHub — я рискну и отредактирую код сам.