Profili utente / Directory utenti in robots.txt / Intestazione x-robots-tag

Bug
1

EDIT: questo si rivela essere un bug, vedi post #3

Se è selezionato “Nascondi profili utente dal pubblico”, non dovrebbe essere vietato /u in robots.txt?
Altrimenti i motori di ricerca riceveranno un 403 che potrebbe influire sul posizionamento e sulla visibilità.

Questo sarebbe stato implementato nel 2014 Excluding user profiles in robots.txt (or allow edit of file) - #2 by neil Disallow /users/ in robots.txt · discourse/discourse@8267a45 · GitHub

L’unico forum Discourse che sono riuscito a trovare che ha Disallow: /u è Meta :thinking:

2

Forse Meta è stata personalizzata in modo che la migrazione in FIX: Remove /u/ from robots by nattsw · Pull Request #30782 · discourse/discourse · GitHub sia stata saltata

3

Ottima scoperta @Moin

Attualmente, aggiungiamo già noindex alle rotte /u. Tuttavia, poiché robots.txt blocca questo, i motori di ricerca non sono in grado di vedere l’header.

Quindi veniamo rimandati a una modifica precedente FIX: Always noindex /u routes by nattsw · Pull Request #27712 · discourse/discourse · GitHub

che dice

In secondo luogo, SiteSetting.hide_user_profiles_from_public solleva un Forbidden, che impedisce l’attivazione del nostro after_action: add no index header.

Questa PR assicura che l’header no index venga aggiunto tramite before_action invece. Potremmo considerare di rimuovere /u da

discourse/app/controllers/robots_txt_controller.rb

Riga 24 in 2900cbe

DISALLOWED_WITH_HEADER_PATHS = %w[/badges /u/ /my /search /tag//l /g /t//.rss /c/.rss]

Sfortunatamente, questo non funziona sempre. Mentre /u/rgj ha un header x-robots-tag: noindex, /u/rgj/summary non ce l’ha, quindi sembra che la modifica più recente stia avendo alcuni effetti collaterali indesiderati.

(Spostamento a Bug)

1 Mi Piace