Profili utente / Directory utenti in robots.txt / Intestazione x-robots-tag

Contribuisci Bug
1

EDIT: questo si rivela essere un bug, vedi post #3

Se è selezionato “Nascondi profili utente dal pubblico”, non dovrebbe essere vietato /u in robots.txt?
Altrimenti i motori di ricerca riceveranno un 403 che potrebbe influire sul posizionamento e sulla visibilità.

Questo sarebbe stato implementato nel 2014 Excluding user profiles in robots.txt (or allow edit of file) - #2 by neil Disallow /users/ in robots.txt · discourse/discourse@8267a45 · GitHub

L’unico forum Discourse che sono riuscito a trovare che ha Disallow: /u è Meta :thinking:

1 Mi Piace
2

Forse Meta è stata personalizzata in modo che la migrazione in FIX: Remove /u/ from robots by nattsw · Pull Request #30782 · discourse/discourse · GitHub sia stata saltata

3

Ottimo riscontro @Moin

Attualmente, aggiungiamo già noindex alle route /u. Tuttavia, poiché robots.txt blocca l’accesso, i motori di ricerca non riescono a visualizzare l’intestazione.

Quindi ci si riferisce a una modifica precedente FIX: Always noindex /u routes - Pull Request #27712 - discourse/discourse - GitHub

che afferma

In secondo luogo, SiteSetting.hide_user_profiles_from_public genera un errore Forbidden, il che impedisce all’after_action: add no index header di attivarsi.

Questa PR assicura che l’intestazione no index venga aggiunta tramite before_action. Potremmo prendere in considerazione la rimozione di /u da

discourse/app/controllers/robots_txt_controller.rb

Riga 24 in 2900cbe

DISALLOWED_WITH_HEADER_PATHS = %w[/badges /u/ /my /search /tag//l /g /t//.rss /c/.rss]

Purtroppo, questo non funziona sempre. Sebbene /u/rgj abbia un’intestazione x-robots-tag: noindex, /u/rgj/summary non ce l’ha, quindi sembra che l’ultima modifica stia causando alcuni effetti collaterali indesiderati.

(Spostamento a Contribute > Bug)

1 Mi Piace