ma non è chiaro quale sia stato l’esito di questa discussione. Una direttiva noindex in robots.txt non è più efficace: Google la ignora ormai. Per impedire che un sito privato appaia interamente nei risultati di ricerca, il comando Disallow non è sufficiente. Ciò che serve è il meta tag noindex su ogni pagina interessata. Nel nostro caso, si tratta della pagina di login e di eventuali pagine di errore accessibili dall’esterno (o, del resto, un meta tag noindex per ogni pagina andrebbe benissimo).
Sì, Google ha smesso di supportare noindex nel file robots.txt. Tuttavia, la loro raccomandazione attuale sembra essere quella di inserire un tag meta noindex su tutte le pagine che desideri eliminare completamente dal loro indice. È esattamente ciò che sto cercando di ottenere.
Non ho lavorato molto sui temi, quindi questo è esattamente ciò che mi serviva sapere. Grazie! E sta apparendo correttamente nell’head (aggiunto a “head_tag”). Per la cronaca, il tag consigliato da Google se si vuole chiedere a tutti i robot di non indicizzare è:
<meta name="robots" content="noindex">
Ho ora disabilitato (anzi, ho effettivamente commentato) completamente robots.txt per i motivi indicati in precedenza in questo thread. Grazie ancora.
Sono felice di averti aiutato! Non sono ancora molto bravo con i temi e non so nulla di SEO, quindi non sapevo come dovesse essere effettivamente il tag meta. Sono contento di esserti stato d’aiuto per risolvere il problema.