Bloccare temporaneamente il crawler di Google durante la configurazione del sito live?

Sono sicuro che esista un’impostazione per questo da qualche parte, ma non riesco a trovarla.

Sto ancora implementando i reindirizzamenti dal vecchio forum a Discourse. C’è un modo per bloccare temporaneamente la scansione da parte di Google per evitare contenuti duplicati?

Puoi impostare il tuo sito su “Accesso richiesto” in Admin/Settings/Login e selezionare la casella per richiedere l’accesso.

Blocca anche i crawler?

Sì, ciò che un crawler “vedrà” è solo la tua homepage, nient’altro. Il nostro sito è privato, accessibile solo su invito e richiede l’accesso con credenziali. A parte un accesso occasionale alla homepage, nulla viene indicizzato perché non possono eseguire la scansione del sito.