ma non ho trovato una risposta chiara a questa domanda. Come posso abilitare un file robots.txt per un sito Discourse per indicare che non deve essere indicizzato da alcun crawler? Si tratta di un sito privato e non c’è alcun motivo per cui debba avere una presenza su qualsiasi motore di ricerca. Grazie!
Inoltre, assicurati di aver attivato l’impostazione ‘accesso richiesto’ eseguendo di nuovo la procedura guidata su discourse.yoursite.com/wizard. Questo impedirà anche l’accesso ai motori di ricerca.
Il sito ha sempre richiesto il login e non consente la registrazione autonoma degli utenti. Tuttavia, è comunque apparso nei motori di ricerca, ma senza contenuti indicizzati poiché non poteva accedere. Spero che, bloccando esplicitamente tramite robots.txt, qualsiasi menzione cessi. Grazie.