Hallo. Ich habe die Diskussion unter folgendem Link gesehen:
aber ich habe keine eindeutige Antwort auf diese Frage gefunden. Wie kann ich eine robots.txt für eine Discourse-Website aktivieren, um anzugeben, dass sie von keinen Crawlern indiziert werden soll? Dies betrifft eine private Seite, und es gibt keinen Grund, warum sie in Suchmaschinen aufgeführt sein sollte. Danke!
Siehe die vorletzte Antwort in diesem Thema: Needing to edit robots.txt file - where is it? - #42 by Osama.
Ah, den habe ich dort unten übersehen. Perfekt. Hat wunderbar funktioniert. Danke!
Stellen Sie außerdem sicher, dass die Einstellung „Anmeldung erforderlich
Die Website hat immer eine Anmeldung erfordert und erlaubt keine Selbstregistrierung von Nutzern. Dennoch tauchte sie in Suchmaschinen auf – allerdings ohne indexierte Inhalte, da sie sich nicht einloggen konnte. Meine Hoffnung ist, dass durch die explizite Blockade in der robots.txt alle Erwähnungen aufhören. Danke.