Gut zu wissen. Klingt nach einem großen Schritt in die richtige Richtung.
Was es wert ist, wir haben tatsächlich einige Fälle in unserem aktuellen Forum gesehen (als es noch öffentlich war), in denen wir die robots.txt-Datei zu bestimmten Unterordnern unseres Forums hinzugefügt hatten, und Google hat sie trotzdem gecrawlt. Ich glaube, das ist höchst ungewöhnlich… aber wir haben festgestellt, dass es Fälle gibt, in denen Google diese Anweisung nicht befolgt. Die einzige Möglichkeit, 100% sicher zu sein, dass eine Seite nicht indexiert wird, ist, dass die Seite hinter einem Login-Bildschirm verborgen ist oder dass die Seite gar nicht existiert.
Aus der Sicht eines Außenstehenden scheint es einfach zu sein, Discourse anzuweisen, nicht die zusätzlichen Schritte zu unternehmen, um diese zusätzlichen URLs für jede Antwort zu erstellen. Die Software würde auf diese Weise weniger Arbeit leisten und weniger Komplexität erzeugen, oder?
Es wäre schön, eine Funktion in den Admin-Einstellungen zu haben, um diese zusätzlichen URLs einfach ganz auszuschalten.