Wir haben DISCOURSE_ALLOW_INDEX_IN_ROBOTS_TXT auf false gesetzt, aber der Header X-Robots-Tag wird in der Antwort nicht gesendet.
Habt ihr eine Idee, was das verursachen könnte? Ich bin mir nicht sicher, ob dies mit dieser Änderung zusammenhängen könnte.
Ich habe es für unsere Staging-Site recherchiert, auf die @agmontpetit Bezug genommen hat. Es scheint, als wäre es irgendwie durch unser benutzerdefiniertes Plugin verursacht worden – ich werde das untersuchen.
Es stellt sich heraus, dass dies bei jeder GET-HTML-Anfrage eines Gastes an eine Aktion auftritt, die den check_xhr-Filter aus irgendeinem Grund nicht überspringt. Ich konnte jedoch keine solchen Aktionen im Standard-Discourse finden, sodass wahrscheinlich nur einige Plugin-Entwickler von diesem Problem betroffen sind. Bei uns trat dies erstmals auf, nachdem wir eine benutzerdefinierte Seite mit per XHR bereitgestelltem Inhalt für Gäste hinzugefügt hatten, und hörte auf, als wir das Preloading dafür aktivierten (was das Überspringen von check_xhr erfordert).
Dieses knifflige Problem lässt sich sehr einfach beheben, indem man add_noindex_header vor check_xhr ausführt.