Nous avons défini DISCOURSE_ALLOW_INDEX_IN_ROBOTS_TXT sur false, mais l’en-tête X-Robots-Tag n’est pas envoyé dans la réponse.
Avez-vous des idées sur ce qui pourrait se passer ? Je ne suis pas sûr que cela puisse être lié à ce changement.
J’ai creusé pour notre site de préproduction auquel @agmontpetit a fait référence. Il semble que cela soit causé par notre plugin personnalisé d’une manière ou d’une autre — je vais enquêter.
Il s’avère que cela se produit pour toute requête GET HTML Guest vers une action qui, pour une raison quelconque, ne saute pas le filtre check_xhr. Je n’ai pas trouvé de telles actions dans Discourse standard, donc probablement seuls certains développeurs de plugins sont affectés par ce problème. Pour nous, cela a commencé après avoir ajouté une page personnalisée avec du contenu fourni via XHR pour les invités, et cela s’est arrêté lorsque nous avons ajouté le préchargement (ce qui nécessite de sauter check_xhr).
Ce problème délicat peut être résolu très simplement en exécutant add_noindex_header avant check_xhr.