Es posible anular robots.txt en /admin/customize/robots (al que se accede desde la configuración). La página proporciona un formulario para tener un robots.txt personalizado. Ejemplo:
Sin embargo, al presionar ese botón ‘Reset’, el formulario se llena inmediatamente con lo que parece ser el propio código HTML del sitio web y… parece guardar inmediatamente eso como el nuevo robots.txt.
Sin embargo, después de una actualización, parece que en realidad tiene el robots.txt predeterminado de Discourse, por lo que se restableció al predeterminado. Pero aun así, ese llenado con HTML probablemente necesite una revisión.
En ese sentido, los botones de restablecimiento de formularios suelen restaurar el formulario a los valores iniciales (y no envían el formulario inmediatamente), por lo que quizás un enlace “Restaurar al robots.txt predeterminado” junto a los botones sería más claro.
