Si no has personalizado tu archivo robots.txt, no necesitarás hacer nada… disallow ya está haciendo la mayor parte del trabajo.
Por defecto, Discourse utiliza tanto disallow como noindex en el archivo robots.txt.
En el artículo del blog sobre esta actualización, Google sugiere usar disallow, lo cual ya hacemos. Utilizamos noindex además para ayudar a evitar este problema de enlazamiento que menciona Google (he añadido énfasis a la parte relevante)…
Disallow en robots.txt: Los motores de búsqueda solo pueden indexar páginas de las que tienen conocimiento, por lo que bloquear el rastreo de una página generalmente significa que su contenido no será indexado. Aunque el motor de búsqueda también puede indexar una URL basándose en enlaces de otras páginas, sin ver el contenido en sí, nuestro objetivo es hacer que tales páginas sean menos visibles en el futuro.
Por nuestra parte, evaluaremos realizar una actualización para agregar la etiqueta meta noindex o utilizar el encabezado X-Robots-Tag en nuestras respuestas HTTP para asegurarnos de que Google no indexe el enlace cuando aparezca en otras páginas (actualizaremos este tema con cualquier cambio).
Si has agregado reglas personalizadas de noindex al archivo robots.txt a través de tu página de administración /admin/customize/robots, deberías cambiarlas a disallow