Es un hecho que los motores de búsqueda, los bots pueden indexar temas en una categoría en Discourse. ¿Cómo bloquear Google, Bing, Yandex, … de indexar temas de una categoría?
Esperamos el apoyo de los expertos de Discourse.
1 me gusta
Puedes cambiar el permiso de la categoría a TL0 para que solo los usuarios registrados la vean y también para bloquear bots.
6 Me gusta
Si lo que sugirió Don funciona, úsalo. Es la única forma 100% segura. Pero si ese foro debe estar abierto a visitantes aleatorios, no puedes usar TL0. Claro, puedes usar User-agent: * Disallow: / o meta similar, pero a veces se respetan y a veces no. Si alguien comparte un enlace usando Gmail, Google lo indexará sin importar lo que tengas en robots.txt o meta.
Y esos trucos solo son efectivos si un bot los respeta. La mayoría de los rastreadores SEO no los siguen. Y luego hay un millón de bots maliciosos y script kiddies intentando hacer algo.
Entonces, lo que tienes que hacer depende del nivel de privacidad que busques.
4 Me gusta