pero no queda claro cuál fue el resultado de esta discusión. Una directiva noindex en robots.txt ya no es efectiva: Google ahora la ignora. Para evitar que un sitio privado aparezca completamente en los resultados de búsqueda, la directiva Disallow no es suficiente. Lo que se necesita es la etiqueta meta noindex en cada página afectada. En nuestro caso, esto incluye la página de inicio de sesión y cualquier página de error accesible externamente (o, por cierto, una etiqueta meta noindex en todas las páginas sería perfectamente adecuada).
Sí, Google dejó de soportar noindex en robots.txt. Pero su recomendación ahora parece ser colocar una etiqueta meta noindex en todas las páginas que deseas eliminar completamente de su índice. Eso es lo que estoy tratando de lograr.
No he hecho mucho trabajo con temas, así que esto es exactamente lo que necesitaba saber. ¡Gracias! Y está apareciendo correctamente en el (agregado a “head_tag”). Por si acaso, la etiqueta recomendada por Google si quieres pedir a todos los robots que no indexen es:
<meta name="robots" content="noindex">
Ahora he desactivado (bueno, en realidad he comentado) robots.txt por completo por las razones mencionadas anteriormente en este hilo. Gracias de nuevo.
¡Me alegra haber podido ayudar! Todavía no soy muy bueno con los temas y no sé nada sobre SEO, así que no sabía cómo debía ser realmente la etiqueta meta. Me alegra haberte acercado lo suficiente para que pudieras solucionarlo.