Las reglas genéricas en "robots.txt" no son detectadas por Googlebot

Soporte
1

Estimado equipo de Discourse:

En primer lugar, queremos felicitarles por el espíritu y la resistencia en la concepción y el mantenimiento de Discourse. Siempre es un placer usarlo para nosotros y para los miembros de nuestra comunidad.

Hemos resumido algunas observaciones menores hechas hoy y esperamos que les resulten útiles. Por otro lado, también estaremos encantados de recibir comentarios sobre cualquier malentendido por nuestra parte.

Saludos cordiales,
Andreas.

Introducción

Al investigar el comportamiento de nuestra instancia de Discourse alojada en https://community.crate.io/ con respecto a su archivo de definición robots.txt [1], descubrimos que Googlebot podría no respetar la configuración según lo previsto.

Evaluación

Vamos a ejercitarlo en nombre del robots.txt en Meta [2], con la URL de mi perfil https://meta.discourse.org/u/amotl/.

La diferencia se puede detectar rápidamente comparando los resultados de este validador gratuito de robots.txt:

image
image744×204 16.3 KB

– Evaluar con Googlebot

image
image740×204 14 KB

– Evaluar con MSNBot

Investigación

Sobre este tema en particular, creemos haber encontrado la respuesta:

Reflexiones

Por lo tanto, nos inclinamos a pensar que Googlebot podría estar ignorando actualmente las reglas definidas dentro de la sección User-agent: * [3] por completo y solo respeta las reglas dentro de la sección User-agent: Googlebot [4].

  1. https://community.crate.io/robots.txt ↩︎

  2. https://meta.discourse.org/robots.txt ↩︎

  3. robots.txt, sección User-agent: *

    User-agent: *
Disallow: /admin/
Disallow: /auth/
Disallow: /assets/browser-update*.js
Disallow: /email/
Disallow: /session
Disallow: /user-api-key
Disallow: /*?api_key*
Disallow: /*?*api_key*
Disallow: /badges
Disallow: /u
Disallow: /my
Disallow: /search
Disallow: /tag
Disallow: /g
Disallow: /t/*/*.rss
Disallow: /c/*.rss
    ↩︎

  4. robots.txt, sección User-agent: Googlebot

    User-agent: Googlebot
Disallow: /auth/
Disallow: /assets/browser-update*.js
Disallow: /email/
Disallow: /session
Disallow: /*?api_key*
Disallow: /*?*api_key*
    ↩︎
4 Me gusta
2

Si entendí bien, la respuesta no es tan fácil. Si un solo usuario ha enviado un enlace usando Gmail, googlebot no respeta robots.txt. Lo mismo ocurre si un enlace se comparte en algún lugar (backlinks) donde parece para googlebot un enlace normal y corriente.

De nuevo: robots.txt es solo una solicitud.

Hay otro, pero más… Un buen número de bots se identifican como googlebot y la realidad solo se puede encontrar a través de la IP.

3 Me gusta
3

Esto es correcto y se implementó intencionalmente de esta manera.

Por lo tanto, Googlebot recibe un encabezado http adicional X-Robots-Tag: noindex para las páginas que realmente no deberían indexarse. Ver:

Para sus propios dominios, puede usar Google Search Console → Inspeccionar URL

Luego, intente agregar una URL de perfil de usuario para indexar, por ejemplo, https://www.example.com/u/jacob

grafik
grafik1152×963 69 KB

4 Me gusta
4

Estimado Ayke:

Confirmado.

$ http https://meta.discourse.org/u/amotl --print hH | grep -i robot
X-Robots-Tag: noindex

Muchas gracias por tu rápida respuesta y explicación, y por referenciar el parche correspondiente.

Saludos cordiales,
Andreas.

2 Me gusta
5

Lo he movido a Support, gracias por tu maravillosamente redactado informe de error aquí.

Nos ha llevado mucho tiempo ajustar nuestras reglas para mantener a Google contento, la etiqueta x-robots-tag noindex tiene un soporte desigual pero es un estándar de la industria. El problema de simplemente prohibir el rastreo era que, por alguna razón, bajo ciertas condiciones, las páginas podían terminar en el índice de Google y luego no había una manera fácil de eliminarlas porque el rastreo estaba prohibido, un problema de huevo y gallina.

4 Me gusta
6

Estimado Sam:

Muchas gracias por compartir más detalles sobre este asunto. Como siempre, estoy asombrado del nivel de genialidad que estás vertiendo en cada detalle de Discourse.

Debo admitir que no era consciente de esto hasta ahora. ¡Gracias de nuevo!

image

Genial. Gracias. Si esto se ha convertido en un estándar ampliamente aceptado ahora, ¿habrá esperanza de que algunos de los validadores gratuitos de robots.txt también lo respeten en el futuro?

¿Eres consciente de alguno que ya implemente comprobaciones de encabezado adicionales correspondientes además de leer el robots.txt hoy, como lo hace la Inspección de URL de Google Search Console? Eso probablemente ayudaría a las personas a evitar la misma confusión en la que nos encontramos.

Saludos cordiales,
Andreas.

7

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.