De forma predeterminada, el archivo robots.txt contiene la siguiente entrada:
User-agent: *
# ...
Disallow: /u
Esta configuración bloquea la imagen para las tarjetas de Twitter. Al verificar la tarjeta de varios foros en el validador de Twitter, no se muestra el logotipo y aparece la siguiente advertencia:
La URL de la imagen forum.[…].org/uploads/[…].png especificada por la metatag ‘twitter:image’ puede estar restringida por el archivo robots.txt del sitio, lo que impedirá que Twitter la obtenga.
El problema es que la ruta /uploads también comienza con una u y, por lo tanto, coincide con la regla de robots.txt.
Sé que el archivo robots.txt se puede sobrescribir, pero creo que sería bueno cambiar la configuración predeterminada. Lamentablemente, no conozco el código lo suficiente como para crear una solicitud de extracción (pull request).
Al sobrescribir, tenga en cuenta que Twitter verifica el archivo robots.txt con menos frecuencia que el HTML real de la página, por lo que puede tardar varias horas en ser detectado.
Sí, al menos hace que las tarjetas de Twitter funcionen. Espero que no tenga efectos secundarios no deseados.
Puedes abrir la configuración “permitir indexación en robots.txt” y hacer clic en “anular robots.txt”. Luego, busca la línea Disallow: /u y añade una barra al final, de modo que quede Disallow: /u/. A Twitter le tomará unas pocas horas detectar el cambio.
Parece que este fue un problema en el pasado (ver este hilo) y luego se reintrodujo.
En este commit, las reglas de robots con barra final se eliminaron porque se pensó que ya no eran necesarias. Más tarde, en este commit, se reintrodujeron pero sin la barra al final.
