Desactivar o omitir la detección de funciones para Googlebot (al servir la aplicación JS a los rastreadores)

Me alegra que preguntes, sí, creo que es la razón de mi “suave penalización” de Google.

Permíteme que me explique.

Tuvimos una actualización de sitio muy descuidada alrededor de septiembre/octubre de 2019, el sitio principal se hundió justo en ese momento.

Nunca nos recuperamos. El sitio nunca ha estado mejor en cuanto a SEO. Claro, no es perfecto, pero estamos a años luz de algunos de la competencia. Sitios que usan nuestras imágenes y textos de muchos años nos superan en páginas. Estamos en la tercera y ellos quizás en la cima de la segunda página.

He pasado por innumerables blogs, videos, publicaciones de SEO e incluso he tenido algunos intercambios con John Mueller (en Reddit).

Lo máximo que obtuve de él fue que podrían ser “problemas de calidad”. Hemos mejorado drásticamente el sitio principal desde el 1 de enero de este año. Ni siquiera un pequeño cambio en el tráfico orgánico.

Discourse: Lo instalé en 2013 y me olvidé de él. Apenas revisaba su tráfico.

Si miras las analíticas del sitio principal, verás una caída brusca hacia el final del gráfico. Esto es cuando comencé a trabajar en Discourse.

Al probar prerender.io en discourse, el ranking del sitio principal estaba por todas partes. A veces subía 10-15 puestos de la noche a la mañana, luego volvía. (Desde entonces he dejado de usar prerender ya que no podían renderizar el menú principal, el inicio de sesión, etc.)

Por lo que he leído en línea, esto es una señal de que Google no sabe dónde colocarte. Dicen que solo un poco “más” y estarás en el lado bueno del algoritmo.

Nada de lo que hemos hecho en los últimos 3 años ha provocado estas fluctuaciones en los SERPs.

(Jugar con la herramienta de desautorización de Google, limpiar código, URLs limpias, estructura del sitio, enlaces internos, redes sociales, contenido, etc.)

Podrías argumentar, ¿por qué Google no me penalizó en 2018? (también tenías discourse en el subdominio entonces)

Bueno, creo que fue una multitud de factores únicos del sitio, su historia, perfil de enlaces. lo que hizo que se hundiera a finales de 2019. Parece que Google reorganizó el ranking del sitio y quizás dio más peso a las URLs de discourse de lo que dio anteriormente.

Y la cosa es… me encanta Discourse. Especialmente ahora que he estado más en meta, todos estos complementos y funciones geniales que no tenía idea de que existían. Wiki, pagos por suscripción, tabla de contenido y ¡ahora el chat!

Así que alejarse de discourse no es realmente una opción, demasiado invertido en este punto.

Consideré esto y estoy dispuesto a arriesgarme. Sé que no será perfecto, pero por lo que he leído y visto, Google se ha vuelto muy bueno entendiendo JS últimamente.

Incluso descontinuaron el esquema de rastreo ajax

Los tiempos han cambiado. Hoy en día, siempre que no impidas que Googlebot rastree tus archivos JavaScript o CSS, generalmente podemos renderizar y comprender tus páginas web como los navegadores modernos.

Nota al margen: Discourse tiene una configuración para el rastreo ajax; supongo que eso tiene que desaparecer eventualmente.


Así que el plan es servir la aplicación a Google, hacer mi mejor esfuerzo para solucionar cualquier problema de SEO que pueda surgir y disfrutar del aumento de tráfico.

Luego podré informar los resultados en meta y argumentar que Discourse debería considerar optimizar el JS para Google.

Por ejemplo, tal vez algo como esto (del blog de Google) ayudaría con las preocupaciones de paginación y desplazamiento.

Y mantener la versión no rastreadora para navegadores antiguos.