Désactiver ou contourner la détection de fonctionnalités pour Googlebot (tout en servant l'application JS aux robots d'exploration)

Heureux que vous posiez la question, oui, je pense que c’est la raison de ma « soft penalty » Google

Permettez-moi d’élaborer.

Nous avons eu une mise à jour de site très bâclée vers septembre/octobre 2019, le site principal a chuté à ce moment-là.

Nous ne nous en sommes jamais remis. Le site n’a jamais été aussi bon en termes de SEO. Bien sûr, ce n’est pas parfait, mais nous avons des années d’avance sur certains concurrents. Des sites qui utilisent nos images et textes vieux de plusieurs années nous surpassent par pages. Nous sommes en 3ème position et eux peut-être en haut de la 2ème page.

J’ai parcouru d’innombrables blogs, vidéos, posts SEO et j’ai même eu quelques échanges avec John Mueller (sur Reddit).

Le maximum que j’ai obtenu de sa part était, cela pourrait être des « problèmes de qualité ». Nous avons considérablement amélioré le site principal depuis le 1er janvier de cette année. Même pas un petit coup dans le trafic organique.

Discourse : Je l’ai installé en 2013 et je l’ai oublié. Je vérifiais à peine son trafic.

Si vous regardez les analyses du site principal, vous verrez une forte baisse vers la fin du graphique. C’est à ce moment-là que j’ai commencé à travailler sur Discourse.

Lorsque j’ai essayé prerender.io sur discourse, le classement du site principal était erratique. Parfois, il sautait de 10 à 15 places du jour au lendemain, puis revenait. (J’ai depuis arrêté prerender car ils ne pouvaient pas rendre le menu principal, la connexion, etc.)

D’après ce que j’ai lu en ligne, c’est un signe que Google ne sait pas où vous placer. Ils disent qu’il suffit d’un petit « plus » et vous êtes du bon côté de l’algorithme.

Rien de ce que nous avons fait au cours des 3 dernières années n’a déclenché ces fluctuations dans les SERP.

(Manipulation de l’outil de désaveu de Google, nettoyage du code, URL propres, structure du site, liens internes, réseaux sociaux, contenu, etc.)

Vous pourriez argumenter, pourquoi Google ne m’a-t-il pas pénalisé en 2018 ? (vous aviez également discourse sur le sous-domaine à l’époque)

Eh bien, je pense que c’était une multitude de facteurs uniques au site, à son histoire, à son profil de liens. qui ont causé son effondrement fin 2019. Il semble que Google ait remanié le classement du site et ait peut-être donné plus de poids aux URL de discourse qu’auparavant.

Et le fait est… J’adore Discourse. Surtout maintenant que je suis plus sur meta, tous ces plugins et fonctionnalités cool dont j’ignorais l’existence. Wiki, paiements par abonnement, table des matières, et maintenant le chat !!

Donc, quitter discourse n’est pas vraiment une option, trop investi à ce stade.

J’ai pris cela en considération et je suis prêt à tenter ma chance. Je sais que ce ne sera pas parfait, mais d’après ce que j’ai lu et vu, Google est devenu très bon pour comprendre le JS ces derniers temps.

Ils ont même déprécié le schéma d’exploration AJAX

Les temps ont changé. Aujourd’hui, tant que vous ne bloquez pas Googlebot de l’exploration de vos fichiers JavaScript ou CSS, nous sommes généralement en mesure de rendre et de comprendre vos pages Web comme les navigateurs modernes.

Note annexe : Discourse a un paramètre pour l’exploration AJAX - je suppose que cela doit finir par disparaître.


Donc, le plan est de servir l’application à Google, faire de mon mieux pour résoudre les problèmes de SEO qui pourraient survenir et profiter de l’augmentation du trafic.

Je pourrai alors rapporter les résultats sur meta et soutenir que Discourse devrait envisager d’optimiser le JS pour Google.

Par exemple, quelque chose comme ceci (du blog Google) pourrait aider avec les problèmes de pagination et de défilement.

Et conserver la version non-crawler pour les anciens navigateurs.