Googlebot obtient la version non-javascript du site

Dev
1

J’ai remarqué que Discourse sert une version sans JS du site à Google…

J’ai utilisé JS pour définir le titre du site, la méta-description, le canonique, etc., et il semble que Google soit de plus en plus performant pour le rendu du JavaScript côté client (je parle de mon site habituel, pas de Discourse).

Y a-t-il un moyen de désactiver cela et de ne pas donner à Google bot une version spécifique ?

… De plus, Discourse a un lien do-follow pour lui-même “Powered by Discourse.” - Y a-t-il quelque chose que je puisse faire à ce sujet ?

Edit 1 : Je devrais aussi ajouter que je ne vois pas d’inconvénient à avoir un lien Discourse là-dedans, peut-être no-follow, ou do-follow mais pas sur tout le site.

Edit 2 : Je suis sur GitHub et je vois que j’ai des options pour supprimer le lien (https://github.com/discourse/discourse/commit/82693daa3d073805d4beb80e052b0630496387a0#diff-a161d93800e35fd752c7f56f695d70a3) - y a-t-il des suggestions sur ce que je devrais privilégier ?

1 « J'aime »
3

Quelqu’un a-t-il des éclaircissements à ce sujet ?

4

C’est probablement une bonne idée d’expliquer pourquoi c’est nécessaire. Le comportement standard de Discourse fonctionne bien pour la majorité, en fonction de votre compte, c’est votre choix avec ce qui précède qui crée le conflit.

4 « J'aime »
5

Mes excuses.

Quand je dis que j’utilise JavaScript pour le titre, le canonique et la méta-description, je parle de mon site web habituel, pas de la configuration de Discourse. J’essayais juste de faire part de mes expériences avec Googlebot et le JS.

J’ai essayé d’ajuster le fichier robots, cela n’a pas semblé servir la version JavaScript à Google.

Edit : Je commence aussi à comprendre à quel point Discourse est une application, côté client - des choses très cool. Il serait toujours intéressant de voir ce que Google bot peut faire avec. J’imagine que l’algorithme apprécierait vraiment la configuration épurée.

1 « J'aime »
7

C’est ça. Tout est une application. Et il y a peu de chances que Google puisse comprendre cela, il faudrait donc une deuxième application, juste pour Google, c’est pourquoi il envoie la version statique.

2 « J'aime »
8

Merci d’avoir répondu ici @pfaffman ..

Juste pour satisfaire ma curiosité, y a-t-il un moyen de tester cela ? - Je suis juste curieux de savoir à quoi ressemblera le site si nous donnons une chance à Google. Ils ont vraiment commencé à s’ouvrir à l’idée du JS côté client ces derniers temps. Au moins, d’un point de vue SEO, cela a du sens d’essayer.

La version sans JS sert des hyperliens de la même couleur que le texte. Donc, vous ne pouvez pas dire ce qu’est un lien (si vous êtes le bot Google).

9

Le code source est disponible, il suffirait donc de modifier quelque chose là-dedans. Je connais assez bien le code, mais je n’ai aucune idée d’où chercher.

Je pense que si c’était vrai, il y aurait déjà une réponse, car un tas de personnes qui en savent plus sur Discourse que moi et plus sur le SEO que nous deux se soucient profondément de cette question.

Pensez-vous vraiment que le bot de Google est daltonien et regarde la couleur du texte pour décider de ce qui est un lien ? Et qu’il n’est pas capable de lire le HTML pour voir ce qu’est un href ? Cela semble improbable.

1 « J'aime »
10

Il est en fait totalement daltonien :wink:

Assez nombreux, même les experts en référencement, pensent vraiment que les robots voient un site de la même manière que nous le voyons à l’écran.

Bon, je suis un peu hors sujet maintenant.

3 « J'aime »
11

Je pensais ouvrir un nouveau sujet ici sur meta pour en discuter (je ne suis pas assez familier avec le jargon des pull requests/commits sur github)

Croyez-moi, je suis choqué aussi… Je ne me considérerais pas non plus comme un débutant en matière de SEO, j’ai été impliqué de manière intermittente pendant plus d’une décennie. Ce qui se passe ici, ce sont des facteurs de classement négatifs, c’est certain. Cela ne nuira peut-être pas au SEO de “LetsEncrypt”, mais aux petits acteurs, c’est certain.

Je pense que la majorité des utilisateurs de Discourse partagent votre mentalité en ce qui concerne le SEO. Ils n’y prêtent pas beaucoup d’attention. Il y a un potentiel caché énorme ici.

Oui, ils savent que c’est un lien, ils savent aussi qu’il est sombre, tout comme le texte, et les utilisateurs n’aimeront pas ça. N’oublions pas que Google nous classe désormais en fonction de ce qu’il voit dans la version sans JS.

Concernant le lien externe “Powered by Discourse” :

Je me souviens avoir regardé une vidéo avec John Mueller/Matt Cutts - les gars du SEO de Google - et ils ont mentionné que les liens internes cachés (en raison des menus, du JS, etc.) ne causent pas vraiment de tort.

Il a également mentionné, cependant, que s’il s’agit d’un lien externe, que vous ne montrez qu’à Googlebot et non aux utilisateurs finaux, cela pourrait poser problème.

J’ai l’impression d’être dans la quatrième dimension, pour être honnête. Je vous garantis qu’une fois que ce sera résolu, tous les forums Discourse verront un énorme bond du trafic organique de Google.

12

Il est vraiment facile de faire des affirmations comme celles ci-dessus, surtout lorsque, de votre propre aveu, vous ne comprenez pas le fonctionnement interne ni les décisions de conception qui ont conduit à l’état actuel.

En réalité, vous ne pouvez rien garantir ici, et à moins que vous ne puissiez convaincre quelqu’un possédant les compétences requises de modifier le code, cela restera hypothétique.

Si vous avez un budget pour explorer cela, la section Marketplace pourrait être un bon point de départ.

5 « J'aime »
13

[quote=“Stephen, post:12, topic:222412”]vous ne comprenez pas le fonctionnement interne ni les décisions de conception qui ont conduit à l’état actuel.
[/quote]

J’ai une idée très générale, l’application est très axée sur JavaScript et historiquement Google a eu des problèmes avec le JS. Vous avez donc opté pour le système simple sans JS que nous avons maintenant. Mon argument est d’au moins ESSAYER et de voir ce que Google rend avec JavaScript activé.

Je pense en fait que je sous-estime cela, certains sont d’accord avec moi sur Reddit technical SEO

Note annexe :
Il semble que les hyperliens dans le corps du texte ayant la même couleur que le texte soit une mise à jour assez récente. Les anciennes versions de ma page sur Google montrent que les liens sont bleus.

14

Je sais que c’est un sujet assez ancien maintenant, mais comme je m’intéresse actuellement à tous les sujets liés à Discourse et au SEO, et que Nader semble être dans les parages, relançons-le.

Je n’aime pas beaucoup non plus que Discourse serve quelque chose de différent spécifiquement à Google de ce qui est servi à tout le monde. J’ai toujours entendu dire que c’était la base des choses à NE PAS faire, car Google n’aime pas du tout cela.

N’était-ce pas l’un des problèmes, voire le principal, que Discourse était considéré comme lent à charger avec le JS activé ?

Cela a été contourné en servant une version statique à Google et en affichant l’animation “chargement” pour montrer que quelque chose apparaît assez rapidement. “Quelque chose” oui, mais pas les informations que l’utilisateur recherchait et pourquoi il a cliqué sur le lien. Cela prend du temps à s’afficher. Et en servant la version JS, Google le saurait. Alors qu’il est actuellement quelque peu trompé pour ne pas savoir combien de temps cela prend.

Ou est-ce que je me trompe sur ce point ?
Est-ce une bonne façon de faire ? Google le sait-il quand même ? Par exemple, à partir des statistiques du navigateur Chrome renvoyées. Et cela pénalise-t-il le classement ?

2 « J'aime »
15

Je voulais répondre à cela depuis un moment ; c’est juste que je suis un maître procrastinateur.

En fin de compte, je conserve le comportement par défaut de Discourse car tout le reste est trop difficile à maintenir.

Je suis à peu près sûr que lors de mes expériences avec cela, la version JS a été mieux accueillie par Google. Les impressions semblaient toujours augmenter lorsqu’elle obtenait la meilleure version.

John Mueller de Google Search a répondu à nos tweets à ce sujet, voici le tweet initial.

Je pense toujours qu’une sorte de solution apportée par la communauté open source serait extrêmement bénéfique. Peut-être le rendu côté serveur.

Je comprends que ce serait une chose majeure pour Discourse à entreprendre, mais imaginez le bond du trafic vers tous les forums Discourse existants si Google obtenait une interface/une mise en page plus agréable, etc.

John de Google dit que cela devrait aller cependant, donc cela devrait être pris en compte.

https://twitter.com/JohnMu/status/1644803668493971456

1 « J'aime »
18

Merci de partager.

Cependant, cette réponse renforce notre approche actuelle, car il s’agit d’obtenir l’indexation du contenu le plus rapidement possible :sweat_smile:

7 « J'aime »
19

Pour ajouter, je connais actuellement une croissance meilleure qu’exponentielle* des impressions et des clics sur Google sur un site, donc quelque chose est bien fait !

*ça ne durera probablement pas mais je ne blâmerai pas Discourse pour ça ! :sweat_smile:

4 « J'aime »
20

Je vois, si je pouvais ajouter mon grain de sel… d’après ce que je comprends, le robot d’exploration de Google est assez bon pour trouver rapidement du nouveau contenu/des nouvelles pages, quel que soit le système derrière la configuration. Ce ne peut pas être la seule raison pour laquelle Discourse utilise la version du robot d’exploration, mais je comprends les implications.

Peut-être qu’avec l’IA et l’évolution d’Internet, l’idée du référencement on-page deviendra de plus en plus un facteur non pertinent et que le contenu/les données eux-mêmes seront ce qui importera le plus.

21

@stance455 Si Discourse sert la version JS, Googlebot remarquera le temps qu’il faut pour que le contenu (réel) s’affiche. Ce qui est très mauvais pour le SEO.
Le problème ne se pose que lors du chargement initial de Discourse. Mais c’est une métrique importante pour les personnes qui cliquent sur un lien depuis un moteur de recherche (et donc, pour Google aussi).

1 « J'aime »