Googlebot ottiene la versione non-JavaScript del sito

Ho appena notato che Discourse serve una versione non-JS del sito a Google…

Ho usato JS per impostare il titolo del sito, la meta description, il canonical, ecc. e sembra che Google stia diventando molto bravo a renderizzare javascript lato client (mi riferisco al mio sito normale, non a Discourse)

C’è un modo per disabilitare questo e non dare a Google bot una versione specifica?

…Inoltre, Discourse ha un link do-follow per sé stesso “Powered by Discourse.” - C’è qualcosa che posso fare al riguardo?

Modifica 1: Dovrei anche aggiungere che non mi dispiace avere un link Discourse lì, magari no-follow, o do-follow ma non a livello di sito

Modifica 2: Sono su GitHub e vedo che ho opzioni per quanto riguarda la rimozione del link (https://github.com/discourse/discourse/commit/82693daa3d073805d4beb80e052b0630496387a0#diff-a161d93800e35fd752c7f56f695d70a3) - Ci sono suggerimenti su quale dovrei orientarmi?

1 Mi Piace

Qualcuno ha qualche idea qui?

Probabilmente è una buona idea spiegare perché questo è necessario. Il comportamento predefinito all’interno di Discourse funziona bene per la maggior parte, in base al tuo account è una tua scelta con quanto sopra che sta creando il conflitto.

4 Mi Piace

Mi scuso

Quando dico che sto usando JavaScript per il titolo, canonico e meta-descrizione, intendo per il mio sito web normale, non per l’impostazione di discourse. Stavo solo cercando di trasmettere le mie esperienze con googlebot e JS

Ho provato ad aggiustare il file robots, quello non sembrava servire la versione JavaScript a google

Modifica: Sto anche iniziando a capire quanto discourse sia un’app, lato client - roba molto interessante. Sarebbe comunque interessante vedere cosa può fare il google bot con essa. Immagino che l’algoritmo apprezzerebbe molto la configurazione pulita.

1 Mi Piace

Giusto. È tutta un’app. E c’è poca possibilità che Google possa capirlo, quindi ci sarebbe bisogno di una seconda app, solo per Google, motivo per cui invia la versione statica.

2 Mi Piace

Grazie per aver risposto qui @pfaffman ..

Solo per soddisfare la curiosità, c’è un modo per testarlo? - Sono solo curioso di sapere come sarà il sito se diamo una possibilità a Google. Hanno iniziato ad aprirsi davvero all’idea del JS lato client di recente. Almeno dal punto di vista SEO ha senso provare

La versione senza JS serve collegamenti ipertestuali dello stesso colore del testo. Quindi non puoi dire cos’è un link (se sei il bot di Google)

Il codice sorgente è disponibile, quindi basterebbe cambiare qualcosa lì. Ho una buona conoscenza del codice, ma non ho idea di dove cercare.

Penso che se fosse vero ci sarebbe già una risposta, dato che un bel po’ di persone che ne sanno più di me su Discourse e più di entrambi su SEO si preoccupano profondamente di questa questione.

Pensi davvero che il bot di Google sia daltonico e guardi il colore del testo per decidere cos’è un link? E non è in grado di leggere l’HTML per vedere cos’è un href? Sembra improbabile.

1 Mi Piace

In realtà è totalmente daltonico :wink:

Molti, anche esperti SEO, pensano davvero che i bot vedano un sito allo stesso modo in cui lo vediamo noi sullo schermo.

Beh, sto andando un po’ fuori tema.

3 Mi Piace

Stavo pensando di avviare un nuovo argomento qui su meta per discuterne (non ho abbastanza familiarità con questo gergo di pull request/commit su github)

Fidati di me, sono scioccato anch’io… Non mi definirei un principiante quando si tratta di SEO, sono stato coinvolto in modo discontinuo per oltre un decennio. Quello che sta succedendo qui sono sicuramente fattori di ranking negativi. Potrebbe non danneggiare la SEO di “LetsEncrypt”, ma sicuramente i ragazzi più piccoli.

Penso che la maggior parte degli utenti di Discourse possa condividere la tua mentalità per quanto riguarda la SEO. Non ci pensano molto. C’è un sacco di potenziale nascosto qui.

Sì, sanno che è un link, sanno anche che è scuro proprio come il testo e agli utenti non piacerà. Non dimentichiamo che Google ora ci classifica in base a ciò che vede nella versione non-JS.

Per quanto riguarda il link esterno “Powered by Discourse”:

Ricordo di aver visto un video con John Mueller/Matt Cutts - i ragazzi della SEO di Google - e hanno menzionato che i link interni nascosti (a causa di menu, JS, ecc.) non causano davvero danni. -

Ha anche menzionato, tuttavia, che se si tratta di un link esterno, che mostri solo a Googlebot e non agli utenti finali, potrebbe essere un problema.

Mi sento onestamente come se fossi nella zona crepuscolare. Vi garantisco che, una volta risolto questo problema, tutti i forum di Discourse vedranno un enorme balzo nel traffico organico di Google.

È molto facile fare affermazioni come quella di cui sopra, in particolare quando, per tua stessa ammissione, non comprendi i meccanismi interni né le decisioni di progettazione che hanno portato allo stato attuale.

Realisticamente parlando, però, non puoi garantire nulla qui, e a meno che tu non riesca a convincere qualcuno con le competenze necessarie a modificare il codice, rimarrà ipotetico.

Se hai un budget per esplorare questa possibilità, il Marketplace potrebbe essere un buon punto di partenza.

5 Mi Piace

Ho un’idea molto vaga, l’app è ricca di Javascript e storicamente Google ha avuto problemi con JS. Quindi siete passati al semplice non-JS che abbiamo ora. La mia argomentazione è di almeno PROVARE e vedere cosa Google renderizza con JS abilitato.

In realtà penso di sottovalutare questo aspetto, alcuni sono d’accordo con me su Reddit technical SEO

Nota a margine:
Sembra che gli hyperlink nel corpo del testo, avendo lo stesso colore del testo, siano il risultato di un aggiornamento piuttosto recente. Versioni precedenti della mia pagina su Google mostrano i link in blu.

So che questo è un argomento piuttosto vecchio ormai, ma dato che attualmente ho un interesse in tutti gli argomenti di Discourse e SEO, e Nader sembra essere nei paraggi, ravviviamolo.

Non mi piace molto nemmeno che Discourse serva qualcosa di diverso specificamente a Google rispetto a ciò che viene servito a tutti gli altri. Ho sempre sentito dire che questa era la regola numero 1 delle cose da NON fare, perché a Google non piace affatto.

Non è stato uno dei problemi, o addirittura il principale, che Discourse fosse considerato lento a caricarsi con JS abilitato?

Questo è stato aggirato servendo una versione statica a Google e mostrando l’animazione di “caricamento” per mostrare che qualcosa sta apparendo abbastanza velocemente. “Qualcosa” sì, ma non le informazioni che l’utente cercava e per cui ha cliccato sul link. Ci vuole tempo per mostrarle. E servendo la versione JS, Google lo saprebbe. Mentre attualmente è in qualche modo ingannato per non sapere quanto tempo ci vuole.

O mi sbaglio?
È un buon modo di fare? Google lo sa comunque? Ad esempio dalle statistiche del browser Chrome inviate indietro. E questo magari penalizza il ranking?

2 Mi Piace

Avevo intenzione di rispondere a questo da un po’ di tempo; è solo che sono un maestro procrastinatore.

Alla fine, sto mantenendo il comportamento predefinito di Discourse perché tutto il resto è troppo difficile da mantenere.

Sono abbastanza sicuro che durante i miei esperimenti con questo, la versione JS sia stata accolta meglio da Google. Le impressioni sembravano sempre aumentare quando otteneva la versione migliore.

John Mueller di Google Search ha risposto ai nostri tweet a riguardo, ecco il tweet iniziale.

Penso ancora che una qualche soluzione da parte della comunità open source sarebbe estremamente vantaggiosa. Forse il rendering lato server.

Capisco che sarebbe una cosa importante da affrontare per Discourse, ma immagina l’aumento del traffico verso tutti i forum Discourse là fuori se Google ottenesse un’interfaccia utente/layout migliore, ecc.

John di Google dice che dovrebbe andare bene comunque, quindi questo dovrebbe essere preso in considerazione.

https://twitter.com/JohnMu/status/1644803668493971456

1 Mi Piace

Grazie per aver condiviso.

Tuttavia, questa risposta rafforza il nostro approccio attuale, poiché si tratta di far indicizzare il contenuto il più rapidamente possibile :sweat_smile:

7 Mi Piace

Per aggiungere che sto attualmente riscontrando una crescita migliore di quella esponenziale* nelle impressioni e nei clic di Google su un sito, quindi qualcosa viene fatto bene!

*probabilmente non durerà, ma non incolperò Discourse per questo! :sweat_smile:

4 Mi Piace

Capisco, se potessi aggiungere un contributo… per quanto ne so, il crawler di Googlebot è piuttosto bravo a trovare nuovi contenuti/pagine rapidamente indipendentemente dallo stack dietro la configurazione. Non può essere l’unica ragione per cui Discourse utilizza la versione crawler, ma capisco le implicazioni.

Forse ora con l’IA e il modo in cui internet sta cambiando, l’idea di SEO on-page diventerà sempre più un fattore irrilevante e conteranno principalmente il contenuto/i dati stessi.

@stance455 Se Discourse serve la versione JS, Googlebot noterà quanto tempo ci vuole prima che il (vero) contenuto venga visualizzato. Il che è molto negativo per la SEO.
Il problema si presenta solo quando Discourse viene caricato inizialmente. Ma questa è una metrica importante per le persone che cliccano su un link da un motore di ricerca (e quindi, anche per Google stessi).

1 Mi Piace