Feature Detect für Googlebot deaktivieren oder umgehen (während Auslieferung einer JS-App an Crawler)

Haben Sie an etwas gearbeitet, das die Art und Weise, wie Discourse gecrawlt wird, verändert hat, z. B. versucht, Prerender darauf anzuwenden?

Gibt Ihnen Ihr Landingpages-Bericht in GA Hinweise darauf, welcher Teil der Website betroffen war?


Für die Hauptseite gilt: Wenn John Muller auf Qualitätsprobleme hingewiesen hat, sollten Sie seine Qualitätsdokumente durchgehen und sich fragen, ob eines davon zutrifft.

Bei einem schnellen Blick gibt es Weiterleitungsketten von der Website aus dem Jahr 2019, die möglicherweise länger sind, als Google crawlen kann.

Ein möglicher Grund für eine plötzliche Strafe ist, dass URLs von der Website aus dem Jahr 2019 6 Weiterleitungen haben, Google aber empfiehlt, es bei “weniger als 5” zu belassen, da sie sonst die Weiterleitungen möglicherweise nicht befolgen. Das könnte Google den Eindruck vermittelt haben, dass die alten Seiten aus dem Web verschwunden sind.

Beispiel:

curl -sSL -D - http://flynumber.com/virtual-phone-number/united-states_alexandria_1-318 -o /dev/null -H 'User-Agent: header_bot'

Die Weiterleitungen sind wahrscheinlich am einfachsten zu beheben. Anstatt sie so zu machen:

/a → /b → /c → /d → /e → /final-destination

Ich würde es so machen:

/a → /final-destination
/b → /final-destination
/c → /final-destination
/d → /final-destination
/e → /final-destination

(Es sieht so aus, als hätten Sie auch Doorway Pages und automatische Synonymisierung, aber ich würde versuchen, das einfachere Problem zuerst zu beheben, da das vielleicht schon ausreicht.)