Ich bin mir nicht sicher, ob dies mit Sitemaps oder Cloud-Hosting zusammenhängt. Meta wird auf AWS gehostet, was ein völlig anderer Ort ist als dort, wo wir viele unserer anderen Kunden hosten, und wir sehen in letzter Zeit sehr ungleichmäßige Ergebnisse für Meta und ziemlich viele Websites über verschiedene Hosting-Optionen hinweg.
Ich habe versucht, einige Dinge zu optimieren, um zu sehen, ob etwas hilft.
-
Wir folgen keinen Links mehr zu
.rss, was Google davon abhält,/1/2usw. Varianten eines Themas zu scannen, die alle eine Canonical-Version teilen. -
Wir weisen Google explizit an, Links innerhalb des
.rss-Feeds nicht zu folgen, falls es einen RSS-Feed erhält. -
Ich habe einige Canonical-Optimierungen, die wir vorgenommen haben, vorübergehend deaktiviert – die vielversprechend waren: Search engines now blocked from indexing non-canonical pages
Das Symptom, das ich hier bei Meta beobachte, ist, dass
- Google tatsächlich ALLEN Inhalt crawlt, das sehe ich in den Weblogs
- Trotz des Crawlings der Seiten werden bei etwa 50 % der neueren Meta-Themen diese nicht im Index angezeigt.
Das ist extrem besorgniserregend, Google gibt uns nur sehr wenig Einblick, „warum?“.
Mein nächster Schritt ist es, mehr Daten zu sammeln und einen fortlaufenden Bericht zu erstellen. Wir werden wahrscheinlich SerpApi verwenden, um herauszufinden, welche Seiten von Google fehlen, und versuchen, ein Muster zu erkennen.