Ich bin mir nicht sicher, warum Google den Inhalt unserer Diskussions-Community nicht indexiert.
Schauen Sie sich diese Seite hier an: Welcome to the Appsmith Community | Appsmith Community Portal
Der Titel ist ziemlich einzigartig. Ich stelle mir vor, wenn ich den Titel in Google kopiere und einfüge, sollte der erste Link die obige URL sein.
Stattdessen bekomme ich das: Nicht nur, dass es nicht der erste Link ist, es erscheint überhaupt nicht.
Was mache ich falsch?
Dafür könnte es sooo viele Gründe geben.
Crawlt der Googlebot Ihre Website tatsächlich? Überprüfen Sie mysite.com/admin/reports/web_crawlers
Ist der Googlebot blockiert oder wird er ratenlimitiert? Überprüfen Sie mysite.com/admin/site_settings/category/security?filter=crawler%20user%20agents
Haben Sie Ihre Website zu Google Search Console hinzugefügt?
Selbst gehostete Personen können sogar das folgende Plugin installieren, um zu helfen
Das Sitemap-Plugin ist auch für unsere Business- und Enterprise-Pläne verfügbar.
Wahrscheinlich nichts. Aus irgendeinem Grund scheint Google den “Wie mache ich X”-Themen eine höhere Priorität einzuräumen als dem eigentlichen Thema mit genau diesem Titel. Warum? Ich bin mir nicht sicher. Es könnte einfach eine KI sein, die diese Entscheidung auf der Grundlage unbekannter Muster trifft.
Auch Google-Muster, die niemand kennt 
Das ist dann ein großes Problem für uns. Wir werden uns das ansehen, aber es untergräbt irgendwie den gesamten Zweck, da wir nicht erwarten können, dass die Leute jedes Thema in der Community “durchgehen”. In der Praxis werden die meisten Leute nach ihrer Problemlösung googeln (auch wenn sie Mitglied der Community sind), um zur Antwort zu gelangen.
Es ist wirklich schwer zu sagen, was in Ihrem Fall mit Google los ist. Ich habe mir die Mühe gemacht, Ihre Crawler-Statistiken genauer anzusehen, und auf den ersten Blick scheint es, dass der Google-Crawler Ihre Community nicht sehr oft besucht. Haben Sie bereits versucht, Einblicke aus der Google Search Console zu gewinnen? Vielleicht gibt es dort Informationen, die helfen könnten, der Sache auf den Grund zu gehen.
Ich sehe das gleiche Verhalten für einen kleinen Teil der kürzlich erstellten Themen hier auf Meta. Ich werde dies mit unserem Team besprechen, um herauszufinden, ob wir etwas tun können oder ob es einfach Google ist, das Google ist. Ich werde Sie auf dem Laufenden halten.
Haben Sie auch unsere beiden Blogbeiträge zu SEO gesehen?
Dieses Google-Verhalten begann vor Monaten und wird leider immer schlimmer.
Die Sitemap hat in meinem Fall nicht geholfen …
Ja, das ist die erste Frage, die ich stellen würde.
Nun… unsere Website ist appsmith.com, also sollten alle Subdomains und Unterordner von appsmith.com idealerweise indiziert werden, wenn wir appsmith.com bei GSC einreichen, oder?
Ich habe community.appsmith.com (unser Discourse-Forum) trotzdem heute zu GSC hinzugefügt, bin mir aber nicht sicher, ob das etwas ändern wird.
Ich würde die Subdomain als eigenständige Property in Ihrer GSC hinzufügen und eine dedizierte Sitemap für die Subdomain einreichen.
Ja 
Das scheint dann ein Problem zu sein. Denn wir können definitiv nicht weitermachen, wenn Google keine einzelnen Beiträge indexiert, da dies den gesamten Zweck der Community zunichtemacht (da die meisten Leute Inhalte über Google entdecken werden – einschließlich unserer aktuellen Benutzer –, anstatt die Kategorien auf Discourse zu durchlaufen).
Und das scheint nicht nur bei unserem Discourse ein Problem zu sein, sondern auch bei diesem Forum (meta.discourse.org).
Um dies zu veranschaulichen, habe ich den Titel dieses Beitrags gegoogelt, und das ist das Ergebnis, das ich erhalten habe:
Grundsätzlich wird dies zu einem großen Problem für Leute, die die Discourse-Community als Wissensdatenbank nutzen (was natürlich viele Unternehmen tun).
Wir haben so ziemlich die meisten Richtlinien aus den oben genannten 2 Blogs zu SEO befolgt, unsere Inhalte sind reichhaltig, detailliert und hochgradig technisch. Doch wenn Leute danach googeln, tauchen sie nicht auf.
Daher echte Fragen: Angesichts unseres Anwendungsfalls (Erstellung einer Wissensdatenbank über Supportanfragen, die auch bei der Suchmaschinenoptimierung helfen kann) und angesichts des Problems, würden Sie empfehlen, dass wir einfach mit der Planung einer Alternative beginnen?
Hier ist ein Auszug von Google
Die Indizierung Ihrer Inhalte durch Google wird von Systemalgorithmen bestimmt, die Nutzeranfragen und Qualitätsprüfungen berücksichtigen.
Denken Sie auch daran, dass nur Benutzer ab TL3 die no follow-Links deaktiviert haben.
Hier gibt es etwas zu lesen:
Mit anderen Worten, meine Beiträge haben mehr “Gewicht” als Ihre Beiträge.
Meine Entschuldigung, du hast Recht 
@constantine Es sieht so aus, als ob Google Seiten auf der Subdomain https://docs.appsmith.com gegenüber Seiten auf https://community.appsmith.com bevorzugt
Die meisten Suchergebnisse stammen von docs.appsmith.com
Google Search
Ein Schuss ins Blaue: Googles Bevorzugung einer Subdomain gegenüber der anderen könnte von den „Core Web Vitals“ Largest Contentful Paint (LCP) beeinflusst werden
Der simulierte Bericht auf https://pagespeed.web.dev/ ist durch Discourse „verbuggt“. Überprüfen Sie besser den Bericht der Google Search Console „Erlebnis“ → „Core Web Vitals“ für Ihre Domain.
Nur ein Update, Leute: Wir haben Discourse selbst gehostet und die Sitemap an die Search Console übermittelt, und jetzt werden unsere Inhalte von Google indexiert. Gibt es also vielleicht ein Problem mit der Cloud-gehosteten Version?
Ich bin mir nicht sicher, ob dies mit Sitemaps oder Cloud-Hosting zusammenhängt. Meta wird auf AWS gehostet, was ein völlig anderer Ort ist als dort, wo wir viele unserer anderen Kunden hosten, und wir sehen in letzter Zeit sehr ungleichmäßige Ergebnisse für Meta und ziemlich viele Websites über verschiedene Hosting-Optionen hinweg.
Ich habe versucht, einige Dinge zu optimieren, um zu sehen, ob etwas hilft.
Wir folgen keinen Links mehr zu .rss, was Google davon abhält, /1 /2 usw. Varianten eines Themas zu scannen, die alle eine Canonical-Version teilen.
Wir weisen Google explizit an, Links innerhalb des .rss-Feeds nicht zu folgen, falls es einen RSS-Feed erhält.
Ich habe einige Canonical-Optimierungen, die wir vorgenommen haben, vorübergehend deaktiviert – die vielversprechend waren: Search engines now blocked from indexing non-canonical pages
Das Symptom, das ich hier bei Meta beobachte, ist, dass
Das ist extrem besorgniserregend, Google gibt uns nur sehr wenig Einblick, „warum?“.
Mein nächster Schritt ist es, mehr Daten zu sammeln und einen fortlaufenden Bericht zu erstellen. Wir werden wahrscheinlich SerpApi verwenden, um herauszufinden, welche Seiten von Google fehlen, und versuchen, ein Muster zu erkennen.
Weil Meta, also die OP hier, „warum“ nicht so verwendet, wie Google es will? Ich habe einige Erfahrungen gemacht und selbst wenn der Kontext gleich bleibt, ändern unterschiedliche Sätze die Suchergebnisse. Wie erwartet.
Und… die persönliche Suchhistorie ist eine große und nicht so gute Sache. Meine Ergebnisse weisen ziemlich oft woanders hin als zu Meta, weil ich hier suche und nicht über Google.
Ja. Möglicherweise hat Discourse immer noch einige Probleme mit Google, und das kann vom „Forum-Status“ herrühren oder auch nicht, bei dem Google nicht auf Foren so reagiert wie auf normale Websites. Oder es gibt technische Probleme – auch das ist der Grund ziemlich selten.
Es ist dasselbe, was ich getan habe. Nach einer anfänglichen Verbesserung wird es wieder ignoriert.
Nach zwei Monaten werden selbst die neuen Threads in der Sitemap nicht indexiert. Die Situation dauert schon Monate an und wir haben viele Aufrufe verloren.
Wir wollen dies einen Monat lang ausprobieren, und wenn es sich nicht verbessert, werden wir die Software wechseln 
Überprüfen Sie den Bericht der Google Search Console „Index“ → „Abdeckung“ auf die „fehlenden“ Seiten. Dies zeigt Ihnen möglicherweise nicht „warum“, aber „was passiert“.
Öffnen Sie „Index“ → „Abdeckung“ für Ihre Domain.
Wählen Sie „Alle eingereichten Seiten“
Sehen Sie sich insbesondere „Ausgeschlossen“ an
Beschreibung der verschiedenen Phasen: Page indexing report - Search Console Help
Meine Annahme zu Google: „Crawled - currently not indexed“ hat eine von Google festgelegte Obergrenze – während es zu viele Seiten in diesem Zustand gibt, werden neue Seiten nur sehr langsam in den Google-Index aufgenommen.
Informationen zur Leistung des Google Crawlers finden Sie im Bericht der Google Search Console unter „Einstellungen“ → „Crawl-Statistiken“
Hier ist besonders die Zeitachse und die Entwicklung der „durchschnittlichen Antwortzeit“ interessant: schnellere Antwort = mehr Crawl-Anfragen
Und auch „Nach Zweck“ ist interessant:
