Probleme, die Google Search Console mir wegen falscher Diskursstruktur (oder aufgrund falscher Verwaltung meiner Website) anzeigt

[Bathinda (Bathinda Helper)]

Nachdem die anfängliche Hysterie (die eine Person übermannen kann, die feststellt, dass Google seine Website fast ein halbes Jahr lang nicht beachtet hat und er davon nicht einmal etwas wusste!!) abgeklungen ist,
versuche ich hier nur die Ursachen aufzulisten, die mit dem Discourse-Code zusammenhängen, d. h. die weder von Google noch von mir (soweit ich das beurteilen kann) behoben werden können, sondern vom Discourse-Team.

• Von Robots.txt blockiert:
  

  

• Serverfehler 5xx
  

  

• Inhalt breiter als Bildschirm und Klickbare Elemente zu nah beieinander (auf dem mobilen Bildschirm)
  

  

• Probleme mit strukturierten Daten im Diskussionsforum:
  

  

• Probleme bei der Videoindexierung, aber keine weiteren Details:
  

  

Wenn Sie auf „Videoindexierungsbericht“ klicken:

Und wenn Sie auf den Link „Erweiterungen > Videos“ klicken:

• Problem mit Interaktion zur nächsten Darstellung (Interaction to Next Paint):
  

  

• Kein Videominiaturbild gefunden
  

  
  
  
  

• Fehlendes Feld Url:
  

  

Bitte helfen Sie.

[Bathinda (Bathinda Helper)]

Vor einiger Zeit, als ich zufällig auf das Problem stieß (all dies kann übersprungen werden)::

Nachdem ich mehrere Monate lang Benutzer verloren hatte, stellte ich heute fest, dass meine Website von Google blockiert/verboten wurde!!!

Früher, wie ich auf dieses Problem gestoßen bin, alles kann übersprungen werden:

Ich habe fast alles in diesem Meta-Thema gelesen, bevor ich gefragt habe.

Im August 2024 stellte ich fest, dass der Traffic auf meiner Website um bis zu 95 % zurückgegangen war. Aber ich habe es ignoriert und dachte, dass ich vielleicht nicht genug gepostet hätte.

Aber heute habe ich festgestellt, dass, egal welchen Begriff ich bei Google eingebe und die Suche nur auf meine eigene Website beschränke: ***site:BathindaHelper.com jobs in bathinda***, keine Ergebnisse angezeigt wurden (das einzige Ergebnis, das von meiner Website angezeigt wird, ist eigentlich nur ein Vorschlag, Google Ads zu schalten, um dieses Ergebnis von meiner Website anzuzeigen, was darauf hindeutet, dass meine Website tatsächlich indexiert wurde):

---

Und schließlich habe ich auch Google Analytics (vielleicht umbenannt in Google Events) überprüft, und es zeigt deutlich, dass Google meine Website seit dem 17. Juni 2024 nicht mehr verweist.

[Jagster (Jakke Lehtonen)]

Wenn Sie Ihre Website entweder mit erzwungenem Login erstellt oder aufgehört haben, Themen TL0+ anzuzeigen? Google kann eine Website nur nutzen, wenn sie für die Welt sichtbar ist. Oder Sie haben die User Agents von Google blockiert.

Ist dies dasselbe Forum, bei dem Sie DNS-Probleme hatten?

[Moin]

@Jagster

Ist das dasselbe Forum, in dem Sie DNS-Probleme haben?

Fragen Sie wegen Site does not appear in google searches - #2 by Bathinda? Ich denke, die Antwort unten beantwortet die Frage des OP.

[Bathinda (Bathinda Helper)]

Ich habe fälschlicherweise das Wort „force“ verwendet. (Ich meinte damit, dass ich die Google-Suche dazu gezwungen habe, Suchergebnisse von meiner eigenen Website BathindaHelper.com zu liefern)

• Ich habe meine Website nicht mit einer abnormalen/erzwungenen Methode erstellt.
• Ich habe nichts absichtlich an TL0+ oder Ähnlichem herumgebastelt.
• Seit einer halben Stunde habe ich festgestellt, dass (neben einigen anderen kleinen Problemen) irgendwie meine robots.txt-Datei die Ursache ist, aber ich konnte (noch) nicht herausfinden, wie ich das beheben kann.
• Ich erinnere mich nicht an DNS-Probleme (sprichst du von einer sehr langen Zeit in der Vergangenheit?). Meine Website funktioniert einwandfrei, außer dass es manchmal fast 30 bis 50 Sekunden dauert, bis sie sich öffnet, wenn ich/der Administrator meinen Browser hart aktualisiere, aber danach funktioniert sie gut.

Vielen Dank für deine Antwort.

Bearbeiten:
Ich habe die Option „robots file“ deaktiviert:

aber ich kann nicht sagen, ob die Google Search Console jetzt meldet, dass alles in Ordnung ist oder nicht:

[Jagster (Jakke Lehtonen)]

Ja, ich habe die Bestellung total verpasst. Und jetzt haben wir eine Demonstration, was passieren kann, wenn

• alte Themen beantwortet werden
• vom Thema abgewichen wird
• ein Benutzer die Themen nicht liest

Ja, mein Fehler.

[Jagster (Jakke Lehtonen)]

@Bathinda

Irgendwie ist meine robots.txt-Datei schuld

Schauen Sie sich diese Einstellungen an:

• erlaubte Crawler-User-Agents
• blockierte Crawler-User-Agents

Aber meines Wissens hat Discourse nicht einfach eine robots.txt wie die meisten Websites, sondern sie wird durch ein seltsames Ruby-Ding gemacht, und es gibt nicht viele Einstellungen, die ein Administrator anpassen kann. Außer diesen beiden Einstellungen und dem Verlangsamen von Bots.

@Bathinda

Habe DNS-Probleme

Das war nur ich und meine schnellen Finger

[Moin]

@Bathinda

Bearbeiten:
Ich habe die Option „Roboterdatei“ deaktiviert:

Haben Sie das jetzt oder bevor die Indizierung gestoppt hat, deaktiviert?

Geben Sie in robots.txt an, dass diese Website von Suchmaschinen indiziert werden darf.

Wenn Sie Suchmaschinen nicht erlauben, Ihre Website zu indizieren, überrascht es mich nicht, dass sie es nicht tun.

[Bathinda (Bathinda Helper)]

@Jagster

Schau dir diese Einstellungen an:

Würde ich tun und berichten.

@Moin

Hast du das jetzt oder bevor die Indizierung gestoppt hat deaktiviert?

Ich habe dies deaktiviert, nachdem ich dieses Thema eröffnet habe (sagen wir 30 Minuten vor jetzt). Dieses Problem besteht jedoch seit 3 Monaten. Aber ich konnte nicht unabhängig überprüfen, ob diese ‘Abwahl’ den ‘Google Indexing’-Fehler beheben konnte oder nicht.

@Moin

Wenn du Suchmaschinen nicht erlaubst, deine Website zu indizieren, überrascht es mich nicht, dass sie es nicht tun.

Ich bin mir nicht sicher, ob ich Websites nicht über robots.txt deaktiviere/blockiere, dann sind ALLE SEITEN ERLAUBT? Oder ist es umgekehrt, dass wenn ich Websites nicht über robots.txt AKTIVIERE, dann sind alle Websites von der Indizierung BLOCKIERT?

[Jagster (Jakke Lehtonen)]

@Bathinda Helper

Ich habe die Option „Roboterdatei“ deaktiviert:

Das habe ich total vergessen. Sie sollten sie auswählen. Wenn Sie diese nicht verwenden, müssen Sie robots.txt manuell überprüfen und bearbeiten, um sicherzustellen, dass sie Bots wie gewünscht leitet.

Sie können aber auch nachsehen, ob Sie dort etwas finden, das Google aufhalten würde.

[Bathinda (Bathinda Helper)]

Ok.
Das bedeutet, dass alle Discourse-Benutzer (normalerweise) eine „Robots.txt“-Datei angeben/bereitstellen müssten.
Und so werde ich das Thema dazu (wie und was in dieser Datei stehen sollte) morgen im Detail lesen.

Zweitens, wenn es nicht zu umfangreich zum Erklären ist, können Sie mir einen einfachen Weg nennen, mit dem ich einige Einstellungen in meinem Discourse-Admin-Panel ändern und gleichzeitig live/in Echtzeit überprüfen kann, ob Google meine Website jetzt frei zugreifen (und dann indexieren) kann oder ob sie immer noch den Fehler „Zugriff verweigert – 403“ erhält?!

Bearbeitung: Obwohl ich selbst versuchen werde, ähnliche Ressourcen jetzt oder später bei Google zu finden.

[Jagster (Jakke Lehtonen)]

@Bathinda Helper

Das bedeutet, dass alle Discourse-Benutzer (normalerweise) eine „Robots.txt“-Datei angeben/bereitstellen müssten.

Nun, nein. Das bedeutet, dass Administratoren normalerweise robots.txt aktiviert lassen, um manuelles Basteln zu vermeiden Aber sicher, blockierte Bot-Listen usw. sind es, was ein Administrator ändern möchte.

[nat (Natalie T)]

Können Sie Ihre Einstellung für blocked_crawler_user_agents überprüfen?

[Bathinda (Bathinda Helper)]

@nat

blocked_crawler_user_agents

1. Diese Einstellung ist wie folgt (ich habe nichts geändert):
   

   

2. Hier habe ich gestern diese beiden Domains google und google.com als Experiment eingetragen. Ich weiß nicht, ob dies Vorrang vor ‘Blocked Crawler User Agents’ hat oder nicht. Oder ob dies mein Problem gelöst hat (da Google sagt, dass es meine Crawling-/Indexierungsanfrage in die Warteschlange gestellt hat, was bis zu 2-3 Tage dauern kann):
   

   

3. Und hier finden Sie meine 'Robots.txt’.

Bitte sagen Sie mir, was Vorrang hat, wenn alle 3 widersprüchliche Einstellungen haben.

[Firepup650 (Firepup Sixfifty)]

@Bathinda Helper

Hier habe ich gestern als Experiment diese beiden Domains google und google.com geschrieben

Das sollte keine Auswirkungen haben, da Google „Googlebot“ und Variationen davon zum Crawlen verwendet:

Google's common crawlers | Google Search Central  |  Documentation...

[Bathinda (Bathinda Helper)]

@Firepup650

Das sollte keine Auswirkungen haben,

Das hatte tatsächlich die Haupteffekt!!

Vielen Dank an alle, vielen Dank für die Hilfe bei der Lösung des Hauptproblems, indem ich diese Einstellung verwendet habe:

Aber für so viele andere (kleine) Probleme, die die Google-Indexierung beeinträchtigen und die ich im ersten Beitrag dieses Meta-Themas erklärt habe, möchte ich das Thema offen halten.

Außerdem wäre ich dankbar, wenn mir jemand sagen könnte, was passiert, wenn ich Crawler-1 einer Website unter blockierte Crawler-Benutzeragenten blockiere und gleichzeitig denselben unter Erlaubte Crawler-Benutzeragenten zulasse.
Und was passiert, wenn ich es unter Erlaubt... zugelassen, aber über Robots.txt blockiert habe. Was hat Vorrang.

[Jagster (Jakke Lehtonen)]

Sie müssen compatible entfernen. Es blockiert praktisch alles, einschließlich Googlebot. Deshalb:\n\nMozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)\n\nUnd das Blockieren von Facebook ist auch keine gute Idee, wenn Sie Themen auf Facebook teilen.\n\nAlles, was Sie in der Blockierliste verwenden, blockiert jeden Bot, der dieses Wort in seiner User-Agent-Zeichenfolge hat. Seien Sie also wachsam.

[Bathinda (Bathinda Helper)]

Oh, vielleicht ist das der Grund, warum ich immer noch einen Fehler bekomme, wenn ich versuche, Themen (außer der Startseite) über die Google Search Console zu crawlen/indexieren:

Aber warum ist (auch wenn kompatibel blockiert war) nur die Startseite für die Google Search Console verfügbar, wie unten gezeigt:

Ich habe gerade ‘kompatibel’ entfernt und werde berichten.

[Bathinda (Bathinda Helper)]

Endlich!!! Scheint den ‘verbotenen’ Fehler für die Haupt-/Startseite und einzelne Themen überwunden zu haben, mit 90% Hilfe von Ihrer Seite und 10% Experimentieren von meiner Seite. Vielen Dank.

Nachdem ich ‘Compatible’ aus der Liste ‘Blocked Crawlers’ entfernt hatte, fand ich unter einer anderen Einstellung eine Notiz, die mich, dumm von mir, zu ignorieren, im Wesentlichen die Benutzer bat, keinen Wert in ‘Allowed Crawler User Agents’ einzutragen, es sei denn, man ist sich ziemlich sicher, was man tut. Hier war es also! Das Ignorieren der in Großbuchstaben geschriebenen Warnung brachte mir so viele Monate, in denen Google meine Website ignorierte, und so viel Ärger:

---

Für alle, die zu diesem Thema wegen des Access Forbidden-403-Fehlers in der Google Search Console kommen:

• Hauptsächlich 2 Dinge haben meine Probleme gelöst: Eines war das Entfernen von ‘Compatible’ aus der ‘Blocked Crawlers List’ und
• Das Leeren (wie es standardmäßig ist) der Einstellung ‘Allowed User Crawler Agents’.

Das Thema bleibt für andere G-Suchprobleme offen (obwohl diese nicht so kritisch waren wie dieses).