Google hat mich auf dieses Problem mit meinem Forum aufmerksam gemacht. Hast du einen Tipp, wie man es beheben kann?
Außerdem hat Discourse keine Sitemap. Ich habe ein Sitemap-Plugin gefunden, aber meine Frage dazu ist: Wird die Sitemap ständig aktualisiert, oder muss ich das Plugin häufig neu initialisieren, um die Sitemap zu „aktualisieren"?
Referenziertes Forum:
Wie viele Seiten/URLs sind von diesem Problem betroffen?
7
https://voskcointalk.com/u/greer
Ja, /u/-Seiten sind standardmäßig in der robots.txt ausgeschlossen. Meinen Sie, dass Sie etwas verpassen, wenn Sie Benutzerprofile nicht indizieren?
Wenn die Antwort ja lautet, können Sie Ihre robots.txt-Datei unter
https://voskcointalk.com/admin/customize/robots
überschreiben.
Gibt es einen Grund, warum sie standardmäßig ausgeschlossen sind? Was ist, wenn jemand beispielsweise einen bestimmten Benutzer in einem Forum einfach über Google suchen möchte?
Greer voskcointalk: Wenn sein Profil nicht indiziert wird, wäre das nicht möglich, es sei denn, Google verlinkt nur auf einen seiner Threads, und der Nutzer muss dann direkt dorthin navigieren.
Die Crawler-Ansicht für Profilseiten enthält außer der Bio keine weiteren Inhalte, und Spammer füllen ihre Bios gerne mit Müll. Es ist aus allen Gründen besser, das Crawling zu blockieren, um zu verhindern, dass dieser Müll mit der Website in Verbindung gebracht wird.
Auch Discourse hat keine Sitemap. Ich habe ein Sitemap-Plugin gefunden, aber meine Frage dazu ist – wird die Sitemap ständig aktualisiert, oder müsste ich das Plugin häufig neu starten, um die Sitemap zu aktualisieren?
Sind Sie mit diesen Informationen vertraut? Danke für die obenstehende Antwort.
Es wird automatisch aktualisiert.
Vermeidung von Blockaden durch WAF: (http.request.uri.path eq "/basic-info.json" and http.request.uri.path eq "/posts(/[0-9]+)?") Alle ignorieren.
