Also, ich verwende Discourse als Forum für eine Website mit einer Subdomain und stelle fest, dass Bing jeden Beitrag und jeden Kategorie-RSS-Feed für die Indexierung im Sitemap-Bereich der Website erfasst.
Ist dieses Verhalten zu erwarten?
Sollte ich den RSS-Feed im Forum deaktivieren, um dies zu verhindern?
Gibt es eine Möglichkeit, den Feed in Discourse zu deaktivieren?
Nein. RSS-Feeds enthalten einen noindex-Header, den Bing respektieren sollte. Siehe
und
Es gibt keine Möglichkeit, dies zu tun (außer das gesamte Forum hinter eine Anmeldung zu stellen – das würde jedoch die gesamte Indexierung deaktivieren).
Sehen Sie RSS-Seiten tatsächlich in den Bing-Suchergebnissen oder nur in den Webmaster-Tools?
Gibt es eine Möglichkeit zu bestätigen, dass das noindex-Tag im Feed erscheint? Ich frage, weil ich das noindex-Tag im Quellcode des RSS-Feeds nicht einmal finden kann. Beispielsweise habe ich auch diesen Foren-Thread mit der .rss-Datei geöffnet, und im Quellcode finde ich das noindex-Tag ebenfalls nicht.
Bisher sehe ich die Feeds nur in den Webmaster-Tools im Bereich Sitemap unter der Feed-Gruppierung.
Klar. Dies setzt voraus, dass du Google Chrome verwendest, aber du kannst in anderen Browsern einen ähnlichen Prozess befolgen.
Öffne das Entwicklertools-Fenster F12
Wechsle zum Tab „Netzwerk“.
Lade einen RSS-Feed, zum Beispiel diesen Beitrag – https://meta.discourse.org/t/bing-is-picking-all-the-rss-feed-for-each-post-can-i-disable-the-feed-in-discourse/168025.rss
Wähle den RSS-Feed-Eintrag aus der Liste aus.
Schaue dir die Antwort-Header im Tab „Header“ an; du solltest x-robots-tag: noindex sehen.
Hallo zusammen! Entschuldigt bitte all die Umstände. Ich werde diesen Thread an die anderen Mitglieder des Bing-Teams weiterleiten. Bing sollte RSS-Feeds mit dem noindex-Meta-Tag nicht indexieren, daher handelt es sich hierbei wahrscheinlich um einen Fehler oder ein Crawling-Problem. Vielen Dank für die Meldung!
Wir erwarten, dass dies innerhalb weniger Stunden behoben wird. Ich werde dann in diesem Thread einen Beitrag veröffentlichen, der dies bestätigt. Falls wir auf Probleme stoßen, werde ich das im privaten Chat mit dem Ersteller des Threads (OP) besprechen. Nochmals vielen Dank an alle.
@Frédéric hat mir von diesem Ort und dem Geschehen berichtet. Ich spreche im Namen von ihm, während er sich leider um etwas anderes kümmern muss, das seine Aufmerksamkeit erfordert hat.
Derzeit scheint es, als hätten wir das Problem im Griff. Wie Frédéric sagte, habe ich @mhwebee direkt angeschrieben und werde das privat weiterverfolgen. Wenn du den Thread schließen könntest, wäre das toll!