Standard-robots.txt blockiert Twitter Card Bilder

Standardmäßig enthält die Datei robots.txt folgenden Eintrag:

User-agent: *
# ...
Disallow: /u

Diese Konfiguration blockiert das Bild für Twitter-Karten. Die Prüfung der Karte verschiedener Foren im Twitter-Validator zeigt das Logo nicht an und gibt folgende Warnung aus:

Die im Metatag ‘twitter:image’ angegebene Bild-URL forum.[…].org/uploads/[…].png könnte durch die Datei robots.txt der Website eingeschränkt sein, was das Abrufen durch Twitter verhindert.

Das Problem besteht darin, dass der Pfad /uploads ebenfalls mit einem u beginnt und daher von der Regel in robots.txt erfasst wird.

Ich weiß, dass die Datei robots.txt überschrieben werden kann, aber ich halte es für sinnvoll, die Standardeinstellung zu ändern. Leider verstehe ich den Code nicht gut genug, um einen Pull Request zu erstellen.

Beim Überschreiben beachten Sie bitte, dass Twitter die Datei robots.txt seltener überprüft als den eigentlichen HTML-Inhalt der Seite. Es kann also einige Stunden dauern, bis die Änderung übernommen wird.

1 „Gefällt mir“

Ich bin auf das gleiche Problem gestoßen und habe es hier gepostet: https://meta.discourse.org/t/metatag-may-be-restricted-twitter-card-validator/181169

Gibt es eine schnelle Lösung, die man ausprobieren kann? Danke!

Ja, zumindest funktionieren damit die Twitter-Karten. Ich hoffe, es hat keine unbeabsichtigten Nebeneffekte.

Du kannst die Einstellung „Indexierung in der robots.txt zulassen

2 „Gefällt mir“

Ich bin mir nicht sicher, warum der verlinkte Beitrag gelöscht wurde. Ich werde es trotzdem versuchen. Danke für den Tipp!

2 „Gefällt mir“

Es sieht so aus, als ob dies in der Vergangenheit ein Problem war (siehe diesen Thread) und dann erneut eingeführt wurde.

In diesem Commit wurden die Robots-Regeln mit Schrägstrich entfernt, da man annahm, sie seien nicht mehr erforderlich. Später wurden sie in diesem Commit erneut eingeführt, jedoch ohne den abschließenden Schrägstrich.

Ich habe einen schnellen und einfachen Pull-Request erstellt, der die Standard-robots.txt-Datei beheben sollte: FIX: Do not block `uploads` path in robots.txt by ByteHamster · Pull Request #12349 · discourse/discourse · GitHub

1 „Gefällt mir“

Was denkst du, @sam?

1 „Gefällt mir“

Ich kann mir das PR ohne CLA nicht wirklich ansehen, aber das Anker setzen und /u in /u/ zu ändern, klingt vernünftig und sicher.

2 „Gefällt mir“

Entschuldigung – das CLA ist jetzt unterschrieben :slight_smile:

Ich habe es zusammengeführt. Lass es uns ausprobieren.

4 „Gefällt mir“