robots.txt-Override zurücksetzen scheint nicht wie erwartet zu funktionieren

mentalstring · 7. Dezember 2023 um 19:05

Es ist möglich, robots.txt unter /admin/customize/robots (das in den Einstellungen verlinkt ist) zu überschreiben. Die Seite bietet ein Formular für eine benutzerdefinierte robots.txt. Beispiel:

Wenn Sie jedoch auf diese Schaltfläche “Zurücksetzen” klicken, wird das Formular sofort mit dem HTML-Code der Website gefüllt und… scheint diesen sofort als neue robots.txt zu speichern.

Nach einem Aktualisieren scheint es jedoch tatsächlich die Standard-robots.txt von Discourse zu haben, sodass es auf die Standardeinstellung zurückgesetzt wurde. Aber dennoch muss das Füllen mit HTML wahrscheinlich überprüft werden.

In diesem Zusammenhang setzen Schaltflächen zum Zurücksetzen von Formularen normalerweise das Formular auf die Anfangswerte zurück (und übermitteln das Formular nicht sofort). Daher wäre ein Link “Auf Standard robots.txt wiederherstellen” neben den Schaltflächen klarer.

Arkshine · 7. Dezember 2023 um 20:24

Ich kann es auch reproduzieren!

An die Entwickler: Das Problem betrifft render_to_string, das die Vorlage mit einem Standard-Layout rendert.

github.com/discourse/discourse

app/controllers/admin/robots_txt_controller.rb

main


      
          def reset
            SiteSetting.overridden_robots_txt = ""
            render json: { robots_txt: original_robots_txt, overridden: false }
          end

github.com/discourse/discourse

app/controllers/admin/robots_txt_controller.rb

main


      
          def original_robots_txt
            if SiteSetting.allow_index_in_robots_txt?
              @robots_info = ::RobotsTxtController.fetch_default_robots_info
              render_to_string "robots_txt/index", layout: false
            else
              render_to_string "robots_txt/no_index", layout: false
            end

Hier ist eine Lösung: Hinzufügen des Parameters , layout: false.

Osama · 20. Dezember 2023 um 20:44

Dies sollte behoben sein in:

github.com/discourse/discourse

FIX: Show true content of robots.txt after restoring to default (#24980)

committed 08:00PM - 20 Dec 23 UTC

OsamaSayegh

+9 -3

Meta topic: https://meta.discourse.org/t/reseting-robots-txt-override-doesnt-see…m-to-work-as-expected/287880?u=osama Discourse provides a default version for `/robots.txt` which can be customized by admins in `/admin/customize/robots`. In that page, there's a button to reset back to the default version that Discourse provides. However, there's currently a bug with the reset button where the content appears to change to some HTML document instead of the default `robots.txt` version when clicking the button. Refreshing the page shows the true/correct content of `robots.txt` which is the default version, so the reset button actually works but there's a display problem. What causes this display problem is that we use Rails' `render_to_string` method to generate the default content for `robots.txt` from the template, and what we get from that method is the `robots.txt` content wrapped in the application layout. To fix this issue, we need to pass `layout: false` to the `render_to_string` method so that it renders the template without any layouts.

Danke @mentalstring für den Bericht und @Arkshine dafür, dass er gezeigt hat, wo das Problem liegt!

nat · 23. Dezember 2023 um 00:00

Dieses Thema wurde nach 41 Stunden automatisch geschlossen. Neue Antworten sind nicht mehr möglich.

Thema		Antworten	Aufrufe
Needing to edit robots.txt file - where is it? Support	42	7574	29. April 2023
Malformed robots.txt causing issues with indexing Support	9	1848	21. April 2023
Default robots.txt blocks Twitter Card images Bug	9	2663	18. März 2021
Google notification to remove "noindex" statements from robots.txt Support	8	2438	30. Juli 2019
Forum not being updated on search engines Support	7	1037	28. März 2017

robots.txt-Override zurücksetzen scheint nicht wie erwartet zu funktionieren

Verwandte Themen