Сброс переопределения robots.txt, похоже, работает не так, как ожидалось

mentalstring · 07.Декабрь.2023 19:05:59

Возможно переопределить robots.txt в разделе /admin/customize/robots (ссылка на него находится в настройках). На этой странице есть форма для настройки собственного файла robots.txt. Пример:

Однако при нажатии на кнопку «Сброс» форма сразу заполняется тем, что выглядит как HTML-код самого сайта, и… это немедленно сохраняется как новый файл robots.txt.

После обновления страницы, однако, оказывается, что там действительно находится robots.txt по умолчанию от Discourse, то есть сброс к настройкам по умолчанию всё же произошёл. Тем не менее, заполнение формы HTML-кодом, вероятно, требует внимания.

Кстати, кнопки сброса формы обычно возвращают форму к исходным значениям (и не отправляют форму немедленно), поэтому, возможно, было бы понятнее добавить рядом с кнопками ссылку «Восстановить robots.txt по умолчанию».

Arkshine · 07.Декабрь.2023 20:24:41

Я тоже могу воспроизвести!

Для разработчиков: проблема касается render_to_string, который рендерит шаблон с макетом по умолчанию.

github.com/discourse/discourse

app/controllers/admin/robots_txt_controller.rb

main


      
          StaffActionLogger.new(current_user).log_site_setting_change(
            "overridden_robots_txt",
            previous_value,
            new_value,

github.com/discourse/discourse

app/controllers/admin/robots_txt_controller.rb

main


      
              "overridden_robots_txt",
              previous_value,
              "",
            )
          
            render json: { robots_txt: original_robots_txt, overridden: false }
          end

Вот решение: добавьте параметр , layout: false.

Osama · 20.Декабрь.2023 20:44:34

Это должно быть исправлено в:

github.com/discourse/discourse

FIX: Show true content of robots.txt after restoring to default (#24980)

committed 08:00PM - 20 Dec 23 UTC

OsamaSayegh

+9 -3

Meta topic: https://meta.discourse.org/t/reseting-robots-txt-override-doesnt-see…m-to-work-as-expected/287880?u=osama Discourse provides a default version for `/robots.txt` which can be customized by admins in `/admin/customize/robots`. In that page, there's a button to reset back to the default version that Discourse provides. However, there's currently a bug with the reset button where the content appears to change to some HTML document instead of the default `robots.txt` version when clicking the button. Refreshing the page shows the true/correct content of `robots.txt` which is the default version, so the reset button actually works but there's a display problem. What causes this display problem is that we use Rails' `render_to_string` method to generate the default content for `robots.txt` from the template, and what we get from that method is the `robots.txt` content wrapped in the application layout. To fix this issue, we need to pass `layout: false` to the `render_to_string` method so that it renders the template without any layouts.

Спасибо @mentalstring за сообщение и @Arkshine за указание на место проблемы!

nat · 23.Декабрь.2023 00:00:06

Эта тема была автоматически закрыта через 41 час. Новые ответы больше не принимаются.

Тема		Ответов	Просм.
Needing to edit robots.txt file - where is it? Support	42	7741	29.04.2023
Malformed robots.txt causing issues with indexing Support	9	1883	21.04.2023
Default robots.txt blocks Twitter Card images Bug	9	2715	18.03.2021
Google notification to remove "noindex" statements from robots.txt Support	8	2476	30.07.2019
Forum not being updated on search engines Support	7	1064	28.03.2017

Сброс переопределения robots.txt, похоже, работает не так, как ожидалось

Связанные темы