robots.txt 오버라이드를 재설정해도 예상대로 작동하지 않아요

mentalstring · 12월 7, 2023, 7:05오후

/admin/customize/robots(설정에서 링크되어 있음)에서 robots.txt를 오버라이드할 수 있습니다. 해당 페이지에는 사용자 정의 robots.txt를 위한 양식이 제공됩니다. 예시:

하지만 ‘초기화’ 버튼을 누르면, 양식이 웹사이트 자체의 HTML 코드로 즉시 채워지고… 이것이 새로운 robots.txt로 즉시 저장되는 것처럼 보입니다.

다만 새로고침 후에는 실제로 Discourse의 기본 robots.txt가 적용되어 있는 것으로 보아, 기본값으로 초기화된 것입니다. 하지만 여전히 HTML로 채워지는 문제는 점검이 필요합니다.

이와 관련하여, 양식 초기화 버튼은 일반적으로 양식을 초기 값으로 복원하며(양식을 즉시 제출하지는 않습니다), 버튼 옆에 “기본 robots.txt로 복원” 링크를 두는 것이 더 명확할 수 있습니다.

Arkshine · 12월 7, 2023, 8:24오후

저도 재현할 수 있습니다!

개발자분들께: 이 문제는 기본 레이아웃으로 템플렌트를 렌더링하는 render_to_string과 관련이 있습니다.

github.com/discourse/discourse

app/controllers/admin/robots_txt_controller.rb

main


      
          StaffActionLogger.new(current_user).log_site_setting_change(
            "overridden_robots_txt",
            previous_value,
            new_value,

github.com/discourse/discourse

app/controllers/admin/robots_txt_controller.rb

main


      
              "overridden_robots_txt",
              previous_value,
              "",
            )
          
            render json: { robots_txt: original_robots_txt, overridden: false }
          end

해결 방법: , layout: false 파라미터를 추가하는 것입니다.

Osama · 12월 20, 2023, 8:44오후

이 문제는 다음에서 수정됩니다:

github.com/discourse/discourse

FIX: Show true content of robots.txt after restoring to default (#24980)

committed 08:00PM - 20 Dec 23 UTC

OsamaSayegh

+9 -3

Meta topic: https://meta.discourse.org/t/reseting-robots-txt-override-doesnt-see…m-to-work-as-expected/287880?u=osama Discourse provides a default version for `/robots.txt` which can be customized by admins in `/admin/customize/robots`. In that page, there's a button to reset back to the default version that Discourse provides. However, there's currently a bug with the reset button where the content appears to change to some HTML document instead of the default `robots.txt` version when clicking the button. Refreshing the page shows the true/correct content of `robots.txt` which is the default version, so the reset button actually works but there's a display problem. What causes this display problem is that we use Rails' `render_to_string` method to generate the default content for `robots.txt` from the template, and what we get from that method is the `robots.txt` content wrapped in the application layout. To fix this issue, we need to pass `layout: false` to the `render_to_string` method so that it renders the template without any layouts.

보고해 주신 @mentalstring님과 문제의 원인을 지적해 주신 @Arkshine님께 감사드립니다!

nat · 12월 23, 2023, 12:00오전

이 주제는 41시간 후 자동으로 닫혔습니다. 새로운 답변은 더 이상 허용되지 않습니다.

글		댓글	조회수
Needing to edit robots.txt file - where is it? Product Support	40	8239	7월 15, 2019
Malformed robots.txt causing issues with indexing Product Support	7	2007	9월 14, 2019
Google notification to remove "noindex" statements from robots.txt Product Support	7	2614	7월 30, 2019
Forum not being updated on search engines Product Support	6	1131	3월 27, 2017
Can't login after removing all bot user agents from site setting Product Support	5	996	11월 24, 2017

robots.txt 오버라이드를 재설정해도 예상대로 작동하지 않아요

Related topics