Bing이 각 게시물마다 모든 RSS 피드를 가져가는데, Discourse에서 피드를 비활성화할 수 있나요?

mhwebee · 10월 23, 2020, 12:03오전

저는 서브도메인을 사용하여 웹사이트에 Discourse 포럼을 운영하고 있습니다. 그런데 Bing이 사이트 사이트맵 섹션에서 각 게시글과 카테고리의 RSS 피드를 인덱싱하고 있는 것을 확인했습니다.

이것이 예상되는 동작인가요?
이러한 일이 일어나지 않도록 하려면 포럼의 RSS 피드를 비활성화해야 하나요?
Discourse에서 피드를 비활성화하는 방법이 있나요?

jomaxro · 10월 23, 2020, 2:30오전

아니요. RSS 피드에는 noindex 헤더가 있으며, Bing은 이를 존중해야 합니다. 다음을 참조하세요.

app/controllers/application_controller.rb

main


      
              render plain: "[\"BAD CSRF\"]", status: :forbidden
            end
          end
          
          around_action :ensure_dont_cache_page
          before_action :check_readonly_mode
          before_action :handle_theme
          before_action :set_current_user_for_logs
          before_action :set_mp_snapshot_fields
          before_action :clear_notifications
          around_action :with_resolved_locale
          before_action :block_if_readonly_mode
          before_action :block_if_archived
          before_action :authorize_mini_profiler
          before_action :redirect_to_login_if_required
          before_action :block_if_requires_login
          before_action :redirect_to_profile_if_required
          before_action :preload_json
          before_action :initialize_application_layout_preloader
          before_action :check_xhr
          before_action :set_crawler_header

그리고

github.com/discourse/discourse

app/controllers/application_controller.rb

main


      
              cookies[:destination_url] = destination_url
              redirect_to path("/auth/#{Discourse.enabled_authenticators.first.name}")
            else
              return if request.path == path("/") && !cookies[:authentication_data]
              # save original URL in a cookie (javascript redirects after login in this case)
              cookies[:destination_url] = destination_url
              redirect_to path("/login")
            end
          end
          
          def redirect_to_login_if_required
            return if request.format.json? && is_api?
          
            # Used by clients authenticated via user API.
            # Redirects to provided URL scheme if
            # - request uses a valid public key and auth_redirect scheme
            # - one_time_password scope is allowed
            if !current_user && params.has_key?(:user_api_public_key) && params.has_key?(:auth_redirect)
              begin
                OpenSSL::PKey::RSA.new(params[:user_api_public_key])
              rescue OpenSSL::PKey::RSAError

이를 수행할 방법은 없습니다(사이트 전체를 로그인 필수로 설정하는 경우를 제외합니다 - 하지만 그러면 모든 인덱싱이 비활성화됩니다).

실제 Bing 검색 결과에서 RSS 페이지를 보고 계신 건가요? 아니면 웹마스터 도구에서만 보고 계신 건가요?

mhwebee · 10월 23, 2020, 6:19오후

피드에 noindex가 표시되는지 확인할 수 있는 방법이 있을까요? RSS 소스에서 noindex 태그를 아예 찾을 수 없어서 질문드립니다. 예를 들어 이 포럼 스레드에 .rss를 붙여 열어도 소스에서 noindex를 찾을 수 없습니다.

현재까지 웹마스터 도구에서는 사이트맵 섹션의 피드 그룹 아래에 피드만 확인되고 있습니다.

감사합니다,

jomaxro · 10월 23, 2020, 8:06오후

네, 가능합니다. 여기서는 Google Chrome을 사용한다고 가정하지만, 다른 브라우저에서도 유사한 과정을 따를 수 있습니다.

개발자 도구 패널 F12를 엽니다.
Network 탭으로 전환합니다.
RSS 피드를 로드합니다. 예를 들어 이 주제 - https://meta.discourse.org/t/bing-is-picking-all-the-rss-feed-for-each-post-can-i-disable-the-feed-in-discourse/168025.rss
목록에서 해당 RSS 피드 항목을 선택합니다.
Headers 탭에서 응답 헤더를 확인하면 x-robots-tag: noindex가 표시되어야 합니다.

mhwebee · 10월 25, 2020, 6:30오후

감사합니다. x-robots-tag: noindex 태그는 확인했습니다.
하지만 noindex 태그가 있는 상태에서 Bing이 왜 RSS를 크롤링하는지 여전히 이해가 안 됩니다.

codinghorror · 10월 25, 2020, 10:43오후

흥미진진한 Bing의 세계!™ 에 오신 것을 환영합니다.

놀라웠다고 말하고 싶네요. 정말, 정말로요.

JimPas · 10월 26, 2020, 4:31오전

구글을 따라잡으려는 건가요?

anon23393886 · 11월 20, 2020, 4:33오후

비꼬는 것처럼 들리지만, 그런 척하지는 않겠습니다.

아니요, 그 부분은 이미 해 두었지만, 디스코urs 포럼을 올바르게 인덱싱하는 측면에서는 아직 갈 길이 멉니다.

Frédéric · 11월 20, 2020, 9:02오후

안녕하세요, 여러분! 불편을 드려 죄송합니다. 이 스레드를 Bing 팀의 다른 담당자에게 전달하겠습니다. Bing은 noindex 메타 태그가 있는 RSS를 색인화해서는 안 되므로, 이는 버그 또는 크롤링 문제일 가능성이 높습니다. 보고해 주셔서 감사합니다!

수정이 몇 시간 내에 완료될 것으로 예상됩니다. 확인 후 이 스레드에 다시 와서 게시글을 남기겠습니다. 만약 문제가 발생하면, 작성자(OP)와 개인 메시지로 논의하겠습니다. 다시 한번 감사드립니다.

Jordi · 11월 20, 2020, 11:17오후

@Frédéric 님이 이 장소에 대해 알려주셨고, 어떤 일이 벌어지고 있는지도 전해 주셨습니다. 현재 Frédéric 님은 다른 문제로 인해 부득이하게 이 사안에 집중할 수 없는 상태이므로, 제가 그분을 대신해서 말씀드립니다.

현재로서는 문제가 어떻게 진행되고 있는지 파악하고 있는 것 같습니다. Frédéric 님이 말씀하신 대로, 저는 @mhwebee 님에게 직접 메시지를 보냈으며, 앞으로는 비공개로 이 문제를 진행하겠습니다. 스레드를 닫아 주시면 감사하겠습니다!

저와 Bing 개발팀을 대신하여 인사드립니다.

Jordi

글		댓글	조회수
Issues with embedding from RSS Product Support	31	3720	6월 26, 2020
Can we add "feed" function on Discourse? Feature	10	4063	3월 6, 2017
RSS Polling Plugin official , rss-polling , included-in-core	4	18393	8월 14, 2026
Finding Discourse RSS feeds Using Discourse rss , reference	25	10927	1월 18, 2025
Way to globally disable all RSS feeds Feature	6	1429	10월 26, 2021

Bing이 각 게시물마다 모든 RSS 피드를 가져가는데, Discourse에서 피드를 비활성화할 수 있나요?

Related topics