クローラーのスロットリングの処理

vchuravy · 2023 年 9 月 12 日午後 6:12

クローラーのスロットリングがどのように実装されているかについて一般的な質問があります。

Reduce Google Crawl Rate | Google Search Central | Documentation | Google for Developers によると、推奨されるHTTPステータスは429（リクエストが多すぎます）または503（サイトが利用できません）です。

しかし、ソースコードを読み進めると、スロットリングはエラーをスローすることで実装されているようです。discourse/lib/rate_limiter.rb at 85fddf58bc1e751d0ac5b8192a630c59a34aed7d · discourse/discourse · GitHub

私のRuby on Railsの経験は遠い昔のことですが、これは一般的な505を発生させるのではないかと推測しています。

GoogleクローラーはDiscourseのスロットリングを完全に理解しておらず、Google Search Consoleでは、スロットリングが実装された後、インデックス作成、したがってインプレッションが大幅に減少していることがわかりますが、これはスロットリングのためではなく、5xxサーバーエラーのためです。

インスタンスのスロットリングは、トラフィックが多すぎる場合に必要になることがあることは理解していますが、DiscourseがHTTP 429を報告するのではなく、クローラーに505内部サーバーエラーを返すことを期待していました。

Falco · 2023 年 9 月 12 日午後 6:15

お探しのものはこれだと思います。

github.com/discourse/discourse

app/controllers/application_controller.rb

85fddf58b


      
          rescue_from RateLimiter::LimitExceeded do |e|
            retry_time_in_seconds = e&.available_in
          
            response_headers = { "Retry-After": retry_time_in_seconds.to_s }
          
            response_headers["Discourse-Rate-Limit-Error-Code"] = e.error_code if e&.error_code
          
            with_resolved_locale do
              render_json_error(
                e.description,
                type: :rate_limit,
                status: 429,
                extras: {
                  wait_seconds: retry_time_in_seconds,
                  time_left: e&.time_left,
                },
                headers: response_headers,
              )
            end
          end

これは、ステータスコードを設定する「グローバル」コントローラーのrescueです。

vchuravy · 2023 年 9 月 12 日午後 6:21

ありがとうございます。安心しましたが、スロットリングが実装された瞬間に5xxエラーが発生しているとGoogle Search Consoleが報告している理由を完全には説明していません。

ディスコースのsitemap.xmlを取得できなかったとさえ報告しています。

vchuravy · 2023 年 9 月 12 日午後 6:34

特に sitemap.xml のスロットリングは問題があるようです。

それがカバレッジのギャップの原因だと推測します。Google が 429 を 5xx と誤報告した可能性も考えられます。

トピック		返信	表示
Discourse API Generating 429 Support	7	582	2023 年 3 月 28 日
429 too many requests Installation	6	2675	2023 年 4 月 19 日
The only solution I have found to workaround «429 Too Many Requests» failure from rubygems.org Support	5	2542	2017 年 10 月 27 日
User_10_secs_limit Dev	7	152	2025 年 7 月 10 日
Understanding /logs/report_js_error 429 Support	4	969	2024 年 1 月 15 日

クローラーのスロットリングの処理

関連トピック