アセットのERBファイルでのフルURL → マルチサイトの問題

RGJ · 2019 年 7 月 30 日午前 11:53

新しい workbox サービスワーカーの実装では UrlHelper.absolute が使用されています。これはコンパイル済みアセットであるため、マルチサイト環境ではプライマリホストの完全なホスト名を含む完全な URL が保存されます。

https://github.com/discourse/discourse/blob/master/app/assets/javascripts/service-worker.js.erb#L3-L6

代わりに UrlHelper.local_cdn_url を使用するべきだと考えます。これにより、ホスト名を変更した後にアセットを再コンパイルする必要もなくなります。

Falco · 2019 年 7 月 30 日午後 3:27

一般的には、Service Worker は CDN から配信すべきではないという認識が広まっています：

github.com/w3c/ServiceWorker

Is it possible to serve service workers from CDN/remote origin?

opened 01:26AM - 04 Aug 16 UTC

closed 09:28AM - 04 Aug 16 UTC

samertm

Hey all, I want to serve a service worker from a CDN, but I can't figure out ho…w to get that to work. I expected this to work: ``` // The header `Service-Worker-Allowed: www.example.com` is set in the response var swURL = "cdn.example.com/sw.js"; var options = {scope: 'www.example.com'}; navigator.serviceWorker.register(swURL, options); ``` But it throws the following error in Chrome: ``` Uncaught (in promise) DOMException: Failed to register a ServiceWorker: The origin of the provided scriptURL ('https://cdn.example.com/sw.js') does not match the current origin ('https://www.example.com'). ``` With the current wording, it seems like Service-Worker-Allowed allows loading the service worker from a remote origin. > `Service-Worker-Allowed` > Indicates the user agent will override the path restriction, which limits the maximum allowed scope url that the script can control, to the given value. > The value is a URL. If a relative URL is given, it is parsed against the script’s URL. https://slightlyoff.github.io/ServiceWorker/spec/service_worker/#service-worker-allowed However, all of the examples and discussion only use Service-Worker-Allowed with relative URLs. Digging through the Chromium code, I'm pretty sure the error is thrown before the request is made to the url, which means it's made before we can check the header on the sw response: ``` void ServiceWorkerContainer::registerServiceWorkerImpl(/* ... */) { // ... if (!documentOrigin->canRequest(scriptURL)) { RefPtr<SecurityOrigin> scriptOrigin = SecurityOrigin::create(scriptURL); callbacks->onError(WebServiceWorkerError(WebServiceWorkerError::ErrorTypeSecurity, String("Failed to register a ServiceWorker: The origin of the provided scriptURL ('" + scriptOrigin->toString() + "') does not match the current origin ('" + documentOrigin->toString() + "')."))); return; } // ... m_provider->registerServiceWorker(patternURL, scriptURL, callbacks.release()); } ``` https://cs.chromium.org/chromium/src/third_party/WebKit/Source/modules/serviceworkers/ServiceWorkerContainer.cpp?q=%22does+not+match+the+current+origin%22&sq=package:chromium&dr=C&l=224 You can follow the rabbit hole down 'canRequest', but I'm pretty sure nothing in that function allows you to allow remote scripts dynamically (e.g. with a header). Questions: - Is it possible to serve a service worker from a remote origin through some other means? - The spec is currently ambiguous about remote origins -- it doesn't say they aren't allowed, but it doesn't say they are either. Should Service-Worker-Allowed let you serve from a remote origin? Thanks for your time! BTW, you all have done excellent work with the spec.

ああ、つまり importScripts で読み込むファイルのことですね？それぞれのサイトが異なる CDN URL を持つマルチサイトクラスターをお使いでしょうか？

RGJ · 2019 年 7 月 30 日午後 4:18

はい、その ERB ファイルの 3 行目と 6 行目の importScripts と modulePathPrefix です。

しかし、私の意図を完全に理解されていないようです。問題は、マルチサイトクラスターで CDN が 存在しない 場所で発生しています。

UrlHelper.absolute と UrlHelper.local_cdn_url の両方は、CDN の有無に関わらず状況に対応できます。

absolute:

CDN なし: https://primarysite.ofmultisitecluster.com/javascripts/workbox/workbox-sw.js 悪 - プライマリサイト以外のすべてのサイトに対してリモートオリジンとなり、プライマリクラスターのホスト名を露出させる
CDN あり: //cdnurl/javascripts/workbox/workbox-sw.js

local_cdn_url:

CDN なし: /javascripts/workbox/workbox-sw.js 良 - 相対 URL
CDN あり: //cdnurl/javascripts/workbox/workbox-sw.js

したがって、後者が望ましいものです。

Falco · 2019 年 7 月 30 日午後 4:52

問題は、その2行（3行目と6行目）がサービスワーカーファイルそのものに関するものではないことです。

サービスワーカーはベースドメインから提供されます（CDNからは提供できないため）が、このサービスワーカーは実行時にスクリプトを遅延ロードします（この場合は workbox ライブラリファイルなど）。それらのスクリプトはCDNから提供可能です。

したがって、問題はあなたのマルチサイトクラスターにCDNが設定されていないため、このバグが露呈していることです。DISCOURSE_CDN が設定されている場合は、このバグは隠蔽されます。なぜ私たちの環境には影響しないのか知りたかっただけです。

RGJ · 2019 年 7 月 30 日午後 5:06

おっしゃる通りです。2 番目の投稿を編集して誤りを修正しました。
問題はサービスワーカーファイル自体ではなく、そのファイル内に存在します。

はい、まさにその時にバグが露呈します。

RGJ · 2019 年 8 月 1 日午後 2:55

確認させてください。私の診断は正しいでしょうか？これは修正されるバグでしょうか？私たちに何か必要なことはありますか？

Falco · 2019 年 8 月 1 日午後 5:06

はい、修正が必要なバグのようです。今週中に対応します！

Falco · 2019 年 8 月 2 日午後 7:03

ふむ、Meta コンソールで試してみました：

## 現在
[1] pry(main)> UrlHelper.absolute("/javascripts/workbox/workbox-sw.js")
=> "https://d3bpeqsaub0i6y.cloudfront.net/javascripts/workbox/workbox-sw.js"

### 提案される変更
[2] pry(main)> UrlHelper.local_cdn_url("/javascripts/workbox/workbox-sw.js")
=> "/javascripts/workbox/workbox-sw.js"

これらは互換性のある関数には見えません。

RGJ · 2019 年 8 月 2 日午後 7:37

おっしゃる通り、local_cdn_url はローカル URL を CDN URL に置き換えるものです。しかも、これはローカル URL ではなく相対 URL です。

なので、これらの UrlHelper の呼び出しの代わりに、以下で十分ではないでしょうか？

importScripts("<%= (Discourse.asset_host || '') + "/javascripts/workbox/workbox-sw.js" %>");

そして

modulePathPrefix: (Discourse.asset_host || '') + "/javascripts/workbox",

Falco · 2019 年 8 月 2 日午後 7:57

UrlHelper.absolute の現在の実装を読むと：

github.com/discourse/discourse

lib/url_helper.rb

main


      
          def self.is_valid_url?(url)
            uri = URI.parse(url)
          
            return true if uri.is_a?(URI::Generic) && url.starts_with?("/") || url.match?(/\A\#([^#]*)/)

CDN が nil の場合（あなたのケースに該当します）、Discourse.base_url_no_prefix とパラメータを連結して URL を構成しているようです。

つまり、問題は Discourse.base_url_no_prefix がマルチサイト環境で常に最初のホストを返していることでしょうか？

コードを調べてみます

github.com/discourse/discourse

lib/discourse.rb

main


      
              @status = status
              @check_permalinks = check_permalinks
              @original_path = original_path
              @custom_message = custom_message
            end
          end
          
          # When a setting is missing

ここの変数名 current_hostname（288 行目）は、マルチサイト対応を強く示唆しています

そして、

github.com/discourse/discourse

lib/discourse.rb

main


      
          attr_reader :check_permalinks
          attr_reader :original_path
          attr_reader :custom_message

によると、実際に対応しているようです。今のところ行き詰まりですね…

他を探してみると、このルートはブラウザが激しくアクセスしてくるため、特別な処理が施されています。CDN に置くことが許されず、他者の問題にしてはいけません。この際、マルチサイト漏れに関するバグがあり、これは @sam によって 1 年前に修正されました：

あなたがこのマルチサイトクラスタを提供している方法が、2018 年初頭に私たちが遭遇していたような、漏れのある形でこのルートをキャッシュしている可能性はありませんか？

RGJ · 2019 年 8 月 2 日午後 8:53

いいえ、問題はアセットのプリコンパイル時にそれが行われてしまい、マルチサイト環境で問題となる点です。
したがって、解決策はアセットにホスト名を含めないことです（アセット CDN が設定されている場合を除きます。なぜなら、それはマルチサイトホスト間で常に共有されるためです）。

RGJ · 2019 年 8 月 4 日午後 6:07

@falco 2 つ前の投稿にある提案されたソリューションをご覧になりましたか？

Falco · 2019 年 8 月 4 日午後 7:21

はい、しかし私のテストでは CDN なしのサブフォルダはカバーされていません😭

おそらく以下を使用する必要があります：

"#{Discourse.asset_host}#{Discourse.base_prefix}/javascripts/workbox"

RGJ · 2019 年 8 月 4 日午後 8:49

サブフォルダについての良い指摘ですね。

でも…Discourse.asset_host は nil になる可能性がありますし、Discourse.base_prefix なんて聞いたことがありません。

どうでしょうか：

importScripts("<%= (Discourse.asset_host || GlobalSetting.relative_url_root) + "/javascripts/workbox/workbox-sw.js" %>");

modulePathPrefix: "<%= (Discourse.asset_host || GlobalSetting.relative_url_root) + "/javascripts/workbox" %>",

Falco · 2019 年 8 月 5 日午後 7:36

まさに、この場合それが望ましいのです：

irb(main):001:0> puts "a#{nil}bc"
abc

ああ、Discourse.base_path のことを言いたかったのです。
修正をコミットしましたので、ご確認ください。

RGJ · 2019 年 8 月 5 日午後 8:15

私たちのケースには良さそうです。ありがとうございます！

ただし念のため確認させてください。CDN 上のアセットをサブフォルダと組み合わせてどのように扱っているか明確ではありませんが、Discourse.asset_host を使用している場合、アセットホスト上のすべてのパスにサブフォルダのパスもプレフィックスとして付与しているのでしょうか？現在のコードはそのようになっています。
もしそれが実際に行われているのであれば、この段落は完全に無視してください

Falco · 2019 年 8 月 5 日午後 8:20

このサブフォルダとCDNの組み合わせは確かに多くの問題を引き起こしました。@featheredtoast がこれを整理する作業を行い、私たちはバケットやサブフォルダなど、奇妙な組み合わせでもアセット配信コードが正しく動作するように、多くの時間を費やしました。

おそらく大丈夫だと思いますですが、必要であればこの件を再オープンできます。

バグレポートありがとうございます！

codinghorror · 2019 年 8 月 13 日午前 1:00

このトピックは 7 日後に自動的に閉鎖されました。新しい返信は許可されていません。

トピック		返信	表示
Assets not serving from CDN in latest update Support	17	1833	2020 年 3 月 8 日
Service-worker redirection 403 Self-hosting	4	1417	2022 年 4 月 13 日
Defining DISCOURSE_S3_CDN_URL links to assets in S3 CDN URL Support	43	6454	2020 年 4 月 22 日
CDN and multisite Self-hosting hosting	2	780	2018 年 1 月 23 日
Discourse Development: Failed to register/update a ServiceWorker Support	7	1269	2018 年 6 月 11 日

アセットのERBファイルでのフルURL → マルチサイトの問題

関連トピック