YouTube 视频 Onebox 嵌入功能停止工作

bletch · 2020 年8 月 7 日 12:27

这里有一些更多的结果。请注意，下面的帖子中包含许多假设——基于对实际情况缺乏了解。

我会在该帖子之后补充我对当前情况的看法以及应该采取的措施。

感谢你的回复，Robert。

需要注意的是，当我尝试时，使用 /watch 路由对视频进行 Oneboxing（即生成预览卡片）一直失败（至今仍然如此），因此我不需要循环来强制其失败。

因此，我做出的一个假设是：Onebox 使用的 user-agent 是 Discourse Forum Onebox v2.6.0.beta1，依据是以下代码：

github.com/discourse/discourse

config/initializers/100-onebox_options.rb

6a417c308


      
            Onebox.options = {
              twitter_client: TwitterApi,
              redirect_limit: 3,
              user_agent: "Discourse Forum Onebox v#{Discourse::VERSION::STRING}",
              allowed_ports: [80, 443, SiteSetting.port.to_i]
            }
          else
            Onebox.options = {
              twitter_client: TwitterApi,
              redirect_limit: 3,
              user_agent: "Discourse Forum Onebox v#{Discourse::VERSION::STRING}"
            }
          end

我随机选择了一个视频，并尝试使用 curl 读取其响应头。

我是在线上站点的 Docker 容器内执行此操作的，得到了以下响应。

第一次使用 /watch? 路由的 curl 结果

命令

curl --user-agent "Discourse Forum Onebox v2.6.0.beta1" -sD - -o /dev/null "https://m.youtube.com/watch?v=s0ONj4TG0UA"

响应：

curl --user-agent "Discourse Forum Onebox v2.6.0.beta1" -sD - -o /dev/null "https://m.youtube.com/watch?v=s0ONj4TG0UA"
HTTP/2 303 
content-length: 0
p3p: CP="This is not a P3P policy! See http://support.google.com/accounts/answer/151657?hl=en-GB for more info."
cache-control: no-cache
x-frame-options: SAMEORIGIN
content-type: text/html; charset=utf-8
location: https://www.youtube.com/watch?v=s0ONj4TG0UA&app=desktop
accept-ch-lifetime: 2592000
x-content-type-options: nosniff
accept-ch: DPR
expires: Tue, 27 Apr 1971 19:44:06 GMT
strict-transport-security: max-age=31536000
date: Fri, 07 Aug 2020 11:35:21 GMT
server: YouTube Frontend Proxy
x-xss-protection: 0
set-cookie: VISITOR_INFO1_LIVE=rcVTSJn81Ck; path=/; domain=.youtube.com; secure; expires=Wed, 03-Feb-2021 11:35:20 GMT; httponly; samesite=None
set-cookie: YSC=cFXIPerzT3Y; path=/; domain=.youtube.com; secure; httponly; samesite=None
set-cookie: GPS=1; path=/; domain=.youtube.com; expires=Fri, 07-Aug-2020 12:05:20 GMT
alt-svc: h3-29=":443"; ma=2592000,h3-27=":443"; ma=2592000,h3-T050=":443"; ma=2592000,h3-Q050=":443"; ma=2592000,h3-Q046=":443"; ma=2592000,h3-Q043=":443"; ma=2592000,quic=":443"; ma=2592000; v="46,43"

因此，我收到了一个 303 重定向响应，重定向到 location 头中指定的 URL：https://www.youtube.com/watch?v=s0ONj4TG0UA&app=desktop。

这仅仅是在 URL 后附加了 &app=desktop。

第二次 curl 请求重定向后的 URL —— 仍使用 /watch? 路由

命令
curl --user-agent "Discourse Forum Onebox v2.6.0.beta1" -sD - -o /dev/null "https://www.youtube.com/watch?v=s0ONj4TG0UA&app=desktop"

响应

HTTP/2 429 
x-content-type-options: nosniff
expires: Tue, 27 Apr 1971 19:44:06 GMT
x-frame-options: SAMEORIGIN
cache-control: no-cache
p3p: CP="This is not a P3P policy! See http://support.google.com/accounts/answer/151657?hl=en-GB for more info."
accept-ch-lifetime: 2592000
content-type: text/html; charset=utf-8
accept-ch: DPR
strict-transport-security: max-age=31536000
content-length: 48982
date: Fri, 07 Aug 2020 11:46:00 GMT
server: YouTube Frontend Proxy
x-xss-protection: 0
set-cookie: VISITOR_INFO1_LIVE=VQwNuouhq-s; path=/; domain=.youtube.com; secure; expires=Wed, 03-Feb-2021 11:46:00 GMT; httponly; samesite=None
set-cookie: YSC=8IRfPRFRY6c; path=/; domain=.youtube.com; secure; httponly; samesite=None
set-cookie: GPS=1; path=/; domain=.youtube.com; expires=Fri, 07-Aug-2020 12:16:00 GMT
set-cookie: VISITOR_INFO1_LIVE=VQwNuouhq-s; path=/; domain=.youtube.com; secure; expires=Wed, 03-Feb-2021 11:46:00 GMT; httponly; samesite=None
set-cookie: YSC=8IRfPRFRY6c; path=/; domain=.youtube.com; secure; httponly; samesite=None
set-cookie: GPS=1; path=/; domain=.youtube.com; expires=Fri, 07-Aug-2020 12:16:00 GMT
alt-svc: h3-29=":443"; ma=2592000,h3-27=":443"; ma=2592000,h3-T050=":443"; ma=2592000,h3-Q050=":443"; ma=2592000,h3-Q046=":443"; ma=2592000,h3-Q043=":443"; ma=2592000,quic=":443"; ma=2592000; v="46,43"

因此，我收到了一个 429“请求过多”的响应码，但没有收到 retry-after 头——直接停止，没有任何协商余地。

无论如何，如果 Onebox 看到的是这种情况，它要么忽略了该响应，要么至少我不知道如果它被记录了，应该去哪里查找。

虽然单个 429 响应可能是合理的行为，但在极短时间内收到大量 429 响应是绝不能被忽视的。

第三次 curl 结果 —— 这次使用 /embed/ 路由

为了完整性，我立即尝试获取同一个视频，但这次使用 /embed/ 路由。

命令

curl --user-agent "Discourse Forum Onebox v2.6.0.beta1" -sD - -o /dev/null "https://www.youtube.com/embed/s0ONj4TG0UA"

响应

HTTP/2 200 
accept-ch-lifetime: 2592000
content-type: text/html; charset=utf-8
expires: Tue, 27 Apr 1971 19:44:06 GMT
x-content-type-options: nosniff
cache-control: no-cache
p3p: CP="This is not a P3P policy! See http://support.google.com/accounts/answer/151657?hl=en-GB for more info."
strict-transport-security: max-age=31536000
accept-ch: DPR
date: Fri, 07 Aug 2020 11:55:29 GMT
server: YouTube Frontend Proxy
x-xss-protection: 0
set-cookie: VISITOR_INFO1_LIVE=PNE6x6djF00; path=/; domain=.youtube.com; secure; expires=Wed, 03-Feb-2021 11:55:29 GMT; httponly; samesite=None
set-cookie: VISITOR_INFO1_LIVE=PNE6x6djF00; path=/; domain=.youtube.com; secure; expires=Wed, 03-Feb-2021 11:55:29 GMT; httponly; samesite=None
set-cookie: GPS=1; path=/; domain=.youtube.com; expires=Fri, 07-Aug-2020 12:25:29 GMT
set-cookie: YSC=pDW-hdbauK8; path=/; domain=.youtube.com; secure; httponly; samesite=None
alt-svc: h3-29=":443"; ma=2592000,h3-27=":443"; ma=2592000,h3-T050=":443"; ma=2592000,h3-Q050=":443"; ma=2592000,h3-Q046=":443"; ma=2592000,h3-Q043=":443"; ma=2592000,quic=":443"; ma=2592000; v="46,43"
accept-ranges: none
vary: Accept-Encoding

200 - 成功。

lazy-yt 插件似乎会重写为 /watch 格式的 URL

不确定这是否有意义，但……默认情况下是否启用了 lazy-yt 嵌入插件？我在开发环境中注意到了它。

它似乎对 YouTube Oneboxer 的 to_html 方法进行了猴子补丁（monkey patch）。

我不知道这是否重要，但原始 Onebox 的 to_html 方法返回的是 /embed/ URL 格式：

github.com/discourse/onebox

lib/onebox/engine/youtube_onebox.rb

eb783a5cc


      
            else
              to_html
            end
          end
          
          def to_html
            if video_id
              <<-HTML
                <iframe width="#{WIDTH}"
                        height="#{HEIGHT}"
                        src="https://www.youtube.com/embed/#{video_id}?#{embed_params}"
                        frameborder="0"
                        allowfullscreen>
                </iframe>
              HTML
            elsif list_id
              <<-HTML
                <iframe width="#{WIDTH}"
                        height="#{HEIGHT}"
                        src="https://www.youtube.com/embed/videoseries?list=#{list_id}&wmode=transparent&rel=0&autohide=1&showinfo=1&enablejsapi=1"
                        frameborder="0"

而 lazy-yt 插件使用的是 /watch?v= URL 格式。

github.com/discourse/discourse

plugins/lazy-yt/plugin.rb

b86198198


      
          
            # Put in the LazyYT div instead of the iframe
            escaped_title = ERB::Util.html_escape(video_title)
          
            <<~EOF
            <div class="onebox lazyYT lazyYT-container"
                 data-youtube-id="#{video_id}"
                 data-youtube-title="#{escaped_title}"
                 #{size_restricted ? size_tags.map { |t| "data-#{t}" }.join(' ') : ""}
                 data-parameters="#{embed_params}">
              <a href="https://www.youtube.com/watch?v=#{video_id}" target="_blank">
                <img class="ytp-thumbnail-image"
                     src="#{thumbnail_url}"
                     #{size_restricted ? size_tags.join(' ') : ""}
                     title="#{escaped_title}">
              </a>
            </div>
            EOF
          else
            yt_onebox_to_html
          end

我还能做些什么来证明存在一个需要关注的问题吗？下一篇文章将解释我认为的根本原因。

话题		回复	浏览量
Youtube embeds missing Support	51	4108	2024 年6 月 8 日
"Onebox Assistant", crawl for those previews reliably! Plugin onebox	96	11251	2025 年5 月 9 日
Youtube embeddings have stopped working for servers in Europe Bug	38	4693	2021 年4 月 10 日
YouTube URIs fail to render thumbnails when oneboxed Bug onebox , composer	12	295	2025 年11 月 14 日
Video embeds from facebook.com and other sites fail Bug	25	5645	2020 年5 月 6 日

YouTube 视频 Onebox 嵌入功能停止工作

第一次使用 /watch? 路由的 curl 结果

第二次 curl 请求重定向后的 URL —— 仍使用 /watch? 路由

第三次 curl 结果 —— 这次使用 /embed/ 路由

lazy-yt 插件似乎会重写为 /watch 格式的 URL

相关话题