بعض المواقع محظورة من الـ oneboxing

واجهت مشكلة في معاينة Onebox منذ التحديث في 4 مايو. لا يمكن لجميع الروابط التشعبية إنشاء مربع معاينة بنجاح.

ومع ذلك، فإن جميع هذه الروابط التشعبية تعمل بشكل جيد على موقع Meta حتى اليوم، حيث وجدت أخيرًا رابطًا تشعبيًا يعاني من مشكلة مشابهة* على موقع Meta.
*رمز خطأ مختلف

يرجى تقديم المشورة. شكرًا على المساعدة.

https://medium.com/swlh/5-free-python-courses-for-beginners-to-learn-online-e1ca90687caf

إعجاب واحد (1)

لقد حاولت Onebox ذلك الرابط على منتداي وحصلت على نفس النتيجة.
لاحظت ذلك فورًا عندما فتحت الرابط. فقد عاد برقمين من الاستثناءات. لا يمكن Onebox الرابط بسبب هذا. وهذا هو السبب في ظهور هذه الرسالة في Onebox.

إعجاب واحد (1)

لقد كان @jamie.wilson يحقق في مشكلات تتعلق بـ medium oneboxes، ولدينا إصلاح قيد التنفيذ

4 إعجابات

نعم، يبدو أن هذه هي المشكلة نفسها التي تسبب خطأ 500. هل تم معالجة هذا الأمر @jamie.wilson؟

3 إعجابات

الرابط الذي قدمه @SkyLin يؤدي مرة أخرى إلى Oneboxing:

https://medium.com/swlh/5-free-python-courses-for-beginners-to-learn-online-e1ca90687caf

يبدو أن منصة Medium أجرت بعض التغييرات من جانبها كشفت عن بعض القصور في طريقة إنشاءنا لـ Oneboxes. وقد تم معالجة هذه القضايا من جانبنا ودمجها، مما يجعل عملية Oneboxing أكثر قوة بشكل عام (وليس فقط لمنصة Medium).

4 إعجابات

تم حل هذه المشكلة بعد التحديث. شكرًا جزيلاً!

Comparing bbb44698...a24b6daa · discourse/discourse · GitHub

لكن مشكلتي الأصلية* لا تزال قائمة. هل هناك أي إجراء إضافي يمكنني اتخاذه لحلها؟ شكرًا مرة أخرى.

*يعمل Onebox بشكل جيد على meta لكنه فشل على موقعي لنفس الرابط:

إعجاب واحد (1)

لقد جربت للتو جميع الروابط الثلاثة الخاصة بك، رابط Medium والروابط الاثنان لـ Udemy، على موقعي وهنا على Meta. لقد عملت جميع الروابط الثلاثة بشكل صحيح على موقعي وهنا على Meta.

إعجابَين (2)

شكرًا لك على المعلومات الطيبة.

جربت الطريقة المذكورة في Amazon onebox fails on my site, but works here ووجدت أن استجابة Udemy هي رمز الخطأ 403. لقد قمت حتى بنسخ موقع موقع آخر باستخدام نسخة احتياطية قديمة، وواجهت نفس المشكلة. أتساءل ما إذا كانت هناك أسباب أخرى تؤدي إلى هذه المشكلة، مثل الإعدادات؟

يرجى التوجيه. شكرًا للمساعدة.

root@localhost:~# curl https://www.udemy.com/course/certified-kubernetes-application-developer/ -o deleteme.html --verbose
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:-- 0* Trying 2606:4700::6810:4255:443... * TCP_NODELAY set
  0     0    0     0    0     0      0      0 --:--:--  0:00:01 --:--:--  0* Connected to www.udemy.com (2606:4700::6810:4255) port 443  (#0)
* ALPN, offering h2
* ALPN, offering http/1.1
* successfully set certificate verify locations:
*   CAfile: /etc/ssl/certs/ca-certificates.crt
  CApath: /etc/ssl/certs
} [5 bytes data]
* TLSv1.3 (OUT), TLS handshake, Client hello (1):
} [512 bytes data]
* TLSv1.3 (IN), TLS handshake, Server hello (2):
{ [122 bytes data]
* TLSv1.3 (IN), TLS handshake, Encrypted Extensions (8):
{ [19 bytes data]
* TLSv1.3 (IN), TLS handshake, Certificate (11):
{ [3726 bytes data]
* TLSv1.3 (IN), TLS handshake, CERT verify (15):
{ [264 bytes data]
* TLSv1.3 (IN), TLS handshake, Finished (20):
{ [52 bytes data]
* TLSv1.3 (OUT), TLS change cipher, Change cipher spec (1):
} [1 bytes data]
* TLSv1.3 (OUT), TLS handshake, Finished (20):
} [52 bytes data]
* SSL connection using TLSv1.3 / TLS_AES_256_GCM_SHA384
* ALPN, server accepted to use h2
* Server certificate:
*  subject: C=US; ST=California; L=San Francisco; O=Udemy, Inc.; CN=*.udemy.com
*  start date: Sep 10 15:45:40 2020 GMT
*  expire date: Oct 12 15:45:40 2021 GMT
*  subjectAltName: host "www.udemy.com" matched cert's "*.udemy.com"
*  issuer: C=BE; O=GlobalSign nv-sa; CN=GlobalSign RSA OV SSL CA 2018
*  SSL certificate verify ok.
* Using HTTP2, server supports multi-use
* Connection state changed (HTTP/2 confirmed)
* Copying HTTP/2 data in stream buffer to connection buffer after upgrade: len=0
} [5 bytes data]
* Using Stream ID: 1 (easy handle 0x55ba70848e10)
} [5 bytes data]
> GET /course/certified-kubernetes-application-developer/ HTTP/2
> Host: www.udemy.com
> user-agent: curl/7.68.0
> accept: */*
>
{ [5 bytes data]
* TLSv1.3 (IN), TLS handshake, Newsession Ticket (4):
{ [230 bytes data]
* TLSv1.3 (IN), TLS handshake, Newsession Ticket (4):
{ [230 bytes data]
* old SSL session ID is stale, removing
{ [5 bytes data]
* Connection state changed (MAX_CONCURRENT_STREAMS == 256)!
} [5 bytes data]
< HTTP/2 403
< date: Sat, 15 May 2021 09:15:50 GMT
< content-type: text/plain; charset=UTF-8
< content-length: 16
< x-frame-options: SAMEORIGIN
< cache-control: private, max-age=0, no-store, no-cache, must-revalidate, post-c                                                                             heck=0, pre-check=0
< expires: Thu, 01 Jan 1970 00:00:01 GMT
< cf-request-id: 0a10e892d400000ac0a696a000000001
< expect-ct: max-age=604800, report-uri="https://report-uri.cloudflare.com/cdn-c                                                                             gi/beacon/expect-ct"
< set-cookie: __cf_bm=b04492251e1a16bfdad619155f03441f5707d134-1621070150-1800-AS6cROKp+jLfN9ubIJem+TuX5dANVYbshBzqeRTZhheBx6lOtfM8RPRDSGDLEObLD8tWwjbrp+D5Sh4RcCTXGNw=; path=/; expires=Sat, 15-May-21 09:45:50 GMT; domain=.udemy.com; HttpOnly; Secure; SameSite=None
< x-content-type-options: nosniff
< server: cloudflare
< cf-ray: 64fb4397bea70ac0-NRT
<
{ [16 bytes data]
100    16  100    16    0     0     10      0  0:00:01  0:00:01 --:--:--    10
* Connection #0 to host www.udemy.com left intact

إعجاب واحد (1)

من أين أتى هذا؟ عام 1970؟ هذا يعود لأكثر من 50 عامًا.

إعجابَين (2)

يأتي من استجابة الأمر التالي:

curl https://www.udemy.com/course/certified-kubernetes-application-developer/ -o deleteme.html --verbose

إعجاب واحد (1)

وهنا يأتي رد أمازون مع رمز الخطأ 503.

root@localhost:~# curl https://www.amazon.com/Deep-Learning-Python-Francois-Chollet/dp/1617294438 -o deleteme.html --verbose
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0*   Trying 162.219.225.118:443...
* TCP_NODELAY set
* Connected to www.amazon.com (162.219.225.118) port 443 (#0)
* ALPN, offering h2
* ALPN, offering http/1.1
* successfully set certificate verify locations:
*   CAfile: /etc/ssl/certs/ca-certificates.crt
  CApath: /etc/ssl/certs
} [5 bytes data]
* TLSv1.3 (OUT), TLS handshake, Client hello (1):
} [512 bytes data]
* TLSv1.3 (IN), TLS handshake, Server hello (2):
{ [122 bytes data]
* TLSv1.3 (IN), TLS handshake, Encrypted Extensions (8):
{ [19 bytes data]
* TLSv1.3 (IN), TLS handshake, Certificate (11):
{ [4447 bytes data]
* TLSv1.3 (IN), TLS handshake, CERT verify (15):
{ [264 bytes data]
* TLSv1.3 (IN), TLS handshake, Finished (20):
{ [52 bytes data]
* TLSv1.3 (OUT), TLS change cipher, Change cipher spec (1):
} [1 bytes data]
* TLSv1.3 (OUT), TLS handshake, Finished (20):
} [52 bytes data]
* SSL connection using TLSv1.3 / TLS_AES_256_GCM_SHA384
* ALPN, server accepted to use h2
* Server certificate:
*  subject: CN=www.amazon.com
*  start date: Apr 26 00:00:00 2021 GMT
*  expire date: Apr 25 23:59:59 2022 GMT
*  subjectAltName: host "www.amazon.com" matched cert's "www.amazon.com"
*  issuer: C=US; O=DigiCert Inc; CN=DigiCert Global CA G2
*  SSL certificate verify ok.
* Using HTTP2, server supports multi-use
* Connection state changed (HTTP/2 confirmed)
* Copying HTTP/2 data in stream buffer to connection buffer after upgrade: len=0
} [5 bytes data]
* Using Stream ID: 1 (easy handle 0x55993f5fae10)
} [5 bytes data]
> GET /Deep-Learning-Python-Francois-Chollet/dp/1617294438 HTTP/2
> Host: www.amazon.com
> user-agent: curl/7.68.0
> accept: */*
>
{ [5 bytes data]
* TLSv1.3 (IN), TLS handshake, Newsession Ticket (4):
{ [177 bytes data]
* Connection state changed (MAX_CONCURRENT_STREAMS == 100)!
} [5 bytes data]
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
< HTTP/2 503
< server: Server
< date: Mon, 17 May 2021 01:37:18 GMT
< content-type: text/html
< strict-transport-security: max-age=47474747; includeSubDomains; preload
< x-amz-rid: 72RYS75V0EMTMX4RK38T
< vary: Content-Type,Accept-Encoding,X-Amzn-CDN-Cache,X-Amzn-AX-Treatment,User-Agent
< last-modified: Wed, 30 Sep 2020 23:54:00 GMT
< etag: "a6f-5b0909d09d600"
< accept-ranges: bytes
< content-length: 2671
<
{ [1139 bytes data]
100  2671  100  2671    0     0   3604      0 --:--:-- --:--:-- --:--:--  3599
* Connection #0 to host www.amazon.com left intact
root@localhost:~#

وشيء آخر، معاينة onebox لأمازون تعمل الآن بشكل صحيح بعد تحديث كود جيمي. أما المعاينة قبل التحديث، فراجع هذه الصورة.

إعجاب واحد (1)

أحسنت بشأن رابط أمازون. هل تعمل روابط أوديمي الآن أم أنك ما زلت تواجه خطأ 403 معها؟ أنا لم أواجه أي مشكلة في عرضها مباشرة.

إعجاب واحد (1)

شكرًا لك مرة أخرى.

فشلت جميع الروابط التشعبية الخاصة بـ Udemy على موقعي.

لقد جربت مؤخرًا منتدى آخر مبني على Discourse ووجدت نفس رمز الخطأ 403.

موقع المنتدى: https://forum.quantifiedself.com/

اختبار 1: OK
Amazon https://www.amazon.com/Deep-Learning-Python-Francois-Chollet/dp/1617294438

اختبار 2: NG مع رمز الخطأ 500. أعتقد أن هذا الموقع لم يترقى إلى أحدث إصدار بعد.
Medium https://medium.com/swlh/5-free-python-courses-for-beginners-to-learn-online-e1ca90687caf

اختبار 3: NG، نفس رمز الخطأ 403، وهو مطابق تمامًا لما لدي.
udemy https://www.udemy.com/course/certified-kubernetes-application-developer/

إعجاب واحد (1)

اختبرت جميع مواقع discourse المعروفة لدي، والنتائج كما يلي:

onebox الموقع 1 الموقع 2 الموقع 3 الموقع 4 الموقع 5 الموقع 6 الموقع 7 الموقع 8
Amazon OK OK OK OK OK OK OK OK
medium OK NG OK NG NG OK NG NG
udemy NG NG OK OK OK OK NG OK
الموقع* طوكيو كاليفورنيا كاليفورنيا كاليفورنيا كاليفورنيا باريس كاليفورنيا إنجلترا
أيرلندا فرجينيا شيكاغو
أفريقيا ألاسكا
*تم الاختبار باستخدام فحص المضيف

الموقع 1. https://vip.studycamp.tw/
الموقع 2. https://forum.quantifiedself.com/
الموقع 3. https://discussions.udacity.com/
الموقع 4. https://forum.uipath.com/
الموقع 5. https://forums.envato.com/
الموقع 6. https://rideabl.es/
الموقع 7. https://blenderartists.org/
الموقع 8. https://se23.life/

4 إعجابات

أنت محظوظ، الموقع الوحيد الذي يعمل هو amazon.com
مع جميع مواقع أمازون الأخرى، لا تعمل معاينة Onebox.

إعجابَين (2)

قد تقوم المواقع التي تختبرها بحجب وكيل المستخدم (user agent) الخاص بـ curl. تستخدم عملية Oneboxing وكيل مستخدم من متصفح حقيقي، ويعتمد ذلك على عنوان URL الذي تحاول Oneboxing له. حاليًا، وكيل المستخدم الذي تُستخدم في مثل هذه الحالات هو:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.0 Safari/605.1.15

جرب تشغيل اختبارات curl الخاصة بك باستخدام العلم -A. على سبيل المثال:

curl -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.0 Safari/605.1.15" https://www.udemy.com/course/certified-kubernetes-application-developer/ -o deleteme.html --verbose

ما هي نتيجة هذا الأمر من جانبك؟

إذا استمر الفشل:

  1. هل قمت بتشغيل عدد غير عادي كبير من طلبات Oneboxing ضد هذه المواقع؟ قد تكون قد تم حظرها مؤقتًا من قبل المواقع المعنية، وستجد أن الأمور تبدأ في العمل بعد انتظار فترة زمنية مناسبة (هذا يعتمد على مشغلي الموقع، ولا يمكننا فعل أي شيء حيال ذلك من جانبنا للأسف).

  2. أين يقع خادمك؟ هل لديك إمكانية الوصول إلى جهاز في موقع مختلف يمكنك من خلاله تشغيل الاختبارات؟ حتى الاختبار من جهازك الشخصي بدلاً من خادم الإنتاج قد يعطيك نتائج مختلفة.

4 إعجابات

شكرًا على النصيحة.

رمز الاستجابة لا يزال 403:

root@localhost:~# curl -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.0 Safari/605.1.15" https://www.udemy.com/course/certified-kubernetes-application-developer/ -o deleteme.html --verbose
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0*   Trying 2606:4700::6810:4155:443...
* TCP_NODELAY set
  0     0    0     0    0     0      0      0 --:--:--  0:00:01 --:--:--     0* Connected to www.udemy.com (2606:4700::6810:4155) port 443 (#0)
* ALPN, offering h2
* ALPN, offering http/1.1
* successfully set certificate verify locations:
*   CAfile: /etc/ssl/certs/ca-certificates.crt
  CApath: /etc/ssl/certs
} [5 bytes data]
* TLSv1.3 (OUT), TLS handshake, Client hello (1):
} [512 bytes data]
* TLSv1.3 (IN), TLS handshake, Server hello (2):
{ [122 bytes data]
* TLSv1.3 (IN), TLS handshake, Encrypted Extensions (8):
{ [19 bytes data]
* TLSv1.3 (IN), TLS handshake, Certificate (11):
{ [3726 bytes data]
* TLSv1.3 (IN), TLS handshake, CERT verify (15):
{ [264 bytes data]
* TLSv1.3 (IN), TLS handshake, Finished (20):
{ [52 bytes data]
* TLSv1.3 (OUT), TLS change cipher, Change cipher spec (1):
} [1 bytes data]
* TLSv1.3 (OUT), TLS handshake, Finished (20):
} [52 bytes data]
* SSL connection using TLSv1.3 / TLS_AES_256_GCM_SHA384
* ALPN, server accepted to use h2
* Server certificate:
*  subject: C=US; ST=California; L=San Francisco; O=Udemy, Inc.; CN=*.udemy.com
*  start date: Sep 10 15:45:40 2020 GMT
*  expire date: Oct 12 15:45:40 2021 GMT
*  subjectAltName: host "www.udemy.com" matched cert's "*.udemy.com"
*  issuer: C=BE; O=GlobalSign nv-sa; CN=GlobalSign RSA OV SSL CA 2018
*  SSL certificate verify ok.
* Using HTTP2, server supports multi-use
* Connection state changed (HTTP/2 confirmed)
* Copying HTTP/2 data in stream buffer to connection buffer after upgrade: len=0
} [5 bytes data]
* Using Stream ID: 1 (easy handle 0x5591c76d8e10)
} [5 bytes data]
> GET /course/certified-kubernetes-application-developer/ HTTP/2
> Host: www.udemy.com
> user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.0 Safari/605.1.15
> accept: */*
>
{ [5 bytes data]
* TLSv1.3 (IN), TLS handshake, Newsession Ticket (4):
{ [230 bytes data]
* TLSv1.3 (IN), TLS handshake, Newsession Ticket (4):
{ [230 bytes data]
* old SSL session ID is stale, removing
{ [5 bytes data]
* Connection state changed (MAX_CONCURRENT_STREAMS == 256)!
} [5 bytes data]
< HTTP/2 403
< date: Mon, 17 May 2021 23:59:37 GMT
< content-type: text/plain; charset=UTF-8
< content-length: 16
< x-frame-options: SAMEORIGIN
< cache-control: private, max-age=0, no-store, no-cache, must-revalidate, post-check=0, pre-check=0
< expires: Thu, 01 Jan 1970 00:00:01 GMT
< cf-request-id: 0a1e5e6b920000952193363000000001
< expect-ct: max-age=604800, report-uri="https://report-uri.cloudflare.com/cdn-cgi/beacon/expect-ct"
< set-cookie: __cf_bm=3224e014d6b0b4eca1cf8a59c6c180928b2ffa0f-1621295977-1800-AU4UK/k3sl61kbMPYizcsl1TI7NAHkvE1mfjoKIPdrvGAJJeYUF8e72hQljXNwVTO+BcqfsAXxoiQDEy1cL+aVA=; path=/; expires=Tue, 18-May-21 00:29:37 GMT; domain=.udemy.com; HttpOnly; Secure; SameSite=None
< x-content-type-options: nosniff
< server: cloudflare
< cf-ray: 6510ccf28d0a9521-NRT
<
{ [16 bytes data]
100    16  100    16    0     0     10      0  0:00:01  0:00:01 --:--:--    10
* Connection #0 to host www.udemy.com left intact

نعم، لقد فعلت ذلك. لكن الموقع المقلد لم ينشر أي محتوى منذ أكثر من 20 يومًا، ولا يزال يعاني من نفس المشكلة.

علاوة على ذلك، بناءً على جدول الاختبار الذي ذكرته أمس، فإن الموقع 2 والموقع 7 يعانيان من نفس المشكلة، وأعتقد أن هذا أول منشور متعلق بـ Udemy على هذين الموقعين.

يقع موقع خادمي في اليابان. يمكنني نقل الموقع المقلد إلى منطقة أخرى مثل الولايات المتحدة للاختبار لاحقًا اليوم، وسأقوم بالتحديث مجددًا حينها.

تحديث:

  1. بعد 11 ساعة، لا يزال الخطأ 403 كما هو بعد نقل موقع الاختبار المقلد من طوكيو إلى كاليفورنيا. سأنتقل إلى أوروبا للاختبار لاحقًا، وسأقوم بالتحديث مجددًا غدًا.
  2. نفس رمز الخطأ 403 في لندن.

شكرًا مجددًا.

إعجابَين (2)

لقد قمت بإجراء بعض الاختبارات الإضافية من جهتي.

أستطيع بنجاح استخدام أمر curl للوصول إلى عنوان URL الخاص بـ Udemy من مزود خدمة الإنترنت السكني الخاص بي (أمريكا الشمالية) وكذلك من جهاز مستضاف في مركز بيانات متطور (أمريكا الشمالية).

لكن المحاولة من مزود استضافة شائع (أمريكا الشمالية) تفشل. كما أن المحاولة من مزود استضافة شائع آخر (أوروبا) تفشل أيضًا.

عندما تفشل العملية، فإن جسم المحتوى الذي يتم إرجاعه إلي هو:

error code: 1020

والذي يأتي من:

يوضح هذا المنشور من Cloudflare معنى خطأ 1020 الخاص بهم، وما يمكنك فعله لمحاولة حله:

https://community.cloudflare.com/t/community-tip-fixing-error-1020-access-denied/66439

5 إعجابات

حاليًا الإصدار 2.7.0.beta8، إذا كان ذلك يساعد بأي شكل.

إعجابَين (2)

الإصدار الجديد يحل هذه المشكلة، حيث يظهر معاينة الصندوق الواحد لـ Udemy مرة أخرى. غير متأكد من أي جزء قام بإصلاحها.

3 إعجابات