Problem bei der Thumbnail-Generierung und Markdown-Rendering

Hallo,

Seit der neuesten Version von Discourse 2.5.0 habe ich Probleme mit der Generierung von Vorschaubildern.
Anscheinend werden Vorschaubilder jetzt vom Kernsystem generiert, was dazu geführt hat, dass alle Vorschaubilder gelöscht wurden.
Ich habe verschiedene Versuche unternommen, sie wiederherzustellen, und werde nun Situationen erläutern, in denen dies nicht funktioniert.

Hinweis: Es gibt wahrscheinlich einen guten Grund für diese Änderung, aber es wäre wirklich begrüßenswert, keine plötzlichen Verhaltensänderungen einzuführen, die die Funktionalität brechen, ohne die Möglichkeit zu haben, sich darauf vorzubereiten, sei es durch einen Upgrade-Leitfaden und/oder eine Möglichkeit, diese Änderung aktiv zu aktivieren. Bitte. :confounded:

Kontext

  • Discourse 2.5.0 beta4 (faeb5793ba)
  • Topic List Preview Plugin 4.4.0
  • WP-Discourse Beiträge werden so veröffentlicht, wie sie sind (vollständiges HTML) in Discourse-Themen (erste Nachricht).

Zum Inhalt eines Beitrags, hier ein Beispiel (für Sie formatiert):

Inhalt

HTML-Code für das Bild der Einfachheit halber:

<img
        width="150"
        height="84"
        src="https://zuzu.reviews/wp-content/uploads/2020/05/HiZERO-VS-BISSEL-VS-שואב-אלחוטי-VS-שואב-רובוטי-VS-מגב-ודלי-VS-מטאטא-VS-ספונגה-חשמלית-150x84.jpg"
        class="attachment-thumbnail size-thumbnail"
        alt=""
        srcset="
            https://zuzu.reviews/wp-content/uploads/2020/05/HiZERO-VS-BISSEL-VS-שואב-אלחוטי-VS-שואב-רובוטי-VS-מגב-ודלי-VS-מטאטא-VS-ספונגה-חשמלית-150x84.jpg     150w,
            https://zuzu.reviews/wp-content/uploads/2020/05/HiZERO-VS-BISSEL-VS-שואב-אלחוטי-VS-שואב-רובוטי-VS-מגב-ודלי-VS-מטאטא-VS-ספונגה-חשמלית-300x169.jpg    300w,
            https://zuzu.reviews/wp-content/uploads/2020/05/HiZERO-VS-BISSEL-VS-שואב-אלחוטי-VS-שואב-רובוטי-VS-מגב-ודלי-VS-מטאטא-VS-ספונגה-חשמלית-1200x675.jpg  1200w,
            https://zuzu.reviews/wp-content/uploads/2020/05/HiZERO-VS-BISSEL-VS-שואב-אלחוטי-VS-שואב-רובוטי-VS-מגב-ודלי-VS-מטאטא-VS-ספונגה-חשמלית-1536x864.jpg  1536w,
            https://zuzu.reviews/wp-content/uploads/2020/05/HiZERO-VS-BISSEL-VS-שואב-אלחוטי-VS-שואב-רובוטי-VS-מגב-ודלי-VS-מטאטא-VS-ספונגה-חשמלית-2048x1152.jpg 2048w,
            https://zuzu.reviews/wp-content/uploads/2020/05/HiZERO-VS-BISSEL-VS-שואב-אלחוטי-VS-שואב-רובוטי-VS-מגב-ודלי-VS-מטאטא-VS-ספונגה-חשמלית-788x443.jpg    788w,
            https://zuzu.reviews/wp-content/uploads/2020/05/HiZERO-VS-BISSEL-VS-שואב-אלחוטי-VS-שואב-רובוטי-VS-מגב-ודלי-VS-מטאטא-VS-ספונגה-חשמלית.jpg           1280w
        "
        sizes="(max-width: 150px) 100vw, 150px"
    />
<div data-wp>
    <a
        href="https://www.banggood.com/Xiaomi-Redmi-Router-AC2100-2033Mbps-2_4G-5G-Dual-Band-Wireless-Router-6High-Gain-Antennas-128MB-OpenWRT-WiFi-Router-p-1614038.html"
        target="_blank"
        ><img src="https://zuzu.deals/wp-content/uploads/2020/01/5e3128b4e5da7-150x150.jpg"/>
    </a>
    <div>
        <div data-buy>
            <a
                href="https://www.banggood.com/Xiaomi-Redmi-Router-AC2100-2033Mbps-2_4G-5G-Dual-Band-Wireless-Router-6High-Gain-Antennas-128MB-OpenWRT-WiFi-Router-p-1614038.html"
                target="_blank">קנייה
            </a>
            <span data-clipboard-text="BG38b2ac" data-coupon>BG38b2ac</span><i></i>
        </div>
        <div data-price>$43.99</div>
    </div>
</div>
<hr />
<p>
    <small>
        &nbsp;פורסם ב:&nbsp;<a href="https://zuzu.deals/%d7%a7%d7%95%d7%a4%d7%95%d7%9f-%d7%91%d7%9c%d7%a2%d7%93%d7%99-%d7%a8%d7%90%d7%95%d7%98%d7%a8-%d7%97%d7%96%d7%a7-%d7%95%d7%97%d7%93%d7%a9-%d7%a9%d7%9c-%d7%a9%d7%99%d7%90%d7%95%d7%9e%d7%99-xiaomi-re-2/"></a>
    </small>
</p>
<br />
<p>נעים להכיר!</p>

Vor dem Discourse-Update

TLP funktionierte bei unseren externen Bildern immer gut, egal bei der Erstellung oder Bearbeitung eines Themas.
Allerdings hatten wir die Option „Bilder von externen Quellen herunterladen und lokal speichern

Hallo @Arkshine, es tut uns leid zu hören, dass Sie hier Probleme haben. Leider können wir keine Kompatibilität mit allen Plugins von Drittanbietern garantieren, insbesondere wenn diese das Kernverhalten über den Umfang unserer Plugin-APIs hinaus überschreiben. In Zukunft sollte TLP in der Lage sein, die Anzahl der von ihm verwendeten Kern-Überschreibungen zu reduzieren, und hoffentlich wird sich die Stabilität verbessern.

Beachten Sie, dass wir jetzt auch unsere offizielle Lösung zum Anzeigen von Miniaturansichten haben, die ausschließlich mit unseren unterstützten Plugin-APIs implementiert ist.

Sie haben recht, dass Miniaturansichten des Kerns nur für lokale Bilder funktionieren. Letztendlich zog TLP Bilder ebenfalls und speicherte sie lokal, sodass der Unterschied jetzt darin besteht, dass wir alles konsistent mit dem Job pull_hotlinked_images durchführen.

Es scheint, als hätten wir hier ein paar Probleme zu lösen. Ich denke, es wäre am besten, sie zu trennen, damit wir nichts übersehen. Beim Durchlesen Ihres Beitrags sehe ich zwei Dinge:

Das Herunterladen von Remote-Bildern sollte nicht zu ungültigem HTML/Markdown führen, also werden wir versuchen, dies zu beheben. Bitte eröffnen Sie ein #bug-Thema, erwähnen Sie mich, und wir werden uns das ansehen.

Auch hier sollten Sonderzeichen die Bilder nicht beschädigen. Bitte eröffnen Sie ein weiteres #bug-Thema, und wir werden uns das ansehen.

Danke für die Antwort, @david.

Was Markdown angeht: Links mit Sonderzeichen funktionieren. Danke.


Allerdings liegt mein Hauptproblem weiterhin darin, dass Discourse das Bild zum Herunterladen zwingen soll. Das Markdown-Problem kann über die Konsole gelöst werden, und nicht alle Links enthalten Sonderzeichen. Wir haben immer noch viele Themen ohne Vorschaubilder. Dafür bitte ich um Hilfe.

Zum Beispiel hat dieser hier keine Sonderzeichen. Und solange ich nicht auf Speichern & Bearbeiten klicke, wird das Bild weder durch Neuberechnung aus der Konsole noch über den Link HTML neu erstellen heruntergeladen.

Gibt es einen Rails-Befehl oder etwas anderes, das Discourse dazu bringt, das Bild herunterzuladen, genauso wie beim Klick auf Speichern & Bearbeiten?


Ich habe die Komponente tatsächlich schon ausprobiert, aber sie hat nicht richtig funktioniert. Ich werde es aber erneut versuchen, sobald die Probleme mit den Vorschaubildern gelöst sind.

Ist es eine Affiliate-Website?

Das ist seltsam. Ich habe eine Idee: Wurden diese Beiträge vom Systembenutzer oder von Discobot erstellt?

Die meisten sind normale Admin-Benutzer. Diese Themen wurden über die API von WP Discourse erstellt.

Zum Beispiel dieses hier:

@Arkshine, sollte dort eigentlich ein Link sein?

Entschuldigung, ich habe gerade mit einem Beispiel gearbeitet, während ich Dinge getestet habe, aber ich habe unbeabsichtigt auf die Schaltfläche gedrückt.

Das gesagt, habe ich begonnen, dies auszuführen, um zu sehen, ob es hilft (entschuldigt, wenn es euren Augen wehtut!)

Post
  .joins(:topic)
  .where(post_number: 1)
  .where('topics.visible = true')
  .where('topics.deleted_at IS NULL')
  .each do |post| 
     post.baked_version = nil
     post.save!(validate: false)
     post.rebake!
   end

Es hat einige Zeit gedauert. Ich habe ziemlich viele Jobs::PullHotlinkedImages gesehen.
Aber es scheint, als hätte es nicht viel geholfen.

Wenn ihr ein bestimmtes Thema überprüft, zum Beispiel dieses Thema.

Von der Konsole aus kann ich sehen, dass es Jobs::ProcessPost auslöst, aber nicht Jobs::PullHotlinkedImages.

[106] pry(main)> Post.update_all(baked_version: nil)
=> 38808

[107] pry(main)> Post.where(post_number: 1, topic_id: 64215).each do |post| post.rebake!; end
=> [#<Post:0x0000557fe01f2fd8
  id: 79717,
  user_id: 3,
  topic_id: 64215,
  post_number: 1,
  raw:
   "<div data-wp><a href=\"https://www.mooki.co.il/gaming/hbilvt-giiming-mwtlmvt/mvwb-giiming-khvl-sparkfox-wvlhn-giiming-mqcvei-lumi-whvr-2\" target=\"_blank\"><img src=\"https://zuzu.deals/wp-content/uploads/2020/05/5ebcf97155cd2-150x150.png\" /></a><div><div data-buy><a href=\"https://www.mooki.co.il/gaming/hbilvt-giiming-mwtlmvt/mvwb-giiming-khvl-sparkfox-wvlhn-giiming-mqcvei-lumi-whvr-2\" target=\"_blank\">קנייה</a><span data-clipboard-text=\"GLA679\" data-coupon>GLA679</span><i></i></div><div data-price>₪679 <span data-old-price>₪1378</span></div></div></div><hr /><p><small>&nbsp;פורסם ב:&nbsp;<a href=\"https://zuzu.deals/%d7%91%d7%9c%d7%a2%d7%93%d7%99-%d7%95%d7%91%d7%9e%d7%97%d7%99%d7%a8-%d7%97%d7%98%d7%99%d7%a4%d7%94-%d7%9e%d7%95%d7%a9%d7%91-%d7%92%d7%99%d7%99%d7%9e%d7%99%d7%a0%d7%92-%d7%90%d7%93%d7%95%d7%9d-spark/\"></a></small></p><br><p><img src=\"https://www.mooki.co.il/pub/media/catalog/product/cache/0f831c1845fc143d00d6d1ebc49f446a/_/s/_sparkfox_k1_5_.png\" /></p>\n<p style=\"text-align: center;\">בין אם אתם גיימרים ובין אם אתם פשוט עובדים ויושבים כל היום והגב כבר זועק לכיסא טוב יותר, הנה לכם עוד מבצע בלעדי במחיר חטיפה!<br />\nכיסא גיימינג מפנק, אוזניות גיימינג ומשלוח מהיר בחינם, עם אחריות יבואן רשמי &#8211; רק ב679₪!!!</p>\n<p style=\"text-align: center;\">השתמשו בקופה בקופון הבלעדי &#8211; <strong>GLA679</strong></p>\n<div> <img src=\"https://zuzu.deals/wp-content/uploads/2020/05/90902-801-09_2_1.jpg\" /></div>\n<div>\n<h3 style=\"text-align: center;\">מושב גיימינג מקצועי SPARKFOX GC60P</h3>\n</div>\n<div>מושב גיימינג בעל עיצוב מיוחד למשחקי מחשב לנוחות מקסימאלית למשתמש</div>\n<div>\n<ul>\n<li>מושב בעל משענת גב גבוהה</li>\n<li>נוחות המקסימאלית למשך זמן משחק ארוך</li>\n<li>זוג כריות לתמיכה בצוואר ובגב התחתון</li>\n<li>סוג חומר: ספוג יצוק</li>\n<li>סוג מסגרת: מתכת</li>\n<li>חומר: עור עם סיבי פחם</li>\n<li>משענות ידיים: מתכווננות מעלה / מטה</li>\n<li>סוג מנגנון: פרפר</li>\n<li>סוג הרמה: הידראולית Class4</li>\n<li>טווח משענת גב: 90°-180°</li>\n<li>סוג בסיס: ניילון</li>\n<li>חומר גלגל: ניילון</li>\n<li>יכולת נשיאה: עד 150 ק”ג</li>\n<li>אחריות: שנה</li>\n</ul>\n<div><strong>מידות</strong></div>\n<div>\n<ul>\n<li>רוחב: 67 ס&quot;מ</li>\n<li>עומק: 67 ס&quot;מ</li>\n<li>גובה משתנה: 124-132 ס&quot;מ</li>\n</ul>\n<h3></h3>\n<p><img src=\"https://zuzu.deals/wp-content/uploads/2020/05/90902-802-08_3_1.jpg\" /></p>\n<h3 style=\"text-align: center;\">אוזניות גיימינג SPARKFOX K1</h3>\n<div>אוזניות גיימינג בעיצוב מיוחד לנוחות מקסימלית לשמע ודיבור וביטול רעשי רקע</div>\n<div>\n<ul>\n<li>ניתנות לשימוש ברוב הקונסולות הקיימות בשוק</li>\n<li>שמע וניהול שיחות בטלפונים ובמחשבים ניידים</li>\n<li>ווסת עוצמת השמע הינו בכבל של האוזנייה- לגישה נוחה</li>\n<li>שמע מעולה ממנהלי התקנים גדולים של 50 מ&quot;מ</li>\n<li>בקרי עוצמת הקול וההשתקה</li>\n<li>כוסות אוזניים מרופדות גדולות לנוחות מרבית</li>\n<li>קשת האוזנייה מתכווננת להתאמה מושלמת לראשכם</li>\n<li>מתחבר ישירות ליציאת בקרי 3.5 מ&quot;מ</li>\n</ul>\n</div>\n<div>מצורף מתאם מיוחד לחיבור האוזניות למחשב נייח ע&quot;י מפצל 3.5 מ&quot;מ ל 2 יציאות 3.5 מ&quot;מ</div>\n</div>\n</div>\n<p>&nbsp;</p>\n<div data-custom-html=\"\"></div>",
  cooked:
   "<div data-wp=\"\">\n<a href=\"https://www.mooki.co.il/gaming/hbilvt-giiming-mwtlmvt/mvwb-giiming-khvl-sparkfox-wvlhn-giiming-mqcvei-lumi-whvr-2\" target=\"_blank\"><img src=\"https://zuzu.deals/wp-content/uploads/2020/05/5ebcf97155cd2-150x150.png\"></a><div>\n<div data-buy=\"\">\n<a href=\"https://www.mooki.co.il/gaming/hbilvt-giiming-mwtlmvt/mvwb-giiming-khvl-sparkfox-wvlhn-giiming-mqcvei-lumi-whvr-2\" target=\"_blank\">קנייה</a><span data-clipboard-text=\"GLA679\" data-coupon=\"\">GLA679</span><i></i>\n</div>\n<div data-price=\"\">₪679 <span data-old-price=\"\">₪1378</span>\n</div>\n</div>\n</div><hr><p><small> פורסם ב: <a href=\"https://zuzu.deals/%d7%91%d7%9c%d7%a2%d7%93%d7%99-%d7%95%d7%91%d7%9e%d7%97%d7%99%d7%a8-%d7%97%d7%98%d7%99%d7%a4%d7%94-%d7%9e%d7%95%d7%a9%d7%91-%d7%92%d7%99%d7%99%d7%9e%d7%99%d7%a0%d7%92-%d7%90%d7%93%d7%95%d7%9d-spark/\"></a></small></p><br><p><img src=\"https://www.mooki.co.il/pub/media/catalog/product/cache/0f831c1845fc143d00d6d1ebc49f446a/_/s/_sparkfox_k1_5_.png\"></p>\n<p>בין אם אתם גיימרים ובין אם אתם פשוט עובדים ויושבים כל היום והגב כבר זועק לכיסא טוב יותר, הנה לכם עוד מבצע בלעדי במחיר חטיפה!<br>\nכיסא גיימינג מפנק, אוזניות גיימינג ומשלוח מהיר בחינם, עם אחריות יבואן רשמי – רק ב679₪!!!</p>\n<p>השתמשו בקופה בקופון הבלעדי – <strong>GLA679</strong></p>\n<div> <img src=\"https://zuzu.deals/wp-content/uploads/2020/05/90902-801-09_2_1.jpg\">\n</div>\n<div>\n<h3>מושב גיימינג מקצועי SPARKFOX GC60P</h3>\n</div>\n<div>מושב גיימינג בעל עיצוב מיוחד למשחקי מחשב לנוחות מקסימאלית למשתמש</div>\n<div>\n<ul>\n<li>מושב בעל משענת גב גבוהה</li>\n<li>נוחות המקסימאלית למשך זמן משחק ארוך</li>\n<li>זוג כריות לתמיכה בצוואר ובגב התחתון</li>\n<li>סוג חומר: ספוג יצוק</li>\n<li>סוג מסגרת: מתכת</li>\n<li>חומר: עור עם סיבי פחם</li>\n<li>משענות ידיים: מתכווננות מעלה / מטה</li>\n<li>סוג מנגנון: פרפר</li>\n<li>סוג הרמה: הידראולית Class4</li>\n<li>טווח משענת גב: 90°-180°</li>\n<li>סוג בסיס: ניילון</li>\n<li>חומר גלגל: ניילון</li>\n<li>יכולת נשיאה: עד 150 ק”ג</li>\n<li>אחריות: שנה</li>\n</ul>\n<div><strong>מידות</strong></div>\n<div>\n<ul>\n<li>רוחב: 67 ס\"מ</li>\n<li>עומק: 67 ס\"מ</li>\n<li>גובה משתנה: 124-132 ס\"מ</li>\n</ul>\n<h3></h3>\n<p><img src=\"https://zuzu.deals/wp-content/uploads/2020/05/90902-802-08_3_1.jpg\"></p>\n<h3>אוזניות גיימינג SPARKFOX K1</h3>\n<div>אוזניות גיימינג בעיצוב מיוחד לנוחות מקסימלית לשמע ודיבור וביטול רעשי רקע</div>\n<div>\n<ul>\n<li>ניתנות לשימוש ברוב הקונסולות הקיימות בשוק</li>\n<li>שמע וניהול שיחות בטלפונים ובמחשבים ניידים</li>\n<li>ווסת עוצמת השמע הינו בכבל של האוזנייה- לגישה נוחה</li>\n<li>שמע מעולה ממנהלי התקנים גדולים של 50 מ\"מ</li>\n<li>בקרי עוצמת הקול וההשתקה</li>\n<li>כוסות אוזניים מרופדות גדולות לנוחות מרבית</li>\n<li>קשת האוזנייה מתכווננת להתאמה מושלמת לראשכם</li>\n<li>מתחבר ישירות ליציאת בקרי 3.5 מ\"מ</li>\n</ul>\n</div>\n<div>מצורף מתאם מיוחד לחיבור האוזניות למחשב נייח ע\"י מפצל 3.5 מ\"מ ל 2 יציאות 3.5 מ\"מ</div>\n</div>\n</div>\n<p> </p>\n<div data-custom-html=\"\"></div>",
  created_at: Thu, 14 May 2020 07:55:31 UTC +00:00,
  updated_at: Tue, 26 May 2020 14:56:16 UTC +00:00,
  reply_to_post_number: nil,
  reply_count: 0,
  quote_count: 0,
  deleted_at: nil,
  off_topic_count: 0,
  like_count: 0,
  incoming_link_count: 2,
  bookmark_count: 0,
  score: 10.8,
  reads: 4,
  post_type: 1,
  sort_order: 1,
  last_editor_id: -1,
  hidden: false,
  hidden_reason_id: nil,
  notify_moderators_count: 0,
  spam_count: 0,
  illegal_count: 0,
  inappropriate_count: 0,
  last_version_at: Thu, 14 May 2020 09:19:26 UTC +00:00,
  user_deleted: false,
  reply_to_user_id: nil,
  percent_rank: 0.0,
  notify_user_count: 0,
  like_score: 0,
  deleted_by_id: nil,
  edit_reason: nil,
  word_count: 939,
  version: 3,
  cook_method: 1,
  wiki: false,
  baked_at: Tue, 26 May 2020 16:59:49 UTC +00:00,
  baked_version: 2,
  hidden_at: nil,
  self_edits: 2,
  reply_quoted: false,
  via_email: false,
  raw_email: nil,
  public_version: 3,
  action_code: nil,
  image_url: "https://zuzu.deals/wp-content/uploads/2020/05/5ebcf97155cd2-150x150.png",
  locked_by_id: nil,
  image_upload_id: nil>]

Wenn ich im Composer auf “Bearbeiten speichern” klicke:

Sieht gut aus image

Dann kann ich sehen, dass das Bild heruntergeladen wurde:

Ah, verstehe. Das Problem liegt hier:

Denn wir haben diese Logik vor dem Einplanen des Abrufs von verlinkten Bildern:

Dies soll eine Endlosschleife bei der Einplanung von pull_hotlinked_image-Jobs verhindern. Aber vielleicht müssen wir diese Logik verbessern. Könntest du bitte die Versionsgeschichte eines dieser Beiträge prüfen und herausfinden, warum sie zuletzt vom System bearbeitet wurden?

Für dieses Thema:

  1. image
  2. image (Kategoriewechsel)
  3. image (Nur meine Speichern Bearbeiten)
  4. image (System ersetzt Bild mit Markdown)

Ich vermute also, dass es am Kategoriewechsel liegt?

Ja, das würde es erklären! Als kurzfristige Lösung können Sie den Job zum Abrufen von Hotlink-Bildern manuell ausführen, indem Sie beispielsweise Folgendes tun:

Jobs.enqueue_in(10, :pull_hotlinked_images, post_id: post.id)

Wir brauchen hier jedoch eine bessere Lösung. Ich werde es auf meine To-Do-Liste setzen.

Fantastisch. Ich werde das gleich ausprobieren!

EDIT:

Nur zur Bestätigung: Der Befehl hat sehr geholfen. Die meisten Bilder sind jetzt wieder da. Nochmals vielen Dank!

Es gibt immer noch Randfälle, die nicht verarbeitet werden, wie Bilder mit Sonderzeichen oder Themen, bei denen Bilder als defekt markiert sind, obwohl sie es nicht sind (ein HTML-Neuaufbau behebt das, und durch Speichern der Bearbeitung können sie heruntergeladen werden). Wenn #9890 zusammengeführt wird und eine Korrektur für Markdown vorgenommen wird, würde das wahrscheinlich alles beheben.

Ich habe gerade diese Korrektur für Systembenutzer-Bearbeitungen zusammengeführt:

Ich denke, wir haben alle anderen Probleme in separate Themen ausgelagert. Falls wir etwas übersehen haben, öffne bitte gerne ein neues Thema, @Arkshine.

Übrigens habe ich diese Einstellung gerade entfernt. Wir prüfen beim Abrufen von Hotlink-Bildern nicht mehr das Alter der Beiträge.

cc @merefield