Wir arbeiten an einem Yahoo Groups mbox-Import und stoßen dabei auf einige Fehler. Ich bin mir nicht sicher, welche Richtung ich jetzt für die Fehlersuche und den Import einschlagen soll. Hier sind die Fehler, die ich bisher sehe:
https://pastebin.com/raw/2WTN3GTj
Du benutzt doch das mbox-Skript, oder? Bei mir hat es problemlos funktioniert, ohne Fehler. Die Anhänge fehlen zwar, aber das ist in meinem Fall nicht das Ende der Welt.
Das ist korrekt, @tobiaseigen. Der Importvorgang lief über 2 Stunden.
Zusätzlich zu meiner letzten Frage wollte ich noch anmerken, dass ich mir nicht sicher war, ob ich trotz dieser Fehler mit dem Import fortfahren sollte. Ich frage mich, ob wir nach der Behebung der Fehler einfach erneut importieren können, wobei bereits importierte Nachrichten übersprungen werden und der Import dann korrekt fortgesetzt wird.
Ich bin mir nicht sicher, ob Sidekiq hier relevant ist – das Import-Skript läuft meiner Meinung nach außerhalb von Discourse.
Falls es hilft, hier ist mein Import-Log. Es gibt tatsächlich einige Zeilen, die deiner ähnlich sind, aber ich habe mich einfach entschieden, mir keine Sorgen zu machen. Das Leben ist zu kurz.
Da du so viele Fehler hast, scheint du ein systematischeres Problem zu haben. Bist du sicher, dass das System genügend RAM zur Verfügung hat? Ich weiß nicht, ob du das bereits versucht hast, aber du könntest die Importdatei etwas genauer untersuchen und versuchen herauszufinden, ob du etwas findest – vielleicht musst du die split_regex nur auf irgendeine Weise anpassen oder die Datei in einem anderen Format auf deinen Server hochladen?
Wenn du weiterhin Probleme hast, könntest du im Kanal Marketplace um Hilfe bitten – dort gibt es einige Berater, die viel Erfahrung beim Importieren haben. Ich bin sicherlich kein Experte – das war mein erster Versuch. 
root@discourse:/var/discourse# ./launcher enter import
root@discourse-import:/var/www/discourse# RAILS_DB=secondsite
root@discourse-import:/var/www/discourse# export RAILS_DB
root@discourse-import:/var/www/discourse# import_mbox.sh
Der Mbox-Import beginnt...
Lade bestehende Gruppen...
Lade bestehende Benutzer...
Lade bestehende Kategorien...
Lade bestehende Beiträge...
Lade bestehende Themen...
Erstelle Index
Indiziere Dateien in /shared/import/data/list
Indiziere /shared/import/data/list/18929486-3.mbox
Indiziere /shared/import/data/list/18929486-2.mbox
Indiziere Antworten und Benutzer
Erstelle Kategorien
1 / 1 (100,0%) [4916421 Elemente/Min]
Erstelle Benutzer
69 / 69 (100,0%) [1178 Elemente/Min] ]
Erstelle Themen und Beiträge
Datum fehlt. Überspringe 0462b41b966d8c11e6e32cc14c0b576d
1 / 2333 ( 0,0%) [179689 Elemente/Min] Datum fehlt. Überspringe 0adb9bd80082595a33130f7749d7f530
2 / 2333 ( 0,1%) [224693 Elemente/Min] Datum fehlt. Überspringe 3bd86d7adb396fbeb7d6dfcfe9f0be5f
3 / 2333 ( 0,1%) [283328 Elemente/Min] Datum fehlt. Überspringe 4f5397838e6c7f96eedfe116ce27be13
4 / 2333 ( 0,2%) [184374 Elemente/Min] Datum fehlt. Überspringe c8c14ab80e92ae1cacd4af99351319bd
45 / 2333 ( 1,9%) [334 Elemente/Min] Zuordnung des Beitrags fehlgeschlagen für 2f401ce90708241252h30bdae5iad2ae0096e067b71@mail.gmail.com
undefinierte Methode „hex“ für nil:NilClass
/var/www/discourse/app/models/upload.rb:132:in `base62_sha1'
/var/www/discourse/app/models/upload.rb:386:in `short_url_basename'
/var/www/discourse/app/models/upload.rb:115:in `short_url'
/var/www/discourse/lib/upload_markdown.rb:17:in `image_markdown'
/var/www/discourse/lib/upload_markdown.rb:10:in `to_markdown'
/var/www/discourse/lib/email/receiver.rb:1085:in `block in add_attachments'
/var/www/discourse/lib/email/receiver.rb:1060:in `each'
/var/www/discourse/lib/email/receiver.rb:1060:in `add_attachments'
/var/www/discourse/script/import_scripts/mbox/importer.rb:137:in `format_raw'
/var/www/discourse/script/import_scripts/mbox/importer.rb:121:in `map_post'
/var/www/discourse/script/import_scripts/mbox/importer.rb:145:in `map_first_post'
/var/www/discourse/script/import_scripts/mbox/importer.rb:103:in `block (2 levels) in import_posts'
/var/www/discourse/script/import_scripts/base.rb:491:in `block in create_posts'
/var/www/discourse/script/import_scripts/base.rb:490:in `each'
/var/www/discourse/script/import_scripts/base.rb:490:in `create_posts'
/var/www/discourse/script/import_scripts/mbox/importer.rb:97:in `block in import_posts'
/var/www/discourse/script/import_scripts/base.rb:870:in `block in batches'
/var/www/discourse/script/import_scripts/base.rb:869:in `loop'
/var/www/discourse/script/import_scripts/base.rb:869:in `batches'
/var/www/discourse/script/import_scripts/mbox/importer.rb:83:in `batches'
/var/www/discourse/script/import_scripts/mbox/importer.rb:91:in `import_posts'
/var/www/discourse/script/import_scripts/mbox/importer.rb:35:in `execute'
/var/www/discourse/script/import_scripts/base.rb:47:in `perform'
script/import_scripts/mbox.rb:16:in `\u003cmodule:Mbox\u003e'
script/import_scripts/mbox.rb:10:in `\u003cmodule:ImportScripts\u003e'
script/import_scripts/mbox.rb:9:in `\u003cmain\u003e'
940 / 2333 ( 40,3%) [398 Elemente/Min] Zuordnung des Beitrags fehlgeschlagen für BBCAF42471FF9540868B4DC02B885B1BBCDA1F@wn1217.or.providence.org
undefinierte Methode „hex“ für nil:NilClass
/var/www/discourse/app/models/upload.rb:132:in `base62_sha1'
/var/www/discourse/app/models/upload.rb:386:in `short_url_basename'
/var/www/discourse/app/models/upload.rb:115:in `short_url'
/var/www/discourse/lib/upload_markdown.rb:17:in `image_markdown'
/var/www/discourse/lib/upload_markdown.rb:10:in `to_markdown'
/var/www/discourse/lib/email/receiver.rb:1085:in `block in add_attachments'
/var/www/discourse/lib/email/receiver.rb:1060:in `each'
/var/www/discourse/lib/email/receiver.rb:1060:in `add_attachments'
/var/www/discourse/script/import_scripts/mbox/importer.rb:137:in `format_raw'
/var/www/discourse/script/import_scripts/mbox/importer.rb:121:in `map_post'
/var/www/discourse/script/import_scripts/mbox/importer.rb:159:in `map_reply'
/var/www/discourse/script/import_scripts/mbox/importer.rb:105:in `block (2 levels) in import_posts'
/var/www/discourse/script/import_scripts/base.rb:491:in `block in create_posts'
/var/www/discourse/script/import_scripts/base.rb:490:in `each'
/var/www/discourse/script/import_scripts/base.rb:490:in `create_posts'
/var/www/discourse/script/import_scripts/mbox/importer.rb:97:in `block in import_posts'
/var/www/discourse/script/import_scripts/base.rb:870:in `block in batches'
/var/www/discourse/script/import_scripts/base.rb:869:in `loop'
/var/www/discourse/script/import_scripts/base.rb:869:in `batches'
/var/www/discourse/script/import_scripts/mbox/importer.rb:83:in `batches'
/var/www/discourse/script/import_scripts/mbox/importer.rb:91:in `import_posts'
/var/www/discourse/script/import_scripts/mbox/importer.rb:35:in `execute'
/var/www/discourse/script/import_scripts/base.rb:47:in `perform'
script/import_scripts/mbox.rb:16:in `\u003cmodule:Mbox\u003e'
script/import_scripts/mbox.rb:10:in `\u003cmodule:ImportScripts\u003e'
script/import_scripts/mbox.rb:9:in `\u003cmain\u003e'
944 / 2333 ( 40,5%) [399 Elemente/Min] Zuordnung des Beitrags fehlgeschlagen für 3A1D6C799D451B41BD0500303339622A023AA1@s-mail.integral-corp.com
undefinierte Methode „hex“ für nil:NilClass
/var/www/discourse/app/models/upload.rb:132:in `base62_sha1'
/var/www/discourse/app/models/upload.rb:386:in `short_url_basename'
/var/www/discourse/app/models/upload.rb:115:in `short_url'
/var/www/discourse/lib/upload_markdown.rb:17:in `image_markdown'
/var/www/discourse/lib/upload_markdown.rb:10:in `to_markdown'
/var/www/discourse/lib/email/receiver.rb:1085:in `block in add_attachments'
/var/www/discourse/lib/email/receiver.rb:1060:in `each'
/var/www/discourse/lib/email/receiver.rb:1060:in `add_attachments'
/var/www/discourse/script/import_scripts/mbox/importer.rb:137:in `format_raw'
/var/www/discourse/script/import_scripts/mbox/importer.rb:121:in `map_post'
/var/www/discourse/script/import_scripts/mbox/importer.rb:159:in `map_reply'
/var/www/discourse/script/import_scripts/mbox/importer.rb:105:in `block (2 levels) in import_posts'
/var/www/discourse/script/import_scripts/base.rb:491:in `block in create_posts'
/var/www/discourse/script/import_scripts/base.rb:490:in `each'
/var/www/discourse/script/import_scripts/base.rb:490:in `create_posts'
/var/www/discourse/script/import_scripts/mbox/importer.rb:97:in `block in import_posts'
/var/www/discourse/script/import_scripts/base.rb:870:in `block in batches'
/var/www/discourse/script/import_scripts/base.rb:869:in `loop'
/var/www/discourse/script/import_scripts/base.rb:869:in `batches'
/var/www/discourse/script/import_scripts/mbox/importer.rb:83:in `batches'
/var/www/discourse/script/import_scripts/mbox/importer.rb:91:in `import_posts'
/var/www/discourse/script/import_scripts/mbox/importer.rb:35:in `execute'
/var/www/discourse/script/import_scripts/base.rb:47:in `perform'
script/import_scripts/mbox.rb:16:in `\u003cmodule:Mbox\u003e'
script/import_scripts/mbox.rb:10:in `\u003cmodule:ImportScripts\u003e'
script/import_scripts/mbox.rb:9:in `\u003cmain\u003e'
1149 / 2333 ( 49,2%) [408 Elemente/Min] Zuordnung des Beitrags fehlgeschlagen für FF35EE5B30156244A4370DC859B7F650F50626@s-mail.integral-corp.com
undefinierte Methode „hex“ für nil:NilClass
/var/www/discourse/app/models/upload.rb:132:in `base62_sha1'
/var/www/discourse/app/models/upload.rb:386:in `short_url_basename'
/var/www/discourse/app/models/upload.rb:115:in `short_url'
/var/www/discourse/lib/upload_markdown.rb:17:in `image_markdown'
/var/www/discourse/lib/upload_markdown.rb:10:in `to_markdown'
/var/www/discourse/lib/email/receiver.rb:1085:in `block in add_attachments'
/var/www/discourse/lib/email/receiver.rb:1060:in `each'
/var/www/discourse/lib/email/receiver.rb:1060:in `add_attachments'
/var/www/discourse/script/import_scripts/mbox/importer.rb:137:in `format_raw'
/var/www/discourse/script/import_scripts/mbox/importer.rb:121:in `map_post'
/var/www/discourse/script/import_scripts/mbox/importer.rb:159:in `map_reply'
/var/www/discourse/script/import_scripts/mbox/importer.rb:105:in `block (2 levels) in import_posts'
/var/www/discourse/script/import_scripts/base.rb:491:in `block in create_posts'
/var/www/discourse/script/import_scripts/base.rb:490:in `each'
/var/www/discourse/script/import_scripts/base.rb:490:in `create_posts'
/var/www/discourse/script/import_scripts/mbox/importer.rb:97:in `block in import_posts'
/var/www/discourse/script/import_scripts/base.rb:870:in `block in batches'
/var/www/discourse/script/import_scripts/base.rb:869:in `loop'
/var/www/discourse/script/import_scripts/base.rb:869:in `batches'
/var/www/discourse/script/import_scripts/mbox/importer.rb:83:in `batches'
/var/www/discourse/script/import_scripts/mbox/importer.rb:91:in `import_posts'
/var/www/discourse/script/import_scripts/mbox/importer.rb:35:in `execute'
/var/www/discourse/script/import_scripts/base.rb:47:in `perform'
script/import_scripts/mbox.rb:16:in `\u003cmodule:Mbox\u003e'
script/import_scripts/mbox.rb:10:in `\u003cmodule:ImportScripts\u003e'
script/import_scripts/mbox.rb:9:in `\u003cmain\u003e'
2328 / 2333 ( 99,8%) [467 Elemente/Min]
Aktualisiere Themenstatus
Aktualisiere bumped_at bei Themen
Aktualisiere last_posted_at bei Benutzern
Aktualisiere last_seen_at bei Benutzern
Aktualisiere Anzahl der Antworten pro Thema...
70 / 70 (100,0%) [10745 Elemente/Min]
Aktualisiere first_post_created_at...
Aktualisiere post_count bei Benutzern...
Aktualisiere topic_count bei Benutzern...
Aktualisiere Benutzer der Themen
Aktualisiere Timings der Beiträge
Aktualisiere Benutzer der hervorgehobenen Themen
Aktualisiere hervorgehobene Themen in Kategorien
9 / 9 (100,0%) [2505 Elemente/Min] n]
Aktualisiere Anzahl der Themenantworten bei Benutzern
70 / 70 (100,0%) [9174 Elemente/Min] ]
Setze Themenzähler zurück
Fertig (00h 06min 58sek)
Also habe ich das einfach weiterlaufen lassen (ich werde mir die Fehler später ansehen), aber jetzt habe ich ein sehr großes Problem. Ich habe versucht, diese in einen Ordner namens „old-yahoo-group
Übrigens hatte ich eine ähnliche Erfahrung. Aus irgendeinem Grund ignorierte das Importskript die bereits von mir erstellte Kategorie, obwohl der Slug identisch war. Es hat jedoch eine neue Kategorie für mich erstellt, sodass ich kein Problem hatte. Ich habe einfach die von mir erstellte Kategorie gelöscht und die vom Skript erstellte Kategorie umbenannt.