안녕하세요,
이 메시지를 포함하고 있는 mbox 파일을 가져오는 과정에서
windows.txt (3.7 KB)
다음과 같이 표시됩니다:
아래와 같은 인코딩이 포함되어 있기 때문에 인코딩 문제일 가능성이 높습니다:
Content-Type: text/plain; charset=windows-1252; format=flowed
iso-8859-1과 같은 UTF-8이 아닌 다른 문자 인코딩을 가진 메시지는 정상적으로 가져와집니다.
script/import_scripts/mbox/support/indexer.rb부터 소스를 탐색하여 문제의 근본 원인을 파악해 보기 전에, 혹시 이 문제를 알고 계신 분이 계신가요? 이는 코드베이스가 아닌 환경적인 문제일 수도 있나요? 메일링 리스트 모드로 실행 중인 사용자가 이 인코딩으로 답장을 보낼 때에도 동일한 문제가 발생하는가요?
미리 감사드립니다 
간단한 테스트를 해보았는데 Email::Receiver는 정상적으로 작동하는 것 같습니다. 입력을 UTF-8로 변환합니다. 이후 인코딩이 왜 잘못될 수 있는지 이유를 찾을 수 없습니다.
[1] pry(main)> raw_email = File.read("/tmp/windows.txt");
[2] pry(main)> receiver = Email::Receiver.new(raw_email, convert_plaintext: true, skip_trimming: false);
[3] pry(main)> body = receiver.select_body;
[4] pry(main)> receiver.mail.charset
=> "windows-1252"
[5] pry(main)> body.first.encoding
=> #<Encoding:UTF-8>
[6] pry(main)> puts body.first;
cette réflexion me fait penser : y\-a\-il une obligation/raison \(en dehors du coup de maintenannce\) à avoir un même outil pour les 2 fonctionnalités \(interactions vs galerie\) ?
빠른 테스트를 해주셔서 감사합니다. 제가 직접 해보는 법을 몰랐습니다 가져오기 컨테이너에 뭔가 누락된 건 아닌가요? 여러분이 하신 내용을 재현해서 거기서부터 탐색해 보고 싶습니다. 만약 아무것도 찾지 못하면, 이 메일 하나만 포함된 받은편지함으로 mbox 가져오기 절차를 사용하여 문제를 재현하는 방법을 안내해 드리겠습니다.
컨테이너에서 rails console을 실행해 직접 사용해 볼 수 있습니다.
저도 동일한 결과를 얻었으니 문제는 거기에 있지 않습니다. 이것이 어떤 부수적인 영향인지 확인하기 위해, 이 메일만 가지고 새 카테고리로 가져오기를 실행해 보겠습니다.
2.5.4 설치 환경에서 제가 수행한 작업은 다음과 같습니다:
shared/standalone/import/settings.yml 파일은 수정하지 않았습니다.shared/standalone/import/data/index.db 파일을 삭제했습니다.shared/standalone/import/data/windows4/windows.mbox로 복사했습니다../launcher enter import 명령을 실행했습니다.root@forum:/var/www/discourse# import_mbox.sh
The mbox import is starting...
Loading existing groups...
Loading existing users...
Loading existing categories...
Loading existing posts...
Loading existing topics...
creating index
indexing files in /shared/import/data/windows4
indexing /shared/import/data/windows4/windows.mbox
indexing replies and users
creating categories
1 / 1 (100.0%) [8121278 items/min]
creating users
Skipping 1 already imported users
creating topics and posts
1 / 1 (100.0%) [219 items/min]
Updating topic status
Updating bumped_at on topics
Updating last posted at on users
Updating last seen at on users
Updating first_post_created_at...
Updating user post_count...
Updating user topic_count...
Updating topic users
Updating post timings
Updating featured topic users
Updating featured topics in categories
9 / 9 (100.0%) [1562 items/min] ]
Resetting topic counters
Done (00h 00min 09sec)
Email::Receiver가 가져오기(importer)에서 같은 방식으로 호출되지 않기 때문일까요?
Email::Receiver.new(row[‘raw_message’])
대신에
receiver = Email::Receiver.new(raw_email, convert_plaintext: true, skip_trimming: false);
또는 mbox 파일에서 메시지가 추출되는 방식에 차이가 있을 수 있습니다. 여기가 코드 경로가 다른 부분입니다. 위의 raw_email = File.read("/tmp/windows.mbox")는 정규 표현식으로 파일을 분할하는 방식과 다르며, 아마도 문제가 여기서 발생했을 가능성이 있습니다.
실제로, 이 라인 뒤에 File.open('/tmp/message.txt', 'w') { |file| file.write(receiver.raw_email) }를 추가하면 원본 파일과 다르다는 것을 알 수 있는 다음과 같은 파일이 생성됩니다.
message.txt (3.7 KB)
레일스 콘솔에서 실행할 경우에도 receiver.raw_email은 원본 파일과 다릅니다: UTF-8로 올바르게 인코딩되어 있습니다.
이러한 잘못된 수정이 어디서 일어나는지 아이디어가 있으신가요?
이메일 파일의 인코딩을 Ruby에 알리기 위해 파일을 읽은 후 .force_encoding을 호출하는 것이 필요할 수 있습니다.
초보자의 질문일 수 있어 죄송하지만, 코드베이스에 익숙하지 않습니다. 이런 변경이 어떤 부분에서 도움이 될지 제안해 주실 수 있을까요?
불필요한 변환이 발생하는 위치를 좁혀본 결과, 여기인 것 같습니다:
line.scrub가 원본과 다른 내용으로 변환되도록 하는 책임이 있습니다. 이 부분을 제거하면 정규 표현식이 다음과 같은 오류를 발생시킵니다:
...
1: from /var/www/discourse/script/import_scripts/mbox/support/indexer.rb:174:in `block in each_mail'
/var/www/discourse/script/import_scripts/mbox/support/indexer.rb:174:in `=~': invalid byte sequence in UTF-8 (ArgumentError)
실제로 UTF-8이 아니기 때문이죠
이 문제를 어떻게 해결해야 할지 아이디어가 있으신가요? 아마 메일 헤더에 대해 문자 집합(charset)만 먼저 확인하는 패스를 거치는 것이 좋을지도 모르겠습니다. 여기에는 달걀과 닭 문제(
과 
)가 있는 것 같습니다.
문제를 해결하는 완벽한 방법인 것 같아요.
