이 질문은 이 질문과 유사합니다: Does Discourse support export conversations as an organized bulk of data?
하지만 저희는 Discourse 사이트의 모든 대화에 NLP를 적용할 방법을 찾고 있습니다. 팀원 중 한 명이 백엔드에서 낮은 수준으로 작업하여, 예를 들어 테이블 없이 데이터베이스를 내보내는 방식으로 pg_dump --schema-only와 같은 도구를 사용해 이것이 가능할지라고 물었습니다. 제 동료의 의도를 완전히 이해하지는 못했지만, 여러분은 이해하실 수 있을 것 같아서 질문드립니다.
자체 호스팅을 사용하는 경우, 도움이 될 것이라고 생각하는 pg_dump 명령을 실행할 수 있습니다.
Data Explorer 플러그인을 사용하면 다양한 형식으로 데이터를 덤프할 수도 있습니다.
이 플러그인이 우리가 찾고 있는 대부분의 기능을 제공하는 것 같습니다! 감사합니다!
그래서 플러그인을 설치하고 (Superseded) What cool data explorer queries have you come up with? 만든 모든 쿼리를 살펴보았지만, 실제 대화 내용을 내보낼 수 있는 것은 없었습니다. 예를 들어, 활성 상위 100개 주제를 요청했는데, 주제 ID가 포함된 데이터베이스 항목(스크린샷 참조)은 받아볼 수 있지만 대화 내용은 없습니다. 이는 플러그인이 데이터베이스에서 데이터를 추출하는 용도만 있고, 대화 자체를 가져오지 않기 때문인가요? 만약 그렇다면, 플러그인을 통해 데이터베이스에서 가져온 주제 ID를 가진 대화들을 JSON 파일로 가져오는 방법이 있을까요?
SELECT * FROM posts where topic_id=425
이 쿼리를 실행하면 쿼리의 첫 번째 주제에 대한 게시글을 가져올 수 있습니다(이 폰으로 타이핑할 수 있다는 전제 하에).
하지만 JSON 형식의 데이터가 필요하다면 다음과 같은 방식으로 처리할 수 있습니다.
https://meta.discourse.org/t/dump-all-conversations-in-a-file-and-structured-data/202351.json
1번 옵션이 이해가 안 되는데, 혹시 텍스트에 오타가 있는 건가요? 해당 주제의 첫 번째 게시물만 받는다는 뜻인가요?
.json 확장자를 사용하는 2번 옵션과 관련하여, 주제 제목을 알아야 할 필요 없이 대화를 JSON 형식으로 가져올 수 있는 더 프로그래밍 방식의 대안 URL이 있을까요? topic_id나 다른 항목을 사용할 수 있는 URL이 있는지 궁금합니다.
SQL 쿼리를 시도해 보셨나요? 오류가 발생했나요? 수정: 확인해 보니, 해당 쿼리는 주제 안의 모든 게시물을 반환합니다.
주제 ID만 있으면 어떤 주제든 가져올 수 있습니다.
https://meta.discourse.org/t/-/202351.json
쿼리는 문제없었어요. 제가 실제로 어떤 데이터를 제공하는지에 대한 설명을 오해했었네요. 다시 확인해 주셔서 감사합니다. 정말 좋은 해결책들입니다.