AI의 등장과 로컬 개발 머신에서 대규모 데이터셋이 필요한 점을 고려하여, Discourse 포럼의 모든 공개 (익명 사용자도 볼 수 있는) 데이터의 "사용 가능"한 사본을 가져오는 간단한 패턴을 정리했습니다.
문서는 다음과 같은 곳에서 최신 상태로 유지됩니다:
### Public Data Dump for you forum
This repo attempts to establish a pattern for a public data dump. It includes 2 data explorer queries you can use to export all your public data.
Public data is defined as forum topics and posts that anonymous users can access.
### How to use this?
First you need to define 2 queries using data explorer:
1. Topic query: [here](topic_query.sql)
2. Post query: [here](post_query.sql)
Once defined note the data explorer query ids as specified in the URL
Next, define an API key with rights to run the 2 queries.
### config.json
Create a [config.json](config.json.sample) specifying the domain of your discourse site, api key and data explorer query ids.
This file has been truncated. show original
A tool to import all public posts on discourse
왜 이것이 필요한가요?
수많은 토픽이 포함된 로컬 데이터베이스가 필요합니다.
시스템에 개인 데이터가 전혀 없는 상태를 원합니다.
이것은 아직 매우 초기 단계이지만, 초기 실험에는 사용 가능하며 매우 풍부한 로컬 환경을 제공합니다.
이 문서는 버전 관리되고 있습니다. 변경 사항을 github에서 제안해 주세요.
21개의 좋아요
bigkid
(Manuel Pueyo)
5월 13, 2025, 8:06오전
2
안녕하세요, 이 작업을 해주셔서 감사합니다. 저는 Discourse API에 대해 아직 잘 모르지만, 한번 시도해 보고 싶습니다. README 파일을 보면 topic_query와 post_query가 이 저장소의 핵심 문서인 것 같습니다. 이 파일들을 커스터마이즈하여 원하는 덤프 형식에 맞게 수정할 수 있는지 아시나요? 예를 들어, 특정 카테고리나 태그의 주제만 덤프하고 싶습니다. 감사합니다.