우리는 다양한 종류의 스크레이핑된 데이터 콘텐츠를 각각 다른 탭으로 표시하도록 제작한 디스코urs 커스텀 테마를 업데이트할 수 있는 자동화 파이프라인을 구축하고자 합니다.
소스(RSS 피드, 웹사이트 등)에서 콘텐츠를 스크레이핑합니다.
메타데이터(제목, 출처, 유형(뉴스/컨퍼런스), URL, 날짜)로 데이터를 구조화합니다.
디스코urs API를 사용하여:
올바른 카테고리에 주제를 생성하고 커스텀 테마의 특정 탭 내 콘텐츠를 업데이트합니다.
관련 태그를 추가하여(올바른 탭 아래에 나타나도록) 처리합니다.
스크랩 데이터를 저장하고 렌더링하는 가장 좋은 방법은 무엇인가요?
로컬 데이터베이스 또는 외부 CMS를 사용하여 콘텐츠를 저장하고 일정 관리하거나
YAML/JSON 파일(정적 소스)을 사용하는 것
pfaffman
3월 26, 2025, 9:40오후
3
RSS Polling 을 참고해 보시는 것도 좋습니다.
pfaffman님, 플러그인 추천 감사합니다. 하지만 저희는 RSS 피드 데이터를 가지고 있지 않고, 스크래핑한 데이터를 독립적인 데이터베이스에 저장하고 있습니다. 이 플러그인을 사용하여 독립적인 데이터베이스에 연결하여 필요한 데이터를 가져오고 콘텐츠를 렌더링할 수 있을까요?
pfaffman
3월 28, 2025, 12:37오후
5
그것은 예시였습니다. 크롤링한 데이터를 RSS 피드로 만들거나, 원하는 형식으로 데이터를 저장하도록 플러그인을 수정할 수 있습니다.
저라면 아마 크롤러를 Ruby로 작성하고 플러그인에 통합할 것 같습니다.
아니면 Use the Discourse API ruby gem 을 사용해서 GitHub 액션에 넣고 데이터를 푸시하도록 하는 방법도 있습니다. 호스팅되어 있고 커스텀 플러그인을 사용할 수 없는 클라이언트를 위해 이 방법을 계획하고 있습니다.
제이, 감사합니다. 이미 파이썬으로 스크래퍼 개발을 완료했습니다. 이제 몽고DB에 저장된 이 스크랩 데이터를 어떻게 렌더링할지 평가하고 있습니다.