다른 사이트에서 뉴스를 스크레이핑하는 플러그인

안녕하세요,

다른 사이트에서 뉴스를 스크랩할 수 있는 플러그인이 있나요?

여기에 있습니다: News Plugin 📰

RSS 피드를 사용합니다

Discourse RSS 폴링 플러그인 설정을 사용하면 블로그, 유튜브 채널 및 플레이리스트 등 다양한 사이트에서 콘텐츠를 스크래핑하여, 콘텐츠가 게시된 지 몇 분 만에 자동으로 새 주제를 생성할 수 있습니다.

플러그인을 설치했고, 아래 가이드를 따랐습니다.

BleepingComputer 사이트에서 RSS가 정상적으로 작동하는지 테스트하기 위해 3개의 섹션을 설정했습니다.

1번째 카테고리 RSS 소스
News in the Security category
카테고리 필터: 없음.
사용자명 선택; 그리고 RSS를 게시할 카테고리 선택.

2번째 카테고리 RSS 소스
BleepingComputer
카테고리 필터: security
사용자명 선택; 그리고 RSS를 게시할 카테고리 선택.

또 다른 사이트의 RSS도 사용했습니다.

darkreading
카테고리 필터: vulnerabilities-threats
사용자명 선택; 그리고 RSS를 게시할 카테고리 선택.

하지만 제 환경에서는 아무것도 작동하지 않습니다 ??

Sidekiq에서 프로세스를 실행했나요? 아니라면 관리자 설정에 따라 시간이 좀 걸릴 수 있습니다. 또한 로그에서 오류가 있는지 확인해 보세요.

RSS URL을 사용해야 한다는 점도 꼭 확인해야 합니다. 해당 URL을 열어 보면 RSS가 아닌 것 같습니다. 또한 가져온 주제를 기본적으로 비공개로 설정하는 옵션도 있습니다.

죄송합니다, 그 부분을 놓쳤네요. 로그에 이런 내용이 표시됩니다

지금 제3의 RSS(darkreading.com)만 게시물을 시작하는 데 작동하고 있으며, 100개 이상의 게시물이 꽤 잘 올라오고 있지만, 모든 게시물이 다음과 같은 형태를 띠고 있습니다.

값:

https://www.darkreading.com/rss.xml
category filter: vulnerabilities-threats
username selected; and category to post rss selected.

이미지가 포함된 전체 게시물을 포함하려면 어떻게 해야 하나요?

@f1r4s님, @Jagster님, 여기서는 정중하게 대화해 주세요.

중요한 보안 뉴스를 모니터링하려는 내부 커뮤니티와 같이 다른 사이트의 콘텐츠를 가져오는 데 정당한 용도가 있는 경우가 있기는 하지만, 우리는 저작권 침해는 용인하지 않습니다.

Discourse 커뮤니티 소유자는 웹상의 다른 사이트와 마찬가지로 모든 관련 법률 및 호스팅 서비스 약관에 따라 사이트를 운영할 책임이 있습니다.

4개의 좋아요

embed truncate 사이트 설정을 토글해 보세요.

일부 사이트는 이상한 RSS 마크업을 사용하므로, 깨진 부분은 수동으로 디버깅해야 합니다.

저는 RSS를 두 번째로 사용하는 것을 권장했지만, 스크래핑 시 이미지들이 깨져 있습니다.