他のサイトからニュースをスクレイピングするプラグイン

こんにちは。

他のサイトからニュースをスクレイピングするプラグインはありますか?

「いいね!」 1

There’s: News Plugin 📰

Which uses RSS feeds

「いいね!」 4

Configure the Discourse RSS Polling Plugin は、ブログ、YouTubeチャンネル、プレイリストなど、多くのサイトをスクレイピングし、コンテンツが投稿されてからわずか数分後に新しいトピックを自動的に作成できます。

「いいね!」 5

プラグインをインストールし、以下のガイドに従いました。
bleeping security サイトからの RSS が機能するかどうかをテストするために 3 つのセクションを配置しました。

最初のカテゴリ RSS ソース
News in the Security category
カテゴリフィルター: なし。
ユーザー名を選択し、RSS を投稿するカテゴリを選択しました。

2 番目のカテゴリ RSS ソース
BleepingComputer
カテゴリフィルター: security
ユーザー名を選択し、RSS を投稿するカテゴリを選択しました。

別のサイトの RSS も使用しました。

darkreading
カテゴリフィルター: vulnerabilities-threats
ユーザー名を選択し、RSS を投稿するカテゴリを選択しました。

しかし、何も機能しません??

「いいね!」 1

プロセスを実行するために sidekiq に行きましたか?もしそうしなければ、管理者設定によっては時間がかかります。エラーがないかログも確認してください。

また、rss url を使用していることを確認する必要があります。これらの url を開いても、rss のようには見えません。インポートされたトピックをデフォルトで非表示にする設定もあります。

すみません、その部分を見落としていました。ログには以下が表示されます。

現在、投稿を開始するために機能しているのは3番目のRSS(darkreading.com)のみです。100件以上の投稿があり、かなり良いのですが、すべての投稿がこのようになっています。

value:

https://www.darkreading.com/rss.xml
category filter: vulnerabilities-threats
username selected; and category to post rss selected.

画像を含めて投稿全体を含めるにはどうすればよいですか?

@f1r4s および @Jagster、ここでは丁寧なやり取りをお願いします。

他のサイトからコンテンツを取得したいという正当な理由(例えば、重要なセキュリティニュースを監視したい内部コミュニティなど)がある一方で、著作権侵害は容認できません。

Discourseコミュニティのオーナーは、ウェブ上の他のサイトと同様に、すべての関連法規およびホストの利用規約に従ってサイトを運営する責任があります。

「いいね!」 4

クールダウンのため、一時的にこれを終了します。

embed truncate サイト設定を切り替えてみてください。

一部のサイトではRSSのマークアップが特殊なため、壊れたものを手動でデバッグする必要があります。

「いいね!」 2

このトピックは21時間後に自動的に開かれました。

スクレイピングで画像が壊れるRSSの使用を推奨しましたが。