それは可能です。RSS プラグインを使用して RSS フィードを利用できます。その際、以下のような形式で入力してください。
https://www.youtube.com/feeds/videos.xml?channel_id=YOUR_CHANNEL
例えば、チャンネル URL が https://m.youtube.com/channel/UCnCikd0s4i9KoDtaHPlK-JA の場合、UCnCikd0s4i9KoDtaHPlK-JA を抜き取り、上記のリンクの「YOUR_CHANNEL」の部分に代入します。その後、上記のリンク先の指示に従って設定を進めると、RSS が開始されます。