Какой лучший способ создать пайплайн для публикации скрапленных данных в категории Discourse с кастомными темами на основе вкладок?

Это был пример. Вы можете либо преобразовать свои спаршенные данные в RSS-канал, либо модифицировать плагин для чтения любого формата, который вы хотите использовать.

Я бы, вероятно, написал скрейпер на Ruby и интегрировал его в плагин.

Или, возможно, использовать Use the Discourse API ruby gem, разместить это в действии GitHub и настроить автоматическую отправку данных. Я планирую сделать это для клиента, который использует хостинг и не может использовать пользовательский плагин.