Qual a melhor maneira de criar um pipeline para postar dados raspados em categorias do Discourse com temas personalizados baseados em abas?

Era um exemplo. Você poderia transformar seus dados extraídos em um feed RSS ou modificar o plugin para ler qualquer formato que você queira colocar nele.

O que eu provavelmente faria seria escrever o scraper em ruby e integrá-lo a um plugin.

Ou talvez Use the Discourse API ruby gem e colocá-lo em uma Github action e fazer com que ele envie os dados. Estou planejando fazer isso para um cliente que está hospedado e não pode usar um plugin personalizado.