¿Cuál es la mejor forma de construir una pipeline para publicar datos recopilados en categorías de Discourse con temas personalizados basados en pestañas?

Era un ejemplo. Podrías convertir tus datos extraídos en un feed RSS o modificar el plugin para que lea el formato que desees.

Lo que probablemente haría sería escribir el scraper en Ruby e integrarlo en un plugin.

O tal vez Use the Discourse API ruby gem y ponerlo en una Github action y que envíe los datos. Planeo hacer eso para un cliente que está alojado y no puede usar un plugin personalizado.