Seria possível ter uma API para outro banco de dados com seus próprios tópicos, posts, pesquisa e integrá-la ao Discourse para que eu possa usar o Discourse como front-end e o outro banco de dados como back-end?
Não.
Pense em importar seus dados.
É possível importar mais de 500 GB? Ou existe um limite de tamanho?
Não, não há limite de tamanho.