Я знаком с несколькими попытками использовать Discourse исключительно как API и переписывать весь фронтенд, и все они заканчивались неудачей, так как люди недооценивают огромный размер нашего фронтенд-приложения. Кроме того, у нас нет версионированного API: хотя вы можете ориентироваться на нашу последнюю стабильную версию и создать своё приложение за несколько месяцев, вам придётся каждые шесть месяцев возвращаться и исправлять все проблемы совместимости с новой версией.
Как дизайнер в Discourse, я бы сказал, что создание совершенно нового фронтенда было бы неразумным и не стоило бы затраченных усилий. EmberJS, хоть и отличается, во многом похож на большинство фреймворков для фронтенда по принципу работы.
Сообщество EmberJS также довольно отзывчивое и активное. Я бы посоветовал потратить время, которое вы планировали уделить созданию нового фронтенда на NextJS, на изучение EmberJS
После этого вы будете знать два фреймворка И сможете создавать пользовательские темы и компоненты тем для форумов Discourse.
Если вам это подходит, я бы начал с ознакомления с этой популярной и полезной темой.