La verdad es que no tengo la menor idea de lo que quieres hacer. Pensé que sí, pero cada vez es más confuso.
Quieres “empezar desde cero” pero también una versión “reducida”. Quieres construirlo fácilmente en cualquier distribución y hacerlo más simple al mismo tiempo. Y citas un artículo que habla de lo difícil que es implementar aplicaciones en Linux Desktop, que discute los tiempos de inicio y los controladores gráficos, todo lo cual me parece bastante irrelevante.
Por ahora me ciño a mi primera respuesta (que hasta ahora ha sido ignorada)
y lo que dice @pfaffman es muy cierto, de hecho