Estava jogando com algumas consultas usando group_users, topic_users e topics quando notei um campo em topics chamado moderator_posts_count e fiquei animado!!!
Tentei
SELECT topics.id as topic_id
FROM topics
WHERE topics.moderator_posts_count < 1
não tive tanta sorte, houve muita diferença entre os resultados que obtive e os da consulta mais complexa.