Ah, certo. O not in não funcionou como eu imaginei inicialmente. Ele basicamente não faz nada. Acredito que o que precisa ser feito é primeiro uma consulta que obtenha usuários que não estão em nenhum grupo e, em seguida, fazer um join com a outra parte da consulta.
Desculpe.