Как включить всплывающее окно регистрации, когда новый пользователь, который еще не авторизовался, нажимает на категорию?
По умолчанию Discourse будет предлагать анонимным пользователям войти в систему через определённое время.
Возможно, стоит попробовать плагин Guest Gate Guest Gate (Sign Up Popup Plugin)
Обратите внимание на последние несколько сообщений.