Parece quase idêntico ao que compartilhei em Cannot rebuild with Discourse AI. Embora ambos os logs de erro compartilhem um problema comum com a biblioteca tokenizers causando a falha do comando rake db:migrate, seu erro inclui um erro adicional de inicialização do servidor Redis que não está presente no meu.
@JammyDodger, como compartilhei em Cannot rebuild with Discourse AI, é definitivamente o plugin de IA.