É mais ou menos o que eu faço; já postei algo sobre isso em tópicos relacionados aqui em algum lugar.
Um post gerado ou processado por IA sempre tem marcas que o entregam.
Nós analisamos os posts de novos tópicos de usuários com baixo nível de confiança através de um agente que os sinaliza como possivelmente gerados por IA ou não. O usuário recebe uma mensagem educada do bot explicando o motivo e sugerindo o que ele deve fazer a respeito, enquanto nós podemos tanto reverter o sinalização quanto descartar o post.
Funciona, mas a realidade é uma onda de pessoas que apenas copiam e colam uma conversa no fórum, o que não é desejado.
Isso apenas resulta em uma parede de palavras resumida por uma IA, com os humanos se tornando meros intermediários.
É melhor ter uma política de tolerância zero, com exceção de problemas de idioma, mas, com a tradução automática, isso não é mais necessário. As políticas também precisam ser visíveis; se essa moderação acontecer nos bastidores, você perde a percepção do que está acontecendo.