Действительно, воспроизвести проблему только по тегу не удалось.
Я допустил небольшую ошибку в своём первом сообщении:
Tag.find_by_name регистронезависим (хорошо), а Tag.find_by(name: ) регистрозависим (плохо).
Это связано с тем, что Дэвид уже исправил это для тегов 7 лет назад, переопределив метод find_by_name.
Для TagGroup это исправление так и не было применено.