Esto es más una evasiva que una ayuda real, pero aquí tienes un par de ideas.
Primero, ahora que sabes qué índice está roto, puedes reindexar solo ese y no todos los índices de la base de datos. Podrías pedir ayuda en https://ask.discourse.com/ para saber cómo hacerlo.
Corrupt indexes in PG12, how do I fix? - #11 by sam también tiene algunas pistas.
Dado que no te importa mucho el seguimiento de este enlace (y supongo que de todos modos se ha creado uno nuevo), simplemente eliminar los duplicados está bien.
Debería haber una forma de hacer una consulta que encuentre los duplicados para que puedas eliminarlos todos a la vez.