¡Gracias por la sugerencia! Acabo de agregar una configuración, giphy_size_variant, que te permitirá usar las variantes reducidas de giphy… su API proporciona versiones de 5 MB, 2 MB o 200 KB (más detalles de su parte en Docs | GIPHY Developers)
Esto no filtra los gifs devueltos, lo que puede ser un poco complicado (hay que procesar cada resultado, podría terminar con 0 resultados, complica cargar más al desplazarse, etc.), pero esto facilitará tener cierto control sobre el tamaño del archivo.