Obrigado pela sugestão! Acabei de adicionar uma configuração, giphy_size_variant, que permitirá usar variantes de tamanho reduzido do Giphy… a API deles fornece versões de 5MB, 2MB ou 200kB (mais detalhes deles em Docs | GIPHY Developers)
Isso não filtra os GIFs retornados, o que pode ser um pouco complicado (precisa processar cada resultado, pode acabar com 0 resultados, complica carregar mais ao rolar, etc) — mas isso tornará mais fácil ter algum controle sobre o tamanho do arquivo.