A tabela que armazena as visitas usa uma data simples, não um carimbo de tempo, então implementar uma tolerância de algumas horas não é viável.
Tudo depende do que sua comunidade deseja no final. Você pode desativar essa medalha e criar uma personalizada equivalente que seja acionada com menos dias, o que seria suficiente para cobrir esse período. Ou verificar usuários cujas lacunas entre visitas nunca ultrapassam 1 dia.