La tabla que almacena las visitas utiliza una fecha simple, no una marca de tiempo, por lo que no es factible implementar una tolerancia de unas pocas horas.
Todo depende de lo que tu comunidad desee finalmente. Podrías desactivar ese distintivo y crear uno personalizado equivalente que se active con menos días, de modo que sea suficiente para cubrir esos periodos. O bien, buscar usuarios cuyos intervalos entre visitas nunca superen 1 día.