Isso é uma coisa intencional. 
Você também deve ver um semelhante aqui no Meta no tema Claro padrão. Ele serve para mostrar em qual tópico você esteve por último e, em seguida, desaparece assim que você muda de página/entra em outro tópico.
É provável que possa ser ocultado com um pouco de CSS, mas quando tento inspecioná-lo no meu navegador, ele desaparece rápido demais para que eu possa identificá-lo. 
Vou ver o que consigo descobrir.