Por padrão, o arquivo robots.txt contém a seguinte entrada:
User-agent: *
# ...
Disallow: /u
Essa configuração bloqueia a imagem para os cartões do Twitter. A verificação do cartão de vários fóruns no validador do Twitter não exibe o logotipo e mostra o seguinte aviso:
A URL da imagem forum.[…].org/uploads/[…].png especificada pela meta tag ‘twitter:image’ pode estar restrita pelo arquivo robots.txt do site, o que impedirá que o Twitter a recupere.
O problema é que o caminho /uploads também começa com um u e, portanto, é correspondido pela regra do robots.txt.
Sei que o arquivo robots.txt pode ser sobrescrito, mas acho que seria bom alterar o padrão. Infelizmente, não entendo o código o suficiente para criar um pull request.
Ao sobrescrever, lembre-se de que o Twitter verifica o arquivo robots.txt com menos frequência do que o HTML real da página, então pode levar algumas horas para que a alteração seja detectada.
Sim, pelo menos isso faz os cards do Twitter funcionarem. Espero que não cause efeitos colaterais indesejados.
Você pode abrir a configuração “permitir indexação no robots.txt” e clicar em “substituir robots.txt”. Em seguida, localize a linha Disallow: /u e adicione uma barra no final, para que fique Disallow: /u/. O Twitter levará algumas horas para detectar a alteração.
Parece que este foi um problema no passado (veja esta discussão) e depois foi reintroduzido.
Neste commit, as regras de robots com barra foram removidas porque se acreditava que não eram mais necessárias. Mais tarde, neste commit, elas foram reintroduzidas, mas sem a barra no final.
