По умолчанию файл robots.txt содержит следующую запись:
User-agent: *
# ...
Disallow: /u
Такая конфигурация блокирует изображение для карточек Twitter. Проверка карточек различных форумов в валидаторе Twitter не отображает логотип и выводит следующее предупреждение:
URL изображения forum.[…].org/uploads/[…].png, указанный в метатеге ‘twitter:image’, может быть ограничен файлом robots.txt сайта, что помешает Twitter загрузить его.
Проблема в том, что путь /uploads также начинается с буквы u, поэтому он подпадает под правило robots.txt.
Я знаю, что файл robots.txt можно переопределить, но считаю, что было бы хорошо изменить значение по умолчанию. К сожалению, я недостаточно хорошо понимаю код, чтобы создать запрос на внесение изменений (pull request).
При переопределении имейте в виду, что Twitter проверяет файл robots.txt реже, чем фактический HTML-код страницы, поэтому его обновление может занять несколько часов.
Да, по крайней мере это заставляет работать карточки Twitter. Надеюсь, это не вызовет непредвиденных побочных эффектов.
Вы можете открыть настройку «Разрешить индексацию в robots.txt» и нажать «Переопределить robots.txt». Затем найдите строку Disallow: /u и добавьте в конце косую черту, чтобы она стала Disallow: /u/. Twitterу потребуется несколько часов, чтобы отследить это изменение.
Похоже, что это была проблема в прошлом (см. этот тред), а затем она снова появилась.
В этом коммите правила robots с косой чертой были удалены, так как считалось, что они больше не нужны. Позже, в этом коммите, они были добавлены обратно, но уже без косой черты в конце.
