PR только что был слит: 
Если вы обновитесь до последней версии с проходящими тестами, вы сможете настроить robots.txt в разделе /admin/customize/robots. Эта страница не связана ни с чем в интерфейсе; вам нужно будет вручную скопировать и вставить URL в адресную строку браузера.
Примечание: если вы переопределите файл, любые последующие изменения настроек сайта, влияющие на robots.txt (например, whitelisted crawler user agents и т. д.), не будут применены к файлу (настройки сохранятся корректно, но изменения не отразятся в robots.txt). Вы можете восстановить файл до версии по умолчанию, и настройки сайта снова начнут применяться к нему.
Если существуют переопределения, и администратор открывает файл по адресу /robots.txt, он увидит комментарий в верхней части, указывающий на наличие переопределений, со ссылками, где можно изменить файл или сбросить его до версии по умолчанию.