O PR foi mesclado: 
Se você atualizar para a versão mais recente com testes aprovados, poderá personalizar o robots.txt em /admin/customize/robots. A página não está vinculada em nenhum lugar da interface do usuário; você precisará copiar e colar manualmente a URL no seu navegador.
Nota: se você substituir o arquivo, quaisquer alterações posteriores nas configurações do site que modifiquem o robots.txt (por exemplo, agentes de usuário de rastreadores permitidos etc.) não serão aplicadas ao arquivo (as configurações serão salvas corretamente, mas as alterações não refletirão no robots.txt). Você pode restaurar a versão padrão e as configurações do site voltarão a ser aplicadas ao arquivo.
Se houver substituições e um administrador visualizar o arquivo em /robots.txt, ele verá um comentário no topo informando que há substituições e links para onde podem modificar o arquivo ou redefinir para a versão padrão.