Добавить «noindex» на страницы тегов

Поддержка продукта
6

Директива noindex передается как через заголовок ответа, так и в файле robots.txt:

➜  ~ curl https://meta.discourse.org/tag/planned -I -X GET
HTTP/2 200 
date: Tue, 09 Feb 2021 14:38:52 GMT
...
x-robots-tag: noindex
...

➜  ~ curl https://meta.discourse.org/u/Falco -I -X GET
HTTP/2 200 
date: Tue, 09 Feb 2021 14:39:38 GMT
...
x-robots-tag: noindex
...

https://meta.discourse.org/robots.txt

User-agent: *
...
Disallow: /u
Disallow: /my
Disallow: /tag
..."}