Не волнуйтесь, это реализовано в ядре: команда Discourse обновит его, и через несколько дней проблема будет решена. Нам останется только обновить наш Discourse.
Однако для самых нетерпеливых вы уже сейчас можете отредактировать файл robots.txt:
Steven
6
Связанные темы
| Тема | Ответов | Просм. | Активность | |
|---|---|---|---|---|
| Google changed how they process robots.txt in Discourse? | 20 | 1767 | 22.12.2020 | |
| I have indexed my site to google and get error “No: ‘noindex’ detected in ‘X-Robots-Tag’”. How to remove this header tag? | 4 | 1188 | 24.04.2025 | |
| Pages listed in the robots.txt are crawled and indexed by Google | 19 | 3344 | 30.07.2019 | |
| How to noindex all pages to keep them out of Google indexes | 8 | 2822 | 22.02.2024 | |
| Generic rules in "robots.txt" not picked up by Googlebot | 6 | 1024 | 02.04.2022 |