Проблема индексации Google (robots.txt)

Google сообщил мне об этой проблеме с моим форумом. Есть какие-то идеи, как её исправить?

Также в Discourse нет карты сайта. Я нашёл плагин для карты сайта, но мой вопрос к нему таков — карта сайта обновляется автоматически или мне нужно часто перезапускать плагин, чтобы «обновить» её?

Ссылка на форум:

Сколько страниц / URL-адресов затронуты этой проблемой?

7

:bell:

:downwards_button:

10 апр. 2020 г.

https://voskcointalk.com/u/greer

10 апр. 2020 г.

10 апр. 2020 г.

10 апр. 2020 г.

10 апр. 2020 г.

9 апр. 2020 г.

9 апр. 2020 г.

Да, страницы /u/ по умолчанию исключены из robots.txt. Считаете ли вы, что вы что-то упускаете, не индексируя профили пользователей?

Если ответ «да», вы можете переопределить файл robots.txt по адресу:

https://voskcointalk.com/admin/customize/robots

Есть ли причина, по которой они исключены по умолчанию? Что, если кто-то захочет легко найти конкретного пользователя на форуме через Google, например?

Гринер voskcointalk, если его профиль не индексируется, то это будет невозможно, кроме как если Google просто даст ссылку на его тему, после чего пользователь перейдет непосредственно к ней?

На странице профиля в представлении для краулеров отображается только биография, а спамеры обожают размещать там мусор. Гораздо лучше полностью заблокировать краулинг, чтобы предотвратить ассоциацию такого мусора с сайтом.

Также у Discourse нет карты сайта. Я нашел плагин для карты сайта, но мой вопрос по этому поводу: карта сайта обновляется постоянно, или мне нужно часто перезапускать плагин, чтобы «обновить» карту сайта?

Вам знакома эта информация? Спасибо за предыдущий ответ.

Обновляется автоматически.

Избежание блокировки WAF: (http.request.uri.path eq "/basic-info.json" and http.request.uri.path eq "/posts(/[0-9]+)?") Игнорировать всё.