Только что переключился с private на public, заблокировано robots.txt

Поддержка
1

Я только что открыл наш форум для индексации Google и использовал Search Console для индексации нашего сайта. (Не уверен, есть ли ещё что-то, что мне стоит сделать ¯\_(ツ)_/¯ (есть какие-то предложения?)

Вот обратная связь, которую я получил от Google Search Console:

image
image940×854 54.8 KB

2

Проверили ли вы файл robots.txt?

3

Я не уверен, что именно нужно проверять в файле robots.txt или где его найти.

Я убедился, что этот флажок отмечен в моих настройках администратора…

image
image758×192 22.6 KB

4

Не знаю, имеет ли это значение в контексте моего вопроса, но стоит отметить, что я использую SSO и WordPress в качестве провайдера. Может ли это что-то изменить?

Мой сайт: pickleballist.com
Мой форум: forums.pickleballist.com

5

Ваш файл robots.txt находится в корне каждого сайта, то есть:

https://pickleballist.com/robots.txt
https://forums.pickleballist.com/robots.txt

Ничего в этих файлах не блокирует Google. Вы можете проверить это самостоятельно с помощью сторонних сканеров robots.txt, например этого инструмента от Ryte.

Это подтверждает, что robots.txt не блокирует Googlebot:

RYTE Robots Test
RYTE Robots Test2910×1546 290 KB

У Google также есть тестер в консоли поиска.

6

User-agent: *
Disallow:

Удалите ссылку для блокировки в файле robots.txt

7

Поскольку ваш форум долгое время требовал авторизации для входа и/или блокировал индексацию, поисковому роботу потребуется время, чтобы снова проверить файл robots.txt и обнаружить, что блокировка снята. Где-то там, вероятно, есть кнопка для запроса повторного сканирования, либо вы можете просто подождать.

8

Да, вы правы, что это уже несколько месяцев помечено как “login_required”. Надеемся, что скоро нас проиндексируют!