Управление веб-краулерами для сайта

Причин может быть несколько, но у Googlebot есть свой лимит краулинга, и когда карты сайта являются основным способом обнаружения ссылок, он никогда не достигает внутренних ссылок, когда исчерпан ежедневный/еженедельный/ежемесячный лимит.

А на форумах внутренние ссылки важны для пользователей, а не для Google.

Но я не знаю, видит ли Googlebot внутренние ссылки. Хотя, должен видеть.

1 лайк