На моём форуме есть категории, доступ к которым требует определённого уровня владения языком.
Google пытается их просканировать и получает ошибку. Нужно ли автоматически исключать их из robots.txt?
Откуда Google взял эти ссылки? Появляются ли эти темы в карте сайта?
Хм, отличный вопрос. Я вижу, что канонический URL для тем не содержит category_id, поэтому его нельзя легко отфильтровать. Если предположить, что его нет в картах сайта, и Google находит ссылку где-то ещё, то простого способа заблокировать его нет, если только не включить каждый отдельный URL в robots.txt, что не является разумным подходом.