Я думаю, что карта сайта решает проблему с краулером. Я создал отдельную тему, чтобы обсудить, как повысить удобство навигации и обнаруживаемость в этой ветке: Easy ways to navigate and browse large categories? - #2 by Jagster
Здесь есть некоторое пересечение с поисковой оптимизацией, но это немного разные вещи.