Eu acho que os sitemaps resolvem o problema do rastreador. Comecei um tópico diferente para discutir como aumentar a navegabilidade e a descoberta neste tópico: Easy ways to navigate and browse large categories? - #2 by Jagster
Há um certo cruzamento com a capacidade de busca, mas é ligeiramente diferente.