Creo que los sitemaps resuelven el problema del rastreador. Inicié un tema diferente para discutir cómo aumentar la navegabilidad y la descubribilidad en este hilo: Easy ways to navigate and browse large categories? - #2 by Jagster
Hay cierto cruce con la capacidad de búsqueda, pero es ligeramente diferente.