Ich denke, Sitemaps lösen das Crawler-Problem. Ich habe ein anderes Thema gestartet, um zu diskutieren, wie die Durchsuchbarkeit und Auffindbarkeit in diesem Thread erhöht werden kann: Easy ways to navigate and browse large categories? - #2 by Jagster
Es gibt eine gewisse Überschneidung mit der Suchbarkeit, aber es ist leicht unterschiedlich.