Ja, natürlich. Ich habe vergessen zu erwähnen, dass ich dieses Crawling-Management durchführe: Ich analysiere fast wöchentlich Crawler einzeln, um festzustellen, welcher die Website am meisten belastet, und blockiere sie dann einzeln.
Meine Sorge ist, dass das Hinzufügen so vieler Bots zur Blacklist die Leistung der Website beeinträchtigen könnte.
Daher dachte ich, dass es vielleicht besser wäre, anstatt jeden einzeln zu blockieren, die wesentlichen Bots auf eine Whitelist zu setzen und alle anderen zu blockieren. Aber … existieren überhaupt „essentielle Tracker"?
Ich habe im Forum nach einer Diskussion gesucht, die sich speziell mit essentiellen Crawlern befasst, konnte aber nichts finden. Falls Sie ein entsprechendes Thema kennen, teilen Sie mir dies bitte mit.