Parce que ces robots sont des « gouffres de ressources » qui apportent très peu de valeur aux sites par rapport à la quantité de ressources qu’ils consomment.
Bien sûr, vous pouvez personnaliser le fichier robots.txt de Discourse et les autoriser si vous le souhaitez ; mais nous bloquons ces robots sur nos sites bien avant la sortie de Discourse et nous les maintenons bloqués.
Note (Édité) :
J’ai oublié de mentionner que beaucoup de ces « gouffres de ressources » ne respectent pas robots.txt et doivent être bloqués au niveau de l’agent utilisateur HTTP. Nous bloquons ces « gouffres de ressources irrespectueux » avec mod_rewrite au niveau du proxy inverse, d’une manière générale (l’une des nombreuses bonnes raisons d’utiliser un proxy inverse, soit dit en passant).