Wenn ich im Reiter Web Crawler User Agents den Namen des Bots habe, muss ich dann genau diesen Namen in den Optionen eingeben, um sicherzustellen, dass der Bot blockiert wird, oder einen anderen Namen?
Zum Beispiel: MBCrawler/1.0 (https://monitorbacklinks.com/robot)
MBCrawler/1.0, die gesamte Zeile oder vielleicht jedes Wort, das den Namen dieses Bots enthält?
//
2Q
Übrigens: Blockierst du diese Bots oder nicht? Ich habe nämlich unterschiedliche Meinungen dazu gelesen. Vielleicht lohnt es sich gar nicht, sich um irgendeinen Bot Sorgen zu machen.
Aber wenn doch, warum ist Ahrefs standardmäßig blockiert usw.? Was ist der Zweck davon?