Se na aba User Agents do Web Crawler
Eu tiver o nome do bot, é exatamente isso que devo inserir nas opções para garantir que o bot seja bloqueado, ou devo usar outro nome?
Por exemplo: MBCrawler/1.0 (https://monitorbacklinks.com/robot)
MBCrawler/1.0, a linha inteira ou talvez qualquer palavra que contenha o nome desse bot?
//
2Q
E, a propósito, você está bloqueando esses bots ou não? Li opiniões diferentes sobre o assunto. Talvez não haja motivo para se preocupar com qualquer bot.
Mas, se for assim, por que o Ahrefs é bloqueado por padrão, etc.? Qual é o propósito disso?