Dieser Beitrag von @codinghorror, How to block all crawlers but Google’s, gibt Informationen zum Blockieren und Zulassen von Bots. Das ist vielleicht das, wonach Sie suchen.
Wahrscheinlich, aber das verlinkte Thema oben ist vom Juli 2019. 
Dieser Beitrag von @codinghorror, How to block all crawlers but Google’s, gibt Informationen zum Blockieren und Zulassen von Bots. Das ist vielleicht das, wonach Sie suchen.
Wahrscheinlich, aber das verlinkte Thema oben ist vom Juli 2019.