About 1/3 of our traffic is from crawlers (about 250K last month). Is there a way to block these but allow Google’s crawlers?
4 „Gefällt mir“
Dies ist nun über die Site-Einstellungen möglich. Suchen Sie nach „crawler“, genauer gesagt nach „blocked crawler user agents“. Es gibt auch „allowed crawler user agents“, falls Sie sehr streng sein und alles außer einem bestimmten Crawler blockieren möchten.
12 „Gefällt mir“