About 1/3 of our traffic is from crawlers (about 250K last month). Is there a way to block these but allow Google’s crawlers?
Теперь это можно сделать через настройки сайта: найдите раздел «crawler», а именно «blocked crawler user agents». Также существует «allowed crawler user agents», если вы хотите быть очень строгими и разрешить только конкретный краулер, запретив все остальные.
12 лайков