About 1/3 of our traffic is from crawlers (about 250K last month). Is there a way to block these but allow Google’s crawlers?
AI-generated summary
A user, Roy_ILGM, is seeking a way to block crawlers while allowing Google’s crawlers on their site, which receives a significant amount of crawler traffic. codinghorror suggests using site settings, where you can find options to block crawler user agents, or specify allowed crawler user agents to only permit specific crawlers, such as Google’s.
Теперь это можно сделать через настройки сайта: найдите раздел «crawler», а именно «blocked crawler user agents». Также существует «allowed crawler user agents», если вы хотите быть очень строгими и разрешить только конкретный краулер, запретив все остальные.
12 лайков