أصبح هذا ممكنًا الآن عبر إعدادات الموقع، ابحث عن “crawler”، وتحديدًا blocked crawler user agents. يوجد أيضًا allowed crawler user agents إذا كنت ترغب في أن تكون صارمًا للغاية وعدم السماح بأي شيء باستثناء crawler محدد.
12 إعجابًا