منتداي خاص، ولا أريد فهرسته. أريد أيضًا حذف الفهارس التي تم إنشاؤها مسبقًا.
تم منع الزحف باستخدام إعدادات robots.txt أدناه.
User-agent: *
Disallow: /
ولكن كيف يمكنني إزالة فهرس موجود؟
هل يتوقف الزحف ويتم إزالته تلقائيًا بمرور الوقت؟ أم يجب أن أضيف <meta name="robots" content="noindex"> هذا الـ html إلى الوسم؟