يوجد في منتدى فئات تتطلب مستوى معين من TL للقراءة.
تحاول Google الزحف إليها وتتلقى خطأ. هل يجب استبعاد هذه تلقائيًا بواسطة robots.txt؟
من أين حصلت جوجل على الروابط، هل تظهر هذه المواضيع في خريطة الموقع؟
هممم. سؤال رائع. أرى أن عنوان URL القياسي للمواضيع لا يحتوي على معرف الفئة (category_id) وبالتالي لا يمكن تصفيته بسهولة. بافتراض أنه ليس في خرائط الموقع، إذا عثرت جوجل على الرابط في مكان آخر، فلا يوجد حظر سهل إلا إذا قمت بتضمين كل عنوان URL فردي في robots، وهو نهج غير منطقي.