من الحقائق أن محركات البحث والروبوتات يمكنها فهرسة المواضيع في فئة على Discourse. كيف يمكن منع Google و Bing و Yandex، إلخ، من فهرسة مواضيع فئة معينة؟
نتطلع إلى دعم خبراء Discourse.
إعجاب واحد (1)
يمكنك تغيير إذن الفئة إلى TL0 بحيث يراها المستخدمون المسجلون فقط، وسيؤدي ذلك أيضًا إلى حظر الروبوتات.
6 إعجابات
إذا كان ما اقترحه دون يعمل، فاستخدمه. إنها الطريقة الوحيدة المؤكدة بنسبة 100٪. ولكن إذا كان يجب أن يكون هذا المنتدى مفتوحًا للزوار العشوائيين، فلا يمكنك استخدام TL0. بالتأكيد يمكنك استخدام User-agent: * Disallow: / أو ما شابه ذلك، ولكن في بعض الأحيان يتم احترام ذلك وفي بعض الأحيان لا يتم احترامه. إذا شارك شخص ما رابطًا باستخدام Gmail، فستقوم Google بفهرسته بغض النظر عما لديك في robots.txt أو meta.
وهذه الحيل فعالة فقط إذا كان الروبوت يطيعها. معظم روبوتات الزحف لتحسين محركات البحث لا تتبعها. ثم هناك عدد لا يحصى من الروبوتات المارقة و script kiddies الذين يحاولون فعل شيء ما.
لذلك، ما عليك القيام به يعتمد على مستوى الخصوصية الذي تبحث عنه.
4 إعجابات