كيف يعمل هذا فيما يتعلق بزحف الروبوتات للفهرسة؟
هل أنا على حق في القول بأنه نظرًا لأنه مجرد CSS، سيظل الروبوت قادرًا على فهرسة المعلومات الموجودة خلفه؟
يجب ألا تفهرس تلك الروبوتات على الإطلاق. إذا كان بإمكان الروبوتات القيام بذلك، فهو عيب تصميمي سيء للغاية يمكن أن يأتي بنتائج عكسية بسهولة.
نتائج البحث ليست مخصصة للإعلانات المجانية. نتائج البحث مخصصة للعثور على الأشياء من محتوى الويب. وسيعاقب جوجل بسرعة وبشدة إذا وجد محتوى مجانيًا مخصصًا للروبوتات فقط ويستهدف تجاوز المحتوى المجاني.
الخبر السار هو أن Discourse لا تفعل أشياء كهذه. إذا كانت الرؤية شيئًا آخر غير الجميع، فإن المحتوى محظور على الروبوتات أيضًا.