لذا، عند الدخول إلى /admin/customize/robots
باستخدام إضافة خريطة الموقع، لاحظت هذا في الأسفل. إذا أردت السماح لـ Google بالوصول إلى جميع المنشورات التي تتطلب تسجيل الدخول لعرضها، فكيف يمكن تعديل هذا الجزء؟
أم أنه يكفي استخدام عبارات Allow لجميع الفئات؟
أنا أركز حصرًا على تحسين محركات البحث (SEO)، حيث قمت مؤخرًا بتغيير رؤية بعض الفئات وأود أن تظل Google قادرة على زحف هذه الصفحات.
<%- if SiteSetting.sitemap_enabled? %>
<%- unless SiteSetting.login_required? %>
Sitemap: <%= request.protocol %><%= request.host_with_port %>/sitemap.xml
<% end %>
<% end %>
المنتدى عام، لكن بعض الأقسام ليست كذلك. ما أحاول تحقيقه هو إجبار المستخدمين على تسجيل الدخول لعرض الأقسام، مع السماح لمحركات البحث مثل جوجل بعرض الصفحات وفهرستها.
قرأت عبر الإنترنت أنه يمكن تحقيق ذلك باستخدام ملف robots من خلال أمر Allow:، لكن المثال الذي رأيتَه أظهر فقط كيفية السماح بصفحة معينة وليس قسمًا كاملًا.
ليس من الممكن ذلك. تتطلب الفئات غير العامة تسجيل دخول للوصول إليها. ولا يمتلك زاحف الويب الخاص بـ Google تسجيل دخول (فهو مجهول الهوية). وبالتالي، لا يمكن لـ Google رؤية الفئة أو أي من محتوياتها.
كإضافة، إذا كان بإمكان Google الوصول إلى المحتوى دون تسجيل دخول، فإن المستخدمين ذوي المعرفة التقنية القادرة على ذلك يمكنهم ذلك أيضًا.