Итак, переходя в /admin/customize/robots
Используя плагин карты сайта, я заметил это внизу. Если я хочу разрешить Google доступ ко всем постам, требующим входа для просмотра, как нужно изменить эту часть?
Или мне просто использовать директивы Allow для всех категорий?
Меня интересует исключительно SEO, так как я недавно изменил видимость некоторых категорий и хотел бы, чтобы Google продолжал сканировать эти страницы.
<%- if SiteSetting.sitemap_enabled? %>
<%- unless SiteSetting.login_required? %>
Sitemap: <%= request.protocol %><%= request.host_with_port %>/sitemap.xml
<% end %>
<% end %>
Форум является публичным. Некоторые категории — нет. Я пытаюсь добиться того, чтобы пользователи были вынуждены войти в систему для просмотра категорий, но при этом Google мог видеть страницы и индексировать их.
Я читал в интернете о файле robots, где это можно реализовать с помощью Allow:, но пример показывал только как разрешить доступ к конкретной странице, а не ко всей категории.
Это невозможно. Для доступа к непубличным категориям требуется вход в систему. Поисковый робот Google не имеет учётной записи (он анонимен). Следовательно, Google не может увидеть категорию или её содержимое.
Кстати, если бы Google мог получать доступ к контенту без входа, то и технически подкованные пользователи также могли бы это сделать.
Понял. Есть ли способ принудительно показывать всплывающее окно с выбором категории для входа в зависимости от категории? Имеется в виду возможность нанять кого-то для создания плагина для этого?