Разрешить Google доступ к залогиненным категориям

Итак, переходя в /admin/customize/robots
Используя плагин карты сайта, я заметил это внизу. Если я хочу разрешить Google доступ ко всем постам, требующим входа для просмотра, как нужно изменить эту часть?

Или мне просто использовать директивы Allow для всех категорий?

Меня интересует исключительно SEO, так как я недавно изменил видимость некоторых категорий и хотел бы, чтобы Google продолжал сканировать эти страницы.

<%- if SiteSetting.sitemap_enabled? %>
<%- unless SiteSetting.login_required? %>
Sitemap: <%= request.protocol %><%= request.host_with_port %>/sitemap.xml
<% end %>
<% end %>

Если категория или весь форум не являются общедоступными, то нет возможности разрешить Google индексировать их.

Форум является публичным. Некоторые категории — нет. Я пытаюсь добиться того, чтобы пользователи были вынуждены войти в систему для просмотра категорий, но при этом Google мог видеть страницы и индексировать их.

Я читал в интернете о файле robots, где это можно реализовать с помощью Allow:, но пример показывал только как разрешить доступ к конкретной странице, а не ко всей категории.

Это невозможно. Для доступа к непубличным категориям требуется вход в систему. Поисковый робот Google не имеет учётной записи (он анонимен). Следовательно, Google не может увидеть категорию или её содержимое.

Кстати, если бы Google мог получать доступ к контенту без входа, то и технически подкованные пользователи также могли бы это сделать.

Понял. Есть ли способ принудительно показывать всплывающее окно с выбором категории для входа в зависимости от категории? Имеется в виду возможность нанять кого-то для создания плагина для этого?

Мне неизвестен существующий плагин, который позволял бы это делать, но здесь, на Meta, уже обсуждалась эта тема. При быстром поиске вы её найдёте.

Google заблокирует вас за такое поведение. Проведите исследование.

Спасибо. Я видел это в блоге по SEO, но это не стоит риска. Я просто скрою это с помощью CSS на главной странице категорий.