Quindi, andando su /admin/customize/robots
Ho notato questo alla fine, utilizzando il plugin della sitemap. Se volessi consentire a Google di accedere a tutti i post che richiedono il login per essere visualizzati, come dovrei modificare questa parte?
Oppure dovrei semplicemente usare le dichiarazioni Allow per tutte le categorie?
Mi sto concentrando esclusivamente sulla SEO, poiché ho recentemente modificato la visibilità di alcune categorie e vorrei che Google continuasse a scansionare le pagine.
<%- if SiteSetting.sitemap_enabled? %>
<%- unless SiteSetting.login_required? %>
Sitemap: <%= request.protocol %><%= request.host_with_port %>/sitemap.xml
<% end %>
<% end %>
Il forum è pubblico. Alcune categorie non lo sono. Ciò che sto cercando di ottenere è obbligando gli utenti ad accedere per visualizzare le categorie, ma consentendo a Google di vedere le pagine e indicizzarle.
Stavo leggendo online che con il file robots.txt questo potrebbe essere realizzato con Allow:, ma l’esempio mostrava solo come autorizzare una pagina specifica e non un’intera categoria.
Non è possibile. Le categorie non pubbliche richiedono un accesso per essere visualizzate. Il crawler web di Google non dispone di un accesso (è anonimo). Di conseguenza, Google non può vedere la categoria né alcun suo contenuto.
A margine, se Google fosse in grado di accedere al contenuto senza un accesso, lo potrebbero fare anche utenti tecnicamente esperti.
Capito. C’è un modo per forzare la visualizzazione di un popup che richieda l’accesso alla categoria su base singola? Nel senso di assumere qualcuno per creare un plugin a questo scopo?
Non sono a conoscenza di un plugin esistente che lo permetta, ma di certo se ne è già discusso qui su Meta. Una rapida ricerca dovrebbe riportarlo alla luce.