El crawler bloqueado requiere inicio de sesión en páginas restringidas

En mi foro hay categorías que requieren un cierto nivel de TL para leer.

Google intenta rastrearlo y obtiene un error. ¿Deberían ser excluidas automáticamente por robots.txt?

¿De dónde obtuvo Google los enlaces? ¿Aparecen estos temas en un mapa del sitio?

2 Me gusta

Hmm. Gran pregunta. Veo que la URL canónica de los hilos no contiene el category_id y, por lo tanto, no se puede filtrar fácilmente. Suponiendo que no esté en los sitemaps, si Google encuentra el enlace en otro lugar, no hay un bloqueo fácil a menos que incluyas cada URL individual en robots, lo cual no es un enfoque sensato.

1 me gusta

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.