Plugin Sitemap - sin URLs ?page=… en el sitemap predeterminado

Error
1

El plugin sitemap no incluye URLs ?page=… en los sitemaps predeterminados, por ejemplo, https://meta.discourse.org/sitemap_4.xml

<url>
  <loc>
    https://meta.discourse.org/t/importing-migrating-from-phpbb3/30810
  </loc>
  <lastmod>2022-02-25T21:55:40Z</lastmod>
</url>

En el sitemap reciente se incluyen las URLs de paginación, por ejemplo, https://meta.discourse.org/sitemap_recent.xml

<url>
  <loc>
    https://meta.discourse.org/t/importing-migrating-from-phpbb3/30810?page=18
  </loc>
  <lastmod>2022-03-07T12:03:50Z</lastmod>
</url>

¿Es que no hay URLs ?page=… en los sitemaps predeterminados por diseño?
Todas estas URLs ?page=… son URLs canónicas y, por lo tanto, deberían añadirse al sitemap predeterminado, por ejemplo:

<url>
  <loc>
    https://meta.discourse.org/t/importing-migrating-from-phpbb3/30810
  </loc>
  <lastmod>2022-02-25T21:55:40Z</lastmod>
</url>
<url>
  <loc>
    https://meta.discourse.org/t/importing-migrating-from-phpbb3/30810?page=2
  </loc>
  <lastmod>2022-03-02T19:08:07Z</lastmod>
</url>

[...]

<url>
  <loc>
    https://meta.discourse.org/t/importing-migrating-from-phpbb3/30810?page=18
  </loc>
  <lastmod>2022-03-07T12:03:50Z</lastmod>
</url>

sources

2 Me gusta
2

No creo que esto sea deliberado, ¿puedes hacer una PR para arreglarlo?

3

Gracias @rrit, hace unos meses me di cuenta de esto también, pero siempre pensé que era normal :man_facepalming:t2:

4

Puedo implementar una solución fácil que no es muy específica sobre la fecha de la última edición: por ejemplo, todas las páginas de un tema usarán la misma fecha de la última publicación editada.
Por lo tanto, en una nueva publicación de un tema (con muchas publicaciones y muchas páginas), todas las páginas obtendrán una nueva fecha de última modificación, incluso cuando solo la última página necesite la nueva fecha.

¿Es esta una solución factible?

De lo contrario, necesitamos agrupar todas las publicaciones de un tema en paquetes de 20 publicaciones (por página). Y luego calcular la fecha de la última modificación para cada paquete.

5

Honestamente, miré esto y estoy indeciso sobre cualquier cambio aquí, el problema no es que Google tenga problemas para descubrir contenido en los foros de Discourse.

Es que está descubriendo, rastreando y luego, debido a una “toma de decisiones arbitraria”, decide que el contenido no pertenece al índice.

1 me gusta
6

¿“Toma de decisiones arbitraria” implica uno de estos puntos?
(Ver Page indexing report - Search Console Help)

En el lado positivo de añadir todas estas URLs canónicas ?page=… al sitemap:
Le da a Google una fuerte indicación sobre \u003clastmod\u003e para estas URLs. Por lo tanto, Google no tiene motivos para volver a rastrear URLs ?page=… sin cambios y podría utilizar su valioso presupuesto de rastreo para URLs más importantes.

Si las URLs ?page=… faltan en el sitemap, Google las encuentra de todos modos y realiza un rastreo “arbitrario”, incluso si es totalmente innecesario, ya que no hay cambios nuevos en el contenido.

Ver Build and Submit a Sitemap | Google Search Central  |  Documentation  |  Google for Developers

Google realmente lleva un registro y marca la diferencia de dónde conoce las URLs:
“Todas las páginas enviadas” (sitemap) o “Todas las páginas conocidas” (enlaces, etc.)
Ver Google Search Console –\u003e Index –\u003e Informe de cobertura

  • “Un sitemap es una forma importante para que Google descubra URLs en tu sitio.” ver
  • “Google elige la página canónica basándose en varios factores (o señales), como […], la presencia de la URL en un sitemap, […].” ver
  • “El uso de un sitemap no garantiza que todos los elementos de tu sitemap se rastreen e indexen, ya que los procesos de Google se basan en algoritmos complejos para programar el rastreo.” ver
1 me gusta
7

Espero que se implemente junto con esto :slight_smile:

2 Me gusta
8

Esto es algo que @Roman debe tener en cuenta al integrarlo en el núcleo.

Prefiero fusionar primero el sitemap antes de aplicar más cambios, pero una vez hecho eso… quizás podamos empezar con URLs basadas en páginas canónicas en _recent. Ahora tenemos URL canónicas que se pueden usar en posts.rss con un almacenamiento en caché adecuado, también se pueden usar en sitemaps.

3 Me gusta
10

Tengo problemas con Google Search Console al intentar indexar URL como https://example.com/t/title-slug/1234?page=3, que hacen que Discourse devuelva un 404. Eliminar el parámetro ?page=x hace que la URL sea válida.

Supongo que esto es algún tipo de efecto secundario de Discourse al añadir paginación a la versión del sitio que sirve a los rastreadores:

11

Las URL de las páginas funcionan bien, solo necesitas más de N publicaciones.

¿Tienes muchas publicaciones eliminadas sobre dicho tema?

12

Hola Sam, gracias por la respuesta. Después de publicar esto, encontré tu explicación aquí:

Pero en mi caso, no, los temas con este problema que he examinado no muestran ninguna modificación en el hilo original. Lo único es que fueron importados de Drupal. Pero necesito investigar más sobre otros ejemplos para ver si también se ven afectados los temas que se crearon originalmente en Discourse, porque desafortunadamente hay toneladas de ellos, probablemente miles.

1 me gusta
13

Vaya, ¿se importaron toneladas desde Drupal? ¿Es ese el hilo común aquí?

14

Sí, cerca de 100 mil temas y ~2 millones de publicaciones. No estoy seguro si este problema es solo con los temas importados, pero volveré a publicar aquí pronto si encuentro más anomalías.

1 me gusta