Sitemap: `lastmod` para sitemaps incorreto

Contribuir Bug
3

Não se trata de mover tópicos para diferentes sitemap-chunks. Os tópicos podem permanecer no mesmo sitemap-chunk onde já estão.
(O mapeamento tópico-para-sitemap-chunk é arbitrário de qualquer maneira, pois a instrução select do banco de dados com limit não tem order definido.)

O relatório de bug é sobre que a data lastmod de cada sitemap-chunk deve representar a data lastmod do tópico mais recente que o sitemap-chunk contém.

O caminho para o Google deve ser:

  1. Carregar sitemap.xml
    → Verificar lastmod dos sitemap-chunks e enfileirar sitemap-chunks que precisam de atualização
    (data lastmod é mais recente que a última vez que foi baixado)

  2. Carregar sitemap-chunks enfileirados sitemap_[1-5].xml
    → Verificar lastmod dos URLs dos tópicos e enfileirar URLs dos tópicos que precisam de atualização
    (data lastmod é mais recente que a última vez que foi baixado)

  3. Carregar URLs dos tópicos enfileirados.

Se em sitemap.xml o lastmod dos sitemap-chunks estiver incorreto:
→ O Google não enfileira sitemap-chunks alterados (passo 1)
→ O Google não atualiza sitemap-chunks alterados em tempo hábil (passo 2)
→ O Google não atualiza tópicos alterados em tempo hábil (passo 3)

Atualmente, https://meta.discourse.org/sitemap.xml se parece com isto:

  • https://meta.discourse.org/sitemap_1.xml
    lastmod: 2024-03-19T12:50:09Z
    Todos os tópicos dentro têm data mais antiga ou igual? :github_check:

    • Tópico mais recente: https://meta.discourse.org/t/creating-a-stickypost-for-forum-threads/299967
      lastmod: 2024-03-19T11:03:38Z

  • https://meta.discourse.org/sitemap_2.xml
    lastmod: 2024-03-16T12:59:17Z
    Todos os tópicos dentro têm data mais antiga ou igual? :x:

    • Tópico mais recente: https://meta.discourse.org/t/launcher-rebuild-app-error-bootstrap-failed-with-exit-code-125/299538
      lastmod: 2024-03-19T09:17:46Z

  • https://meta.discourse.org/sitemap_3.xml
    lastmod: 2024-03-16T12:59:17Z
    Todos os tópicos dentro têm data mais antiga ou igual? :x:

    • Tópico mais recente: https://meta.discourse.org/t/configure-direct-delivery-incoming-email-for-self-hosted-sites/49487
      lastmod: 2024-03-18T18:16:26Z

  • https://meta.discourse.org/sitemap_4.xml
    lastmod: 2024-03-16T12:59:17Z
    Todos os tópicos dentro têm data mais antiga ou igual? :x:

    • Tópico mais recente: https://meta.discourse.org/t/video-thumbnails-issue/263595
      lastmod: 2024-03-19T00:00:20Z

  • https://meta.discourse.org/sitemap_5.xml
    lastmod: 2024-03-16T12:59:17Z
    Todos os tópicos dentro têm data mais antiga ou igual? :x:

    • Tópico mais recente: https://meta.discourse.org/t/daily-summary-9pm-utc/291850
      lastmod: 2024-03-18T21:14:49Z

  • https://meta.discourse.org/sitemap_recent.xml
    2024-03-19T13:03:41Z
    Todos os tópicos dentro têm data mais antiga ou igual? :github_check:

    • Tópico mais recente: https://meta.discourse.org/t/daily-summary-1pm-utc/291852
      lastmod: 2024-03-19T13:02:07Z