Una herramienta básica de archivo de Discourse

Desarrollador
54

Un foro de Discourse se va a desconectar en un par de semanas, así que me propuse archivar el sitio. Investigué mucho, probé y erré, y encontré una solución simple con HTTrack. Aquí está todo lo que aprendí.

Archiva un sitio de Discourse con HTTrack
Para los usuarios de Windows, la mejor solución parece ser HTTrack. Funcionó muy bien y archivó el sitio en archivos HTML. Todas las categorías, hilos y publicaciones fueron archivados, incluidas todas las páginas con enlaces de navegación relativos.

Un tutorial básico sobre HTTrack está aquí. Dejé la configuración en los valores predeterminados con la siguiente configuración personalizada.

  • Direcciones web:
    • https://forums.gearboxsoftware.com/c/homeworld/
    • https://forums.gearboxsoftware.com/c/homeworld-dok/
  • Reglas de escaneo:
    • -gearboxsoftware.com/* -forums.gearboxsoftware.com/* +forums.gearboxsoftware.com/c/homeworld/* +forums.gearboxsoftware.com/c/homeworld-dok/* +forums.gearboxsoftware.com/t/* +forums.gearboxsoftware.com/user_avatar/* +sea2.discourse-cdn.com/*
  • Identificador de navegador (también conocido como User Agent):
    • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Nota: Hay un problema de CSS que impide que los enlaces de categoría funcionen, sin embargo, eso se puede solucionar fácilmente como se describe a continuación.

Problema de CSS
Al ver las páginas de Categoría como googlebot, los enlaces de los hilos no funcionan. Un ejemplo es [aquí](https://web.archive.org/web/20220731051419/https://forums.gearboxsoftware.com/c/homeworld/57).

Esto hace que la navegación sea imposible en las páginas de categorías en HTTrack, archive.org y la caché de Google. Parece ser un problema de Discourse en un archivo CSS. Para arreglar los enlaces, simplemente bloquea/elimina el siguiente archivo CSS:

  • stylesheets/desktop_theme_10_1965d1d398092f2d9f956b36e08b127e00f53b70.css?__ws=forums.gearboxsoftware.com

@codinghorror - ¿Pueden abordar esto?

Desafíos
Me encontré con los siguientes desafíos y finalmente los superé después de muchas pruebas y errores.

  • Las páginas de Discourse se generan dinámicamente con JavaScript. Esto da como resultado malos resultados con la mayoría de las herramientas de archivo/rastreo.
  • La mayoría de los hilos solo cargan con las primeras ~20? publicaciones, el resto de las publicaciones no aparecen hasta que te desplazas hacia abajo. Presionar Ctrl+P carga una página /print con todas las publicaciones visibles. Los usuarios están limitados a imprimir 5 páginas por hora en modo de impresión, pero este límite puede ser aumentado por un administrador del sitio de Discourse.
  • Adrelanos señaló que los hilos de varias páginas no estaban siendo archivados correctamente por HTTrack, sin embargo, sospecho que este problema se debió a su configuración de HTTrack, ya que yo no tuve este problema.
  • Guardar una página en PDF no incluirá ninguna sección de detalles colapsada.
  • Las páginas se pueden cargar en HTML básico agregando ?_escaped_fragment_ al final de una URL, pero este truco solo funciona para hilos, no para categorías.

Los desafíos anteriores no son una preocupación una vez que aprendes que todas las páginas/contenido de Discourse se pueden renderizar correctamente como HTML para los rastreadores. Para hacer esto, debes cambiar el user agent de tu rastreador / navegador a googlebot para obtener la versión HTML de las páginas.

Archive.org
Si usas la función “Guardar página ahora” en web.archive.org, archivará la versión de JavaScript de Discourse con malos resultados. Archive.org utiliza el user agent de la persona que solicita el archivo. Por lo tanto, debes cambiar tu user agent a googlebot. Puedes obtener una extensión de Chrome llamada “User-Agent Switcher for Chrome”. En las opciones agrega:

  • Nombre: Googlebot
  • Cadena: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Grupo: Chrome
  • Indicador: 1

Herramientas de archivo alternativas
Muchas herramientas se enumeran aquí: Archive an old forum "in place" to start a new Discourse forum
También probé brevemente herramientas GUI como Cyotek WebCopy, A1 Website Download y WAIL.
Las herramientas de línea de comandos incluyen la herramienta de mcmcclur y wget. Un tutorial sobre wget está [aquí](https://letswp.justifiedgrid.com/download-discourse-forum-wget/).
Sin embargo, para los usuarios de Windows, la mejor solución parece ser HTTrack.

Nota: Como soy un usuario nuevo, estoy limitado a dos enlaces en una publicación. Por lo tanto, convertí algunos enlaces en texto preformateado.

9 Me gusta
55

Ahora he identificado la causa raíz. ¡Resulta que la imagen de fondo está en conflicto con los enlaces!

Dentro de este archivo:
stylesheets/desktop_theme_10_1965d1d398092f2d9f956b36e08b127e00f53b70.css

Dentro de este código:

body:before {
    backface-visibility: hidden;
    -webkit-backface-visibility: hidden;
    content: "";
    display: block;
    background-color: #000000;
    background-image: url("data:image/svg+xml,%3Csvg width='6' height='6' viewBox='0 0 6 6' xmlns='http://www.w3.org/2000/svg'%3E%3Cg fill='%23adadad' fill-opacity='0.4' fill-rule='evenodd'%3E%3Cpath d='M5 0h1L0 6V5zM6 5v1H5z'/%3E%3C/g%3E%3C/svg%3E");
    position: fixed;
    height: 100vh;
    width: 100vw;
    top: 0;
    left: 0;
    z-index: 0;
    opacity: 0.03;
    background-size: 70%;
}

Solución al problema de CSS
Mueve la imagen de fondo una capa hacia abajo para arreglar los enlaces.

  • Abre stylesheets/desktop_theme_10_1965d1d398092f2d9f956b36e08b127e00f53b70.css y reemplaza todos los tres “z-index:-1;” con “z-index:-2;”. Luego reemplaza “z-index:0;” con “z-index:-1;”.
  • Luego abre desktop_32713c1b6551369eb391868f3d4e3f2ac9c38cf1.css y simplemente reemplaza todos los tres “z-index:-1;” con “z-index:-2;”. Los enlaces ahora funcionarán.
7 Me gusta
56

Gracias por informarnos, ya que esta es una vista de rastreador/archivo, estas imágenes no deberían mostrarse de todos modos… así que he abierto una PR para eliminarlas

6 Me gusta
57

Por si sirve de algo, he escrito un script mínimo viable en Python que realiza una copia de seguridad sencilla del contenido de las publicaciones utilizando la API: GitHub - jamesob/discourse-archive: Provides a simple archive of Discourse content

Es bastante básico, pero debería dar a alguien una idea aproximada de cómo generar un archivo adecuado para el público.

4 Me gusta
58

Acabo de encontrar una forma de scrapear todo el contenido de un sitio de discourse de forma modular (elige qué categorías/temas/límites scrapear). Échale un vistazo. Por ahora, es solo una herramienta para obtener una versión local/estática de un sitio: GitHub - Diegorb1329/broad_listening_eth

1 me gusta