Évaluation préalable à la migration pour un grand forum Drupal 7

Migration
1

Bonjour à tous, je possède et administre ce qui est, je crois, l’un des plus grands forums basés sur Drupal sur Internet, avec près de 2 millions de messages. Drupal 7 est en fin de vie, et Drupal 8/9 se transforme davantage en un framework pour programmeurs web qu’en un système de gestion de contenu prêt à l’emploi. Les nouvelles versions de Drupal n’offrent tout simplement pas les modules tiers dont j’ai besoin pour que mon forum continue ses fonctions de base, et grâce aux joies de PHP et aux nombreuses autres particularités de Drupal, la mise à niveau serait aussi infernale que la migration vers une plateforme complètement différente. Je vais donc devoir me résoudre à migrer vers autre chose. Je suis à peu près sûr que ce sera Discourse en raison d’un aspect unique du style de ma communauté de forum : je suis le seul modérateur, et ce n’est pas mon travail à temps plein. Au fil des ans, j’ai donc utilisé les frameworks flexibles Rules et Flag dans Drupal pour créer un système fragmenté de modération communautaire du spam et des messages offensants, avec suppression automatique des messages et/ou fermeture de comptes utilisateurs à certains seuils basés sur la nouveauté de l’utilisateur et le nombre d’utilisateurs qui l’ont signalé, tout en tenant compte de la nouveauté et de l’activité récente de signalement des utilisateurs qui signalent. En d’autres termes, c’est presque exactement ce que Discourse a mis en œuvre. Je suis vraiment heureux de voir que Discourse a reconnu la valeur de la modération communautaire et a mis en œuvre un système aussi complet et bien pensé dès le départ. Drupal 7 était et est toujours le seul CMS suffisamment flexible pour permettre ce type de fonctionnalité personnalisée sans être un développeur expérimenté, ce que je ne suis pas. Il semble donc que je vais passer à Discourse. Cependant, j’ai quelques préoccupations.

  1. Système de modération communautaire : Notre forum évalue actuellement une installation de terrain de jeu de Discourse. Je suis impressionné par le caractère complet et la réflexion derrière l’ensemble du système. Mais la communauté a remarqué quelques particularités :
    • Je n’aime vraiment pas la façon dont il masque les messages automatiquement supprimés derrière « Afficher le contenu ignoré ». Si un message est suffisamment mauvais pour être supprimé par la communauté, il est soit très offensant, soit du pur spam, et je ne veux pas que les visiteurs ou les utilisateurs aient même la possibilité de le voir. Ceci est particulièrement problématique dans le cas de sujets qui sont du spam ou qui ont un titre offensant. Et les robots d’exploration des moteurs de recherche ne verraient-ils pas le contenu caché du spam ? Est-il possible de configurer le délai sans intervention de l’utilisateur avant qu’un message de spam automatiquement masqué ne soit complètement supprimé de la vue publique ? Et qu’en est-il des sujets et des messages qui ont été signalés par la communauté comme inappropriés ?
    • J’ai lu ici que « Note : Toutes les valeurs mentionnées ci-dessus sont les paramètres par défaut. Elles peuvent être modifiées par les administrateurs dans les paramètres du site » concernant les seuils qui conduisent à la suppression de messages et/ou au silence des utilisateurs, mais je ne vois pas ces paramètres granulaires dans mon instance de test Discourse. Tout ce que je trouve, c’est « sensibilité de masquage des messages » et « sensibilité de silence des nouveaux utilisateurs », mais je ne comprends pas à quoi cette sensibilité se rapporte concrètement.
    • Je voudrais supprimer la raison « hors sujet » pour signaler un message. Notre communauté de forum est très décontractée à cet égard et a une culture de forum où les messages hors sujet sont très courants et bien acceptés. Mise à jour : Il semble que ceci pourrait fonctionner.
  2. Migration des messages privés : Le forum actuel compte près d’un million de fils de messages privés utilisant le module Drupal 7 privatemsg, et le script de migration Drupal → Discourse ne le gère pas. Cela semble être une omission majeure, car malgré le fait qu’il s’agisse d’un module tiers (dans la mode typique de Drupal), c’est essentiellement la fonctionnalité de messagerie privée de facto que les administrateurs de Drupal 7 utilisent.
  3. Conversion du format des messages : Malheureusement, le forum actuel utilise un mélange de messages en HTML pur et en Textile. Je comprends que le script de migration peut gérer le HTML pur (veuillez me corriger si je me trompe) mais pas le Textile. Si possible, j’aimerais convertir les messages Textile en HTML ou en Markdown, selon ce qui est le plus facile. On m’a dit que Pandoc pouvait être intégré au script de migration, mais que cela augmenterait massivement le temps de migration. J’ai cherché des modules Drupal pour convertir le format des messages existants, mais je n’ai trouvé que ceci, qui ne prend pas en charge le traitement par lots pour le nombre massif de messages, et il ne prend pas en charge le paradigme des « commentaires » de Drupal, qui constituent la grande majorité des « messages » à convertir. J’ai donc pensé à faire une sorte de recherche/remplacement hors ligne sur le fichier de sauvegarde de la base de données avec sed, similaire à ce qui est décrit ici. Des suggestions ou des solutions seraient les bienvenues. Je suis un utilisateur Linux expérimenté et j’ai travaillé de manière intermittente avec les expressions régulières, mais je ne suis toujours pas doué pour cela. Édition : Ceci est une option intéressante pour trouver/remplacer une fois que les données brutes sont dans Discourse.
  4. Publicités : Je suis vraiment heureux de voir que le plugin de publicité pour Discourse semble avoir beaucoup mûri depuis la dernière fois que je l’ai examiné. Je comprends que les publicités internes me permettront de placer des bannières d’images à des endroits spécifiques avec un lien cible lorsqu’elles sont cliquées, et que si plusieurs publicités sont assignées au même endroit, elles seront sélectionnées au hasard, n’est-ce pas ? Cependant, je n’ai aucune idée de la façon de gérer le paradigme mobile. Sur mon forum actuel, j’ai une bannière horizontale en haut et trois bannières verticales dans la barre latérale gauche, qui ne seraient pas réalisables pour les utilisateurs mobiles dans l’interface réactive de Discourse. Édition : Je devrai peut-être modifier le plugin de publicité pour mes besoins, offre payante ici.
  5. Permaliens : Le schéma d’URL de Drupal comporte deux composantes principales : /node/XXXXXXX et des liens vers des commentaires spécifiques dans ces nœuds /comment/YYYYYYY#comment-YYYYYYY (YYYYYYY est le même dans les deux cas). Le script de migration Drupal 7 → Discourse maintiendra-t-il automatiquement ces liens afin que les liens dans les messages vers d’autres fils ou messages fonctionnent toujours et maintiennent le SEO ? Qu’en est-il d’un fichier sitemap.xml pour les moteurs de recherche ?
  6. Traitement par lots : Pendant la migration, fonctionnera-t-elle par lots ? Que se passe-t-il si elle rencontre une erreur ? Après l’avoir corrigée, continuera-t-elle ou faudra-t-il recommencer depuis le début ?
  7. Anciens utilisateurs d’appareils Apple : Je comprends bien sûr les dangers d’utiliser des navigateurs obsolètes. Pour Windows et les anciens appareils Android, il existe presque toujours un moyen d’installer un navigateur moderne compatible avec Discourse. Mais je suis préoccupé par l’un de mes utilisateurs qui prétend avoir un Mac de 2015 qui ne reçoit aucune mise à jour et qui ne peut rien installer d’autre que l’ancienne version de Safari qui lui affiche des avis de dépréciation avec Discourse. Je connais très peu les appareils Apple, à part le fait qu’ils sont beaucoup plus verrouillés. Est-il vraiment si difficile d’installer d’autres navigateurs modernes sur eux ?
  8. Stockage d’images / téléchargements : Mes utilisateurs et moi aimons la facilité de téléchargement d’images dans Discourse, mais je suis un peu inquiet de l’espace de stockage et des coûts. La meilleure option à long terme serait probablement de monter un volume de stockage réseau sur le VPS si nécessaire. Si j’installe initialement Discourse avec l’emplacement de téléchargement par défaut, cela posera-t-il des problèmes de le déplacer vers un autre volume plus tard ?
  9. Sauvegardes :
    • J’aimerais qu’il existe un système de sauvegardes différentielles, ou mieux encore, dédupliquées. J’utilise actuellement Duplicity avec Amazon S3 pour mon forum Drupal, et les coûts sont incroyablement bas pour une très longue histoire de révisions. Quelqu’un sait-il à brûle-pourpoint combien de temps après la création d’une archive S3 une règle peut la faire passer à Glacier ?
    • L’interface de sauvegarde de Discourse permet-elle de supprimer des archives dans Amazon S3 ? Je sais que c’est un peu extrême, mais je voudrais désactiver cette fonctionnalité, car j’ai configuré mes buckets S3 avec uniquement les permissions PUT, GET et LIST pour empêcher un pirate sur le système compromis de supprimer mes sauvegardes distantes. Ensuite, une règle de cycle de vie S3 intervient et supprime côté serveur les archives plus anciennes après un certain temps.
  10. Plugin Stop Forum Spam : Je ne veux pas utiliser Akismet, mais j’ai toujours eu de bons résultats avec StopForumSpam.com pour empêcher la création de nombreux comptes spammeurs. Quelqu’un sait-il si le plugin pour Discourse a des seuils configurables pour le nombre de correspondances qu’un nom d’utilisateur, une adresse IP ou une adresse e-mail doit avoir dans la base de données pour être rejeté ? Édition : Non, il n’en a pas. Demandé ici. De plus, il n’intervient malheureusement pas pour réellement empêcher la création de comptes s’ils ont suffisamment de correspondances dans la base de données SFS, comme il le fait dans Drupal.

Désolé pour le long message. Merci d’avance à tous pour vos éclaircissements, et un grand merci à toute l’équipe du projet Discourse pour cet excellent produit.

2

Je viens de tomber sur ceci :

appliquer un ensemble de transformations basées sur des expressions régulières, telles que le remplacement des balises BBCode par Markdown

Il a été mis à jour pour la dernière fois en 2016, je ne suis pas sûr que ce soit encore une option pertinente.

Est-ce toujours pertinent ? Dans le script d’importation Drupal, je vois du code comme :

 create_posts(results, total: total_count, offset: offset) do |row|
        topic_mapping = topic_lookup_from_imported_post_id("nid:#{row['nid']}")
      end

 def create_permalinks
    puts '', 'création des permaliens...'

    Topic.listable_topics.find_each do |topic|
      begin
        tcf = topic.custom_fields
        if tcf && tcf['import_id']
          node_id = tcf['import_id'][/nid:(\d+)/, 1]
          slug = "/topic/#{node_id}"
          Permalink.create(url: slug, topic_id: topic.id)
        end
1 « J'aime »
3

Le script récupère généralement 1000 messages à la fois.

Il garde une trace de ce qui a été traité, de sorte que les exécutions ultérieures peuvent ignorer les données déjà traitées. Sur les scripts que j’ai touchés, j’inclus également un paramètre import_after qui accélère encore les exécutions ultérieures en chargeant uniquement les données récentes (également utile pour tester avec seulement un petit sous-ensemble des données).

Je devrais examiner de plus près pour voir si les messages sont inclus dans les permaliens. Ils ne le sont généralement pas, mais cela peut être fait.

Vous voudrez que toutes vos téléversements soient sur S3, donc votre sauvegarde n’inclura que la sauvegarde de la base de données. Vous ne pouvez pas vraiment faire grand-chose pour optimiser cela. Vous pouvez soit laisser Discourse conserver un certain nombre, soit lui dire de ne pas le faire (ou simplement définir le nombre de sauvegardes à un grand nombre) et laisser vos règles s’en charger.

1 « J'aime »
4

Oh, c’est un très bon point. Maintenant que j’y pense, je serai facturé de toute façon pour le stockage des téléversements sur S3, que les téléversements aillent directement (et uniquement) sur S3, ou qu’ils soient à l’intérieur de plusieurs tarballs à partir de la sauvegarde Discourse.

Et qu’en est-il de l’utilisation d’un bucket sans permissions de suppression pour les sauvegardes Discourse ?

5

Mais s’ils sont sur S3, vous n’avez qu’une seule copie.

Je soupçonne que cela fonctionnera si Discourse n’a pas la permission de supprimer, bien que je ne le sache pas.

6

C’est exact, et avec les niveaux de redondance de données insensés de S3, cela serait généralement considéré comme une manière responsable de stocker les téléchargements ? Je n’ai pas touché aux options S3 récemment, mais je crois qu’ils ont aussi des règles de cycle de vie pour récupérer les fichiers supprimés pendant une période ? Je pense à l’éventualité que les téléchargements soient supprimés d’une manière ou d’une autre en raison d’un appel erroné de Discourse, que ce soit un bug de codage (improbable et massif) ou une erreur utilisateur. Ou un événement de piratage, pour revenir à ma préoccupation initiale concernant les permissions de suppression sur le bucket.

7

Oui, vous pouvez activer la gestion des versions afin que les fichiers ne soient pas supprimés lorsqu’ils sont marqués comme supprimés. Si vous ne vous souciez pas de l’espace pour lequel vous payez, vous pouvez le faire. Lorsque Discourse supprime un fichier car il n’est plus utilisé, il le déplace vers un dossier de marqueurs temporaires pendant un certain temps avant de le supprimer définitivement. Je vous recommande de faire confiance à Discourse pour gérer les fichiers. Je ne sais pas si interdire l’accès à la suppression pourrait causer des problèmes.

Vous pouvez placer les sauvegardes dans un bucket séparé avec des autorisations différentes (mais les mêmes identifiants) si vous le souhaitez.

1 « J'aime »
8

Question pour @pfaffman ou toute autre personne qui met des téléchargements sur S3 — Je sais que cela dépend d’un million de facteurs, mais avez-vous au moins des informations anecdotiques sur les frais de bande passante et les requêtes S3 pour un forum de taille moyenne à grande avec ses téléchargements sur S3 ? Merci beaucoup !

1 « J'aime »
9

Petite mise à jour ici : Donc, ce que je pense faire, c’est garder mes téléchargements en local ; j’aurai assez de stockage local pour l’instant et la possibilité de l’étendre avec des volumes de stockage supplémentaires si nécessaire. Je ne veux tout simplement pas avoir à gérer la complexité et le coût d’un CDN et les frais imprévisibles du stockage objet et surtout les coûts de transfert pour la diffusion d’images sur le site web en direct. Ensuite, je vais faire des sauvegardes automatiques S3 vers Backblaze B2, y compris les téléchargements et l’option s3 disable cleanup. Le prix de Backblaze est si bas qu’il ne devrait pas poser de problème de conserver quelques semaines de sauvegardes quotidiennes, même avec les téléchargements redondants. Il s’avère que Backblaze B2 a deux options très simples pour les buckets qui sont exactement ce dont j’ai besoin : 1) des règles de cycle de vie automatiques pour supprimer les fichiers après X jours, et 2) empêcher la suppression ou la modification des fichiers pendant N jours (pour prévenir la faible possibilité que le serveur soit piraté et que le pirate utilise les identifiants stockés pour supprimer mes sauvegardes à distance). J’ai testé cela et cela semble fonctionner correctement ; j’ai essayé de supprimer une archive de sauvegarde de l’interface graphique de Discourse qui était interdite à la suppression par Backblaze, et cela n’a tout simplement rien fait.

Juste pour clarifier pour moi et pour les autres : Il est possible de sauvegarder automatiquement les téléchargements sur le stockage local vers S3 si l’option backup with uploads est activée (par défaut), n’est-ce pas ?

1 « J'aime »
10

Oui. Par défaut, les téléchargements locaux sont inclus dans le fichier de sauvegarde.

1 « J'aime »