RAID ZFS vs mdadm : comparaison complète pour les serveurs Linux

Lorsque vous envisagez de mettre en place un serveur stockage sérieux dans LinuxTôt ou tard, le doute s'installe : Dois-je opter pour ZFS ou utiliser mdadm avec LVM et RAID traditionnel ? À première vue, elles semblent être deux manières de faire la même chose, mais en réalité, elles répondent à des philosophies très différentes et ont des implications directes sur les performances, la facilité de gestion, la fiabilité et, bien sûr, la tranquillité de votre sommeil lorsqu'un disque commence à dysfonctionner.

Dans cet article, nous allons calmement analyser les différences entre ZFS et mdadm (RAID logiciel Linux)En examinant des cas concrets, les forces et les faiblesses de chaque solution, leur comportement avec différents niveaux RAID (RAID0, RAID1, RAID5/6, RAID10, RAIDZ1/Z2…), ce qui se passe avec les sauvegardes, la corruption silencieuse des données, l'utilisation de la RAM ou du processeur, et même comment les modes de cache affectent les performances. O_DIRECT dans les environnements de virtualisation.

Qu'est-ce que le RAID et pourquoi est-ce important lorsqu'on compare ZFS et mdadm ?

Avant de nous pencher sur ZFS et mdadm, il est utile de rappeler précisément ce que résout un RAID et Quelles sont les choses qu'il ne résout pas, même si elles sont parfois confondues avec sauvegarderRAID signifie « Redundant Array of Independent Disks » (matrice redondante de disques indépendants) et son objectif initial était de combiner plusieurs petits disques en une seule unité logique offrant plus de performances, une capacité utilisable plus importante ou une redondance contre les pannes physiques.

Un RAID peut combiner différentes techniques telles que répartition des données en blocs sur plusieurs disques (striping), mise en miroir et paritéSelon la façon dont vous combinez ces éléments, vous obtenez différents niveaux RAID : RAID0 privilégie les performances, RAID1 la copie exacte sur un autre disque, RAID5/6 la parité distribuée pour équilibrer l’espace et la tolérance aux pannes, RAID10 mélange la mise en miroir et le striping, etc.

La clé est de comprendre que Le RAID augmente la disponibilité et réduit l'impact d'une panne de disque.Mais cela ne remplace pas un bon système de sauvegarde. Vous pouvez perdre des données suite à une corruption logique, une suppression accidentelle, une attaque de rançongiciel ou une panne catastrophique de plusieurs disques, et le RAID ne vous protégera pas contre cela.

De plus, tous les systèmes RAID ne sont pas implémentés de la même manière : Matériel RAID avec contrôleurs dédiés, logiciel RAID intégré au noyau (mdadm) et solutions hybrides telles que ZFS ou Btrfs qui combinent gestionnaire de volumes et système de fichiers en une seule couche.

ZFS : Système de fichiers et gestionnaire de volumes dans un seul package

ZFS n'est pas simplement « un autre type de RAID » : Il s'agit d'un système de fichiers 64 bits avec un gestionnaire de volumes intégré.Cela signifie que, contrairement à mdadm, il ne se contente pas de regrouper les disques, mais sait également comment les données sont stockées au niveau des blocs et des métadonnées, et peut prendre des décisions intelligentes concernant l'intégrité, les caches, les instantanés ou la compression.

Dans ZFS, vous créez un pool de stockage (zpool) Composé d'un ou plusieurs vdev. Chaque vdev peut être un ensemble de disques en RAIDZ1, RAIDZ2, en miroir, etc. Les niveaux RAID classiques sont toujours présents, mais sous d'autres appellations : RAIDZ1 ressemble à un RAID5, RAIDZ2 à un RAID6 et les miroirs ZFS sont équivalents aux combinaisons RAID1 ou RAID10 lorsqu'on utilise plusieurs vdevs en miroir.

Une fois le zpool en place, ZFS monte automatiquement le système de fichiers associéIl n'est pas nécessaire de créer un périphérique de stockage par blocs, puis un LVM, puis un système de fichiers distinct. Vous pouvez créer des ensembles de données et des zvols (volumes de blocs) au sein du pool, avec des quotas, une compression ou des propriétés différents pour chacun.

L'un des principaux atouts de ZFS est son modèle de copie sur écriture (COW)Il n'écrase jamais les blocs existants, mais écrit la nouvelle version dans un bloc différent et met à jour les métadonnées à la fin. Cela permet d'éviter le problème classique de « trou d'écriture » ​​des RAID 5/6, où une coupure de courant pendant une opération d'écriture rend la parité incohérente.

De plus, ZFS inclut des fonctionnalités intégrées qu'il faudrait implémenter, dans l'environnement mdadm/LVM/EXT4, avec plusieurs couches supplémentaires, telles que : Instantanés légers, clones, compression transparente, déduplication, nettoyage des données avec sommes de contrôle et des caches avancés. Les Zvols s'intègrent très bien aux hyperviseurs pour stockage de machines virtuelles.

mdadm et LVM : RAID logiciel classique sous Linux

mdadm est l'utilitaire Linux standard de gestion RAID MD (également appelé RAID logiciel Linux)Il fonctionne au niveau bloc, sans passer par un système de fichiers. Avec mdadm, vous créez un périphérique /dev/mdX qui regroupe plusieurs disques physiques ou partitions, et vous installez ensuite sur ce périphérique le système de fichiers souhaité (EXT4, XFS, etc.) ou un volume LVM.

La philosophie ici est modulaire : mdadm gère le RAID, LVM gère les volumes logiques et le système de fichiers est uniquement responsable du stockage des données.Cela offre une grande flexibilité, mais cela signifie aussi plus de couches et plus d'éléments à configurer manuellement (fstab, scripts, etc.). Botte, politiques de surveillance, Etc).

La syntaxe de base de mdadm suit une structure assez logique : mdadm dispositivoLes modes les plus courants sont --create pour créer un nouveau RAID, --assemble pour assembler un exemplaire existant, --manage pour gérer un réseau actif, --grow s'étendre, et --detail pour afficher les informations.

Par exemple, la création d'un RAID1 avec deux disques ressemblerait à ceci : mdadm --create --verbose /dev/md0 --level=1 --raid-devices=2 /dev/sda1 /dev/sdb1Si la baie existe déjà et doit être montée après un redémarrage, vous utiliserez --assemble indiquant le périphérique RAID et les disques membres.

Pour les configurations plus avancées, mdadm est souvent combiné avec LVM, de sorte que le RAID fournisse un bloc de stockage de grande taille et LVM vous permet de le diviser en plusieurs volumes logiques de tailles différentes, sur lesquelles les systèmes de fichiers sont ensuite montés et auxquels sont fournis des services, Machines virtuelles, etc.

Principales différences entre ZFS et mdadm : architecture et fonctionnalités

La première différence majeure est que ZFS intègre RAID, gestionnaire de volumes et système de fichiersmdadm, quant à lui, ne gère que l'aspect RAID logiciel. Cela a un impact direct sur les types d'opérations que vous pouvez effectuer « nativement » avec chaque solution.

Dans mdadm, si vous voulez instantanés, clonage de volumes ou provisionnement fin Pour les machines virtuelles, il faut recourir à des systèmes de fichiers LVM-thin, à des systèmes de fichiers à instantanés (comme Btrfs) ou à des couches supplémentaires. ZFS offre tout cela par défaut : n’importe quel ensemble de données peut bénéficier d’instantanés et de clones instantanés en quelques secondes, et les zvols s’intègrent parfaitement aux hyperviseurs pour le stockage des machines virtuelles.

Une autre différence importante est la intégrité des donnéesmdadm protège contre les pannes de disque grâce au RAID, mais ne surveille pas les opérations au sein du système de fichiers et n'ajoute pas de sommes de contrôle au niveau des blocs de données. ZFS, en revanche, calcule les sommes de contrôle de tous les blocs de données et métadonnées, et lors des opérations de nettoyage, il vérifie la conformité des données lues avec les données attendues, en corrigeant à l'aide d'un autre disque en cas de corruption silencieuse.

Cela change aussi la manière de étendre ou gérer le stockageAvec mdadm, il est possible de faire évoluer les niveaux RAID en ajoutant des disques, puis en redimensionnant LVM et le système de fichiers. Cependant, ce processus est délicat et relativement lent. ZFS permet d'ajouter de nouveaux vdev au zpool pour augmenter sa capacité ; toutefois, chaque vdev possède sa propre configuration RAID et la distribution des données s'effectue au niveau du vdev, un point à prendre en compte lors de la conception du pool.

Enfin, la gestion au quotidien est différente : ZFS a commandes très cohérent et descriptif (zpool, zfs)Alors que mdadm possède une interface de ligne de commande puissante mais parfois peu intuitive, et que vous dépendez également de fichiers comme /etc/mdadm.conf et /etc/fstab pour que tout fonctionne correctement au démarrage.

Performances : RAID10, RAID5/6, RAIDZ et cas d'utilisation concrets

Dans le domaine de la performance, il n'existe pas de solution unique et gagnante, car Cela dépend beaucoup du type de disques (HDD, SATA). SSD, NVMe), niveau RAID et modèle d'accès (séquentiel ou aléatoire, lectures ou écritures, taille des blocs, etc.). Malgré tout, des tendances assez claires se dégagent.

Sur les disques durs classiques et les SSD SATA, ZFS fonctionne généralement très bien.Sa conception de type « copie à l'écriture » ​​et sa méthode de regroupement des E/S permettent de convertir de nombreuses opérations aléatoires en opérations séquentielles, ce qui est parfaitement adapté au fonctionnement des disques durs mécaniques. De plus, elle peut exploiter la RAM, le cache de lecture L2ARC (sur les SSD) et le registre d'intention d'écriture ZIL/SLOG pour lisser les pics de charge et améliorer la latence.

Cependant, lorsque tout le stockage principal est rapide NVMe, ZFS n'atteint pas toujours 100 % de son potentiel.Il a été conçu à une époque où la latence du disque offrait une marge de manœuvre suffisante pour les calculs du processeur en attendant le disque ; avec NVMe, le processeur devient parfois le facteur limitant, ce qui entraîne des performances inférieures à celles qu’un seul disque NVMe pourrait fournir « à lui seul ».

Concernant mdadm, les tests réels montrent que Il offre des performances solides, notamment en RAID 0, RAID 1 et RAID 10.Cependant, il peut être en retard sur le RAID matériel et le ZFS dans certains scénarios avec le RAID 5/6 logiciel, notamment dans les opérations d'écriture intensives où les calculs de parité et la journalisation sont plus préjudiciables.

Il existe des cas d'utilisation concrets où un RAID10 de grande taille avec mdadm (par exemple, 16 disques de 2 To en RAID 10 offrant un débit théorique supérieur à 1 Go/s) n'atteint pas ces chiffres dans les usages pratiques (trafic réel, copies via 10GbEetc.). La théorie dit une chose, mais l'ensemble de la pile (protocole réseau, processeur, système de fichiers, caches) limite souvent les performances finales en dessous du maximum brut du tableau.

Fiabilité et problèmes typiques : trous d’écriture, O_DIRECT et corruption silencieuse

Au-delà des chiffres de Mo/s, ce qui distingue véritablement ZFS et mdadm, c'est… comment ils gèrent les échecs et les situations « difficiles »: coupures de courant pendant les écritures, corruption silencieuse, bogues du noyau ou applications utilisant des modes d'accès direct au disque.

Le célèbre trou d'écriture RAID Cela affecte les implémentations RAID 5/6 où une coupure de courant peut laisser une écriture de données et sa parité incomplètes, provoquant des incohérences internes difficiles à détecter. Les contrôleurs RAID matériels atténuent ce problème grâce à la mise en cache d'écriture protégée par batterie (BBU), et ZFS l'évite grâce à son modèle COW, qui ne considère la nouvelle version des données comme valide que lorsque tout a été correctement écrit.

Dans l'univers Linux, mdadm s'appuie sur des mécanismes tels que journalisation et bitmaps Pour réduire les risques, cette solution reste néanmoins plus vulnérable à ces scénarios que ZFS ou un RAID matériel performant avec cache protégé. Cela se traduit par une baisse de fiabilité et de performances lors de charges de travail intensives en écriture, où la journalisation repose directement sur les disques les plus lents.

Un autre sujet délicat est l'utilisation de O_DIRECT (cache « aucun » dans les machines virtuelles) Dans les environnements de virtualisation, lorsqu'une machine virtuelle accède au stockage par accès direct aux périphériques, le RAID logiciel (md/dm) peut transférer le même pointeur mémoire lors de plusieurs écritures indépendantes sur chaque disque. Si un autre processus modifie la mémoire pendant ces écritures, chaque disque peut enregistrer un contenu différent, ce qui dégrade ou corrompt le RAID.

Un cas réel a même été documenté où Une écriture en cours sur la mémoire d'échange coïncide avec la libération de cette mémoire.L'entrée d'échange est ignorée pendant que les E/S se poursuivent, et le RAID finit par marquer la grappe comme dégradée. Techniquement parlant O_DIRECT Il promet de « minimiser l'effet des caches », de ne pas rompre la cohérence entre les répliques, mais en pratique, c'est un mode dans lequel il faut être très prudent avec MD RAID.

Si vous évitez ce mode de mise en cache dans les machines virtuelles, ou si vous savez exactement ce que vous faites, mdadm est parfaitement valideCependant, la consommation de RAM est légèrement supérieure. Avec ZFS, en revanche, le cache et le contrôle des flux d'E/S sont bien mieux intégrés à la pile du système de fichiers, ce qui réduit considérablement le risque de tels problèmes.

Exemples pratiques : des grandes matrices RAID10 aux pools non redondants pour les machines virtuelles

Pour saisir la différence philosophique entre ZFS et mdadm, il est très utile de consulter [référence manquante]. scénarios d'utilisation réels qui reflètent les questions fréquemment posées par les administrateurs et les utilisateurs avancés.

Dans le premier cas, quelqu'un possède un serveur avec Ubuntu et 16 disques de 2 To en RAID 10 utilisant mdadmLa vitesse brute est excellente, mais elle souffre d'un problème de fiabilité spécifique : après quelques redémarrages, la grappe RAID ne démarre plus correctement, ce qui nécessite des démontages et des remontages répétés. C'est précisément le genre de situation que le RAID est censé éviter.

Une partie du risque provient du fait que RAID10, dans sa configuration actuelle, ne tolère pas cela. Deux disques consécutifs tombent en panne, laissant une bande entière sans données.C’est là le talon d’Achille de cette conception spécifique : la condition de défaillance théorique que RAID10 ne peut gérer se produit, et la matrice cesse d’être récupérable sans problème.

Dans ce cas, des options telles que déménager à RAID50 (5 bandes RAID5 de 3 disques chacune, plus un disque de secours) ou RAID60 (2 bandes RAID6 de 8 disques)L'idée de tout migrer vers ZFS avec des configurations équivalentes se pose également : cinq vdev RAIDZ1 à 3 disques (avec un disque de rechange) ou deux vdev RAIDZ2 à 8 disques, cherchant un compromis entre performances et tolérance aux pannes.

La conclusion logique est que, compte tenu du nombre important d'enregistrements, La conception de l'agencement est tout aussi importante que la technologie choisie.Un plus grand nombre de vdevs offre généralement plus d'IOPS et de débit, mais augmente également la complexité de la gestion des pannes ; quelques grands vdevs RAIDZ2 renforcent la tolérance aux pannes, mais peuvent être un peu moins agiles sous certaines charges de travail.

Dans un autre exemple, un administrateur souhaite configurer un pool de données pour les disques de travail des machines virtuelles où la priorité absolue est d'exploiter au maximum les 4 To de capacité et d'obtenir de bonnes performances, sans trop se soucier de la redondance, puisque les machines virtuelles sont sauvegardées hors site sur d'autres supports de stockage, même hors site.

La décision se situe entre la mise en place d'un Pool ZFS en RAID0 ou une pile basée sur LVM léger sur RAID0 mdadmCes deux solutions permettent la création de snapshots et le provisionnement fin pour les machines virtuelles, ce qui est idéal pour les sauvegardes en ligne sur des plateformes comme Proxmox. Dans ce cas, la recommandation habituelle « n'utilisez pas RAID 0 en production » perd de sa pertinence, car la reprise après sinistre repose sur des sauvegardes externes et non sur une résilience locale.

Le décideur possède une vaste expérience de ZFS, mais a très peu utilisé mdadm/LVM. Le dilemme ici n'est pas tant la fiabilité (déjà assurée par les sauvegardes) que… facilité de gestion quotidienne, intégration à la plateforme et performances soutenues dans les charges de travail de virtualisation.

RAID matériel versus ZFS et mdadm : processeur, cache et portabilité

La comparaison ne peut pas non plus ignorer le rôle de Matériel RAID avec contrôleurs dédiés, très courante dans les serveurs de grandes marques (Dell, HP, etc.). Une carte de type Dell H710P (comme beaucoup Contrôleurs LSIIl embarque son propre processeur, sa mémoire cache (souvent 1 Go) et une BBU pour garantir que les écritures en cache survivent à une coupure de courant.

Le grand avantage du RAID matériel est que Le système d'exploitation ne voit qu'un seul disque logiqueCela simplifie considérablement la compatibilité et permet l'utilisation de quasiment n'importe quel système d'exploitation sans les contraintes des configurations RAID logicielles complexes. De plus, le processeur central est quasiment insensible à la charge de travail liée à la parité et aux E/S, car le contrôleur gère tout.

Mais en contrepartie, vous épousez cette femme autoritaire : En cas de panne, il faut souvent exactement le même modèle pour pouvoir récupérer le tableau.Avec un logiciel RAID comme mdadm ou ZFS, il suffit de déplacer les disques vers un autre serveur Linux équipé des outils nécessaires ; la grappe peut être détectée et assemblée sans trop de difficultés.

Un autre problème pratique lié aux contrôleurs est le dépendance vis-à-vis des outils et services de gestion du fabricantCes éléments ne sont pas toujours bien pris en charge pour les distributions modernes. Ils comprennent généralement un environnement de configuration de pré-démarrage (BIOS/UEFI du contrôleur), mais sur les cartes mères grand public, le matériel n'est parfois même pas correctement détecté.

En termes de performances, lors de tests effectués avec huit disques WD Red Plus de 4 To en RAID 6, le matériel RAID offre généralement les résultats suivants : vitesses de lecture et d'écriture séquentielles amélioréesZFS arrive en deuxième position, tandis que mdadm se classe dernier, notamment pour les écritures complexes. Cela s'explique probablement par le fait que ZFS et le RAID matériel comblent le manque de temps d'écriture et tirent parti de caches rapides, tandis que mdadm repose presque entièrement sur les disques physiques pour la journalisation et les reconstructions.

Consommation de ressources : RAM, processeur et espace d’échange

L'un des commentaires les plus fréquemment répétés à propos de ZFS est que « Il adore RAM »Et c'est vrai : plus la mémoire disponible pour ARC (Adaptive Replacement Cache) est importante, plus la mise en cache des lectures est efficace et plus les performances sont améliorées. Sur les serveurs exigeants, il est également recommandé d'utiliser de la mémoire ECC afin que ZFS n'ait pas à gérer les erreurs de RAM susceptibles de corrompre l'intégrité de ses sommes de contrôle.

En termes de consommation de ressources CPU, ZFS consomme légèrement plus que mdadm, surtout si vous activez cette option. compression, déduplication, ou vous utilisez de nombreuses fonctionnalités avancéesCependant, avec les processeurs modernes, ce coût est généralement parfaitement gérable dans la plupart des environnements domestiques et des petites entreprises, surtout comparé à la valeur ajoutée de l'intégrité des données et des instantanés.

Il convient également de mentionner que ZFS Ce n'est pas une bonne idée pour gérer les swaps.Une sorte de course contre la montre peut s'ensuivre : la RAM disponible diminue, le système souhaite utiliser davantage d'espace d'échange, ZFS tente d'étendre son ARC ou de gérer plus de métadonnées, ce qui consomme encore plus de RAM, et l'on entre dans une boucle infinie. C'est pourquoi il est courant, sur les serveurs où tout le stockage de données repose sur ZFS, de maintenir une certaine marge de sécurité. Petit RAID1 avec mdadm dédié uniquement à l'échange. et peut-être le système de base.

Du côté de mdadm, la consommation de RAM est plus modeste, car la majeure partie de l'intelligence du cache est gérée par le système de fichiers que vous placez au-dessus (par exemple, EXT4 ou XFS). Le processeur est également moins sollicité avec mdadm pur.Cependant, avec RAID5/6, le calcul de parité aura toujours un coût, qu'il soit logiciel ou matériel.

Dans tous les cas, les tests montrent que même avec des processeurs double Opteron anciens, Les pics d'utilisation du processeur lors des reconstructions RAID logicielles ne sont généralement pas catastrophiques.Il est rare qu'ils constituent le goulot d'étranglement absolu par rapport à la vitesse des disques.

Facilité d'administration quotidienne et courbe d'apprentissage

Pour quelqu'un qui part de zéro, mdadm peut sembler intimidant en raison de sa syntaxeMais une fois les quatre commandes de base maîtrisées, la gestion du RAID 1 et du RAID 10 devient relativement simple. Il en va de même pour LVM : c’est difficile au début, mais on peut ensuite facilement naviguer entre les volumes physiques, les groupes de volumes et les volumes logiques.

ZFS, pour sa part, a De nouveaux concepts sont abordés dès le début : pools, vdevs, datasets, zvols, ARC, L2ARC, ZIL/SLOG, propriétés, snapshots, scrubs…La courbe d'apprentissage est plus abrupte, mais en contrepartie, de nombreuses tâches courantes (création d'un nouvel ensemble de données compressé, prise d'un instantané, réplication des données sur un autre serveur) sont résolues avec quelques commandes très cohérentes.

Au quotidien, l'administration de ZFS séduit de nombreux administrateurs car Son interface de ligne de commande est conçue comme un tout cohérent.. Des commandes comme zpool status, zpool scrub, zfs list, zfs snapshot o zfs send | zfs recv Ils permettent de réaliser la plupart des actions sans effort. Avec mdadm et LVM, les actions sont réparties entre plusieurs outils et des fichiers de configuration épars.

Un autre atout de ZFS est le réplication de sauvegardeLa combinaison de clichés avec zfs send/recv Elle permet d'envoyer très efficacement des flux de données incrémentiels vers un autre serveur ZFS, en ne copiant que les blocs modifiés. Dans un environnement comportant plusieurs périphériques ou serveurs NAS, cette fonctionnalité intégrée est un atout considérable.

Avec mdadm et les systèmes de fichiers traditionnels, vous pouvez également monter la réplication (rsyncOutils et solutions de snapshot LVM sauvegarde spécialisé, etc.), mais rien d'aussi étroitement lié à la logique du système de fichiers que ZFS.

Dans la section relative au démarrage automatique et à l'assemblage, il est important de se rappeler que Une grappe RAID mdadm ne se montera pas automatiquement après un redémarrage si elle n'est pas correctement déclarée. dans /etc/mdadm.conf et /etc/fstab. Il en va de même pour tout système de fichiers que vous installez par-dessus. Avec ZFS, le système gère automatiquement le montage des jeux de données en fonction de leurs propriétés, ce qui simplifie quelque peu les choses.

Après avoir vu toutes ces pièces, il est clair que mdadm excelle lorsque vous recherchez un RAID logiciel classique, simple et hautement intégré sous Linux.Particulièrement pour les configurations RAID 1/10 ou lorsque la RAM est limitée et que l'on recherche une solution simple et éprouvée. ZFS, en revanche, apparaît comme la solution « tout-en-un » idéale lorsque l'intégrité des données et la flexibilité nécessaire pour créer des instantanés, cloner, compresser et répliquer des données sans dépendre d'une multitude d'outils externes sont primordiales.

Dans les environnements à forte charge de travail sur disques mécaniques ou SATA, ZFS offre généralement d'excellentes performances, et si vous ajoutez NVMe comme cache... L2ARC En tant que vdev « spécial » pour les métadonnées et les petits fichiers, il offre une excellente scalabilité. Son point faible réside peut-être dans les configurations très simples sur des disques NVMe purs, où d'autres approches, voire des disques autonomes avec des sauvegardes fiables, peuvent offrir de meilleures performances pour une complexité moindre.

Pour les situations où La performance absolue maximale est primordiale, et la redondance locale n'est pas essentielle.Parfois, il est plus judicieux d'utiliser des disques séparés, d'automatiser des sauvegardes fréquentes et de renoncer au RAID pour cette partie spécifique. Dans d'autres cas, le choix entre ZFS et mdadm dépend de l'expérience acquise, des ressources matérielles disponibles et de l'importance accordée à la commodité d'une solution intégrée par rapport à la simplicité et à la clarté d'un RAID logiciel classique.