RAID ZFS vs mdadm: confronto completo per server Linux

Quando si considera la configurazione di un server immagazzinamento serio in LinuxPrima o poi, il dubbio sorge: Dovrei usare ZFS o usare mdadm con LVM e RAID tradizionale? A prima vista sembrano due modi di fare la stessa cosa, ma in realtà rispondono a filosofie molto diverse e hanno implicazioni dirette sulle prestazioni, sulla facilità di gestione, sull'affidabilità e, naturalmente, sulla tranquillità con cui si potrà dormire quando un disco inizia a guastarsi.

In questo articolo analizzeremo con calma le differenze tra ZFS e mdadm (Linux Software RAID)Esaminando casi reali, i punti di forza e di debolezza di ciascuna soluzione, il loro comportamento con diversi livelli RAID (RAID0, RAID1, RAID5/6, RAID10, RAIDZ1/Z2…), cosa succede con i backup, il danneggiamento silenzioso dei dati, l'utilizzo di RAM o CPU e persino come le modalità cache influiscono sulle prestazioni. O_DIRECT in ambienti di virtualizzazione.

Cos'è RAID e perché è importante quando si confrontano ZFS e mdadm

Prima di approfondire ZFS e mdadm, vale la pena ricordare esattamente cosa risolve un RAID e Quali cose non risolve, per quanto a volte vengano confuse con eseguire il backupRAID è l'acronimo di "Redundant Array of Independent Disks" e il suo scopo originale era quello di combinare diversi piccoli dischi in un'unica unità logica che offrisse maggiori prestazioni, maggiore capacità utilizzabile o ridondanza contro guasti fisici.

Un RAID può combinare diverse tecniche come striping (distribuzione dei dati in blocchi su più dischi), mirroring e paritàA seconda di come si combinano questi elementi, si ottengono diversi livelli RAID: RAID0 dà priorità alle prestazioni, RAID1 alla copia esatta su un altro disco, RAID5/6 alla parità distribuita per bilanciare lo spazio e la tolleranza agli errori, RAID10 combina mirroring e striping, ecc.

La chiave è capire che RAID aumenta la disponibilità e riduce l'impatto di un guasto del discoMa non può sostituire un buon sistema di backup. È possibile perdere dati a causa di corruzione logica, eliminazioni accidentali, ransomware o un guasto catastrofico di più dischi, e il RAID non vi salverà da questo.

Inoltre, non tutti i sistemi RAID sono implementati allo stesso modo: Hardware RAID con controller dedicati, software RAID integrato nel kernel (mdadm) e soluzioni ibride come ZFS o Btrfs che combinano il gestore dei volumi e il file system in un unico livello.

ZFS: file system e gestore di volumi in un unico pacchetto

ZFS non è semplicemente “un altro tipo di RAID”: È un file system a 64 bit con un gestore di volumi integratoCiò significa che, a differenza di mdadm, non solo raggruppa i dischi, ma sa anche come vengono archiviati i dati a livello di blocco e metadati e può prendere decisioni intelligenti su integrità, cache, snapshot o compressione.

In ZFS si crea un pool di archiviazione (zpool) costituito da uno o più vdev. Ogni vdev può essere un set di dischi in RAIDZ1, RAIDZ2, mirror, ecc. I livelli RAID classici sono ancora presenti, ma con nomi diversi: RAIDZ1 sembra un RAID5, RAIDZ2 come un RAID6 e i mirror ZFS sono equivalenti alle combinazioni RAID1 o RAID10 quando si utilizzano più vdev con mirroring.

Una volta che hai lo zpool, ZFS monta automaticamente il file system associatoNon è necessario creare un dispositivo a blocchi, quindi un LVM e infine un file system separato. È possibile creare set di dati e zvol (volumi a blocchi) all'interno del pool, con quote, compressione o proprietà diverse per ciascuno.

Uno dei punti di forza principali di ZFS è il suo modello di copy-on-write (COW)Non sovrascrive mai i blocchi sul posto, ma scrive la nuova versione in un blocco diverso e aggiorna i metadati alla fine. Questo aiuta a evitare il classico problema del "write hole" in RAID 5/6, in cui un'interruzione di corrente durante un'operazione di scrittura lascia la parità in uno stato incoerente.

Inoltre, ZFS include funzionalità integrate che nel mondo mdadm/LVM/EXT4 dovresti implementare con diversi livelli aggiuntivi, come snapshot leggeri, cloni, compressione trasparente, deduplicazione, pulizia dei dati con checksum e cache avanzate. Gli Zvol si integrano molto bene con gli hypervisor per Archiviazione VM.

mdadm e LVM: RAID software classico in Linux

mdadm è l'utilità standard di Linux per la gestione MD RAID (chiamato anche Linux Software RAID)Funziona a livello di blocco, senza coinvolgere un file system. Con mdadm si crea un dispositivo /dev/mdX che raggruppa diversi dischi o partizioni fisiche, e su tale dispositivo si posiziona il file system desiderato (EXT4, XFS, ecc.) o un LVM.

La filosofia qui è modulare: mdadm gestisce RAID, LVM gestisce i volumi logici e il file system è responsabile solo dell'archiviazione dei dati.Ciò garantisce molta flessibilità, ma implica anche più livelli e più cose da configurare manualmente (fstab, script, ecc.). Boot, politiche di monitoraggio, Ecc.).

La sintassi di base di mdadm segue una struttura abbastanza logica: mdadm dispositivoLe modalità più comuni sono --create per creare un nuovo RAID, --assemble per assemblarne uno esistente, --manage per gestire un array attivo, --grow per espandersi, e --detail per visualizzare le informazioni.

Ad esempio, la creazione di un RAID1 con due dischi avrebbe un aspetto simile a questo: mdadm --create --verbose /dev/md0 --level=1 --raid-devices=2 /dev/sda1 /dev/sdb1Se l'array esiste già e deve essere montato dopo un riavvio, dovresti usare --assemble indicando il dispositivo RAID e i dischi membri.

Per configurazioni più avanzate, mdadm è spesso combinato con LVM, in modo che il RAID fornisca un blocco di archiviazione di grandi dimensioni e LVM consente di dividerlo in più volumi logici di diverse dimensioni, sui quali vengono poi montati file system e forniti servizi, Macchine virtuali, ecc.

Differenze principali tra ZFS e mdadm: architettura e funzionalità

La prima grande differenza è che ZFS integra RAID, gestore dei volumi e file systemmentre mdadm gestisce solo l'aspetto RAID software. Questo ha un impatto diretto sul tipo di operazioni che è possibile eseguire "nativamente" con ciascuna soluzione.

In mdadm, se vuoi snapshot, clonazione di volumi o provisioning sottile Per le macchine virtuali, è necessario ricorrere a file system snapshot con LVM ridotto (come Btrfs) o livelli aggiuntivi. ZFS offre tutto questo di default: qualsiasi set di dati può avere snapshot e cloni istantanei in pochi secondi, e gli zvol si integrano molto bene con gli hypervisor per l'archiviazione delle VM.

Un'altra differenza importante è il integrità dei datimdadm protegge dai guasti del disco grazie al RAID, ma non monitora ciò che accade all'interno del file system né aggiunge checksum a livello di blocco dati. ZFS, invece, calcola i checksum per tutti i blocchi dati e i metadati e, durante le operazioni di scrubbing, verifica che ciò che viene letto corrisponda a quanto previsto, correggendo da un altro disco se rileva un danneggiamento silenzioso.

Cambia anche il modo di espandere o gestire lo storageIn mdadm, è possibile scalare i livelli RAID aggiungendo dischi e quindi ridimensionando LVM e il file system, ma è un processo delicato e relativamente lento. ZFS consente di aggiungere nuovi vdev allo zpool per aumentarne la capacità; tuttavia, ogni vdev ha la propria configurazione RAID e la distribuzione dei dati avviene a livello di vdev, un aspetto da considerare durante la progettazione del pool.

Infine, la gestione quotidiana è diversa: ZFS ha comandi molto coerente e descrittivo (zpool, zfs)Mentre mdadm ha una CLI potente ma a volte poco intuitiva, e si dipende anche da file come /etc/mdadm.conf e /etc/fstab affinché tutto funzioni correttamente all'avvio.

Prestazioni: RAID10, RAID5/6, RAIDZ e casi d'uso reali

Nel campo delle prestazioni, non esiste una risposta vincente, perché Dipende molto dal tipo di disco (HDD, SATA) SSD, NVMe), livello RAID e modello di accesso (sequenziale vs casuale, letture vs scritture, dimensione del blocco, ecc.). Ciononostante, ci sono degli schemi abbastanza chiari.

Sui classici dischi rigidi e SSD SATA, ZFS solitamente funziona molto bene.Il suo design copy-on-write e il metodo di raggruppamento I/O tendono a convertire molte operazioni casuali in operazioni sequenziali, il che si adatta perfettamente alla meccanica degli hard disk meccanici. Inoltre, può sfruttare RAM, L2ARC (cache di lettura negli SSD) e ZIL/SLOG (registro di intenti di scrittura) per attenuare i picchi e migliorare la latenza.

Tuttavia, quando tutto lo storage primario è NVMe veloce, ZFS non raggiunge sempre il 100% del suo potenzialeÈ stato progettato in un'epoca in cui la latenza del disco forniva ampio margine per i calcoli della CPU in attesa del disco; con NVMe, a volte la CPU diventa il collo di bottiglia, con conseguenti prestazioni inferiori a quelle che una singola unità NVMe avrebbe fornito "da sola".

Per quanto riguarda mdadm, i test effettivi mostrano che Offre prestazioni solide, soprattutto in RAID0, RAID1 e RAID10.Tuttavia, in alcuni scenari con RAID5/6 software, può risultare inferiore a RAID hardware e ZFS, soprattutto nelle operazioni di scrittura intensiva in cui i calcoli di parità e il journaling sono più dannosi.

Esistono casi d'uso reali in cui un RAID10 di grandi dimensioni con mdadm (ad esempio, 16 unità da 2 TB in RAID10 con una capacità di elaborazione teorica superiore a 1 GB/s) non raggiunge tali cifre negli usi pratici (traffico reale, copie tramite 10GbEecc.). La teoria dice una cosa, ma l'intero stack (protocollo di rete, CPU, file system, cache) spesso limita le prestazioni finali al di sotto del massimo grezzo dell'array.

Affidabilità e problemi tipici: write hole, O_DIRECT e corruzione silenziosa

Oltre alle cifre MB/s, ciò che distingue veramente ZFS e mdadm è come gestiscono i fallimenti e gli scenari "brutti": interruzioni di corrente durante le scritture, danneggiamento silenzioso, bug del kernel o applicazioni che utilizzano modalità di accesso diretto al disco.

Il famoso Foro di scrittura RAID Questo problema riguarda le implementazioni RAID 5/6, dove un'interruzione di corrente può lasciare incompleta la scrittura dei dati e la relativa parità, causando incongruenze interne difficili da rilevare. I controller RAID hardware mitigano questo problema con la cache di scrittura protetta da batteria (BBU), mentre ZFS lo evita grazie al suo modello COW, che considera valida la nuova versione dei dati solo quando tutto è stato scritto correttamente.

Nel mondo Linux, mdadm si basa su meccanismi come journaling e bitmap Per ridurre i rischi, rimane tuttavia più vulnerabile a questi scenari rispetto a ZFS o a un buon RAID hardware con cache protetta. Questo è evidente sia in termini di affidabilità che di prestazioni in caso di carichi di lavoro ad alta intensità di scrittura, dove il journaling ricade direttamente sui dischi lenti.

Un altro tema delicato è l’uso di O_DIRECT (cache "nessuna" nelle VM) Negli ambienti di virtualizzazione, quando una macchina virtuale accede allo storage tramite accesso diretto al dispositivo, il RAID software (md/dm) può finire per inoltrare lo stesso puntatore di memoria come più scritture indipendenti su ciascun disco. Se un altro thread modifica la memoria mentre queste scritture sono in corso, ogni disco potrebbe finire per registrare contenuti diversi, degradando o corrompendo il RAID.

È stato addirittura documentato un caso reale in cui Una scrittura nello swap in corso coincide con il rilascio di quella memoriaL'input di swap viene scartato mentre l'I/O continua e il RAID finisce per contrassegnare l'array come degradato. Tecnicamente O_DIRECT Promette di "cercare di ridurre al minimo l'effetto delle cache", di non compromettere la coerenza tra le repliche, ma in pratica è una modalità in cui bisogna fare molta attenzione con MD RAID.

Se si evita la modalità di memorizzazione nella cache nelle VM o si sa esattamente cosa si sta facendo, mdadm è perfettamente validoTuttavia, si consuma leggermente più RAM. Con ZFS, d'altra parte, la cache e il controllo del flusso di I/O sono molto più integrati nello stack del file system, e il rischio che si verifichino questi scenari è significativamente ridotto.

Esempi pratici: dai grandi array RAID10 ai pool non ridondanti per le VM

Per vedere la differenza filosofica tra ZFS e mdadm, è molto utile rivedere scenari di utilizzo nel mondo reale che riflettono le domande più comuni poste dagli amministratori e dagli utenti avanzati.

Nel primo caso, qualcuno ha un server con Ubuntu e 16 dischi da 2 TB in RAID10 utilizzando mdadmLa velocità di base è eccellente, ma soffre di un problema di affidabilità specifico: dopo alcuni riavvii, l'array non si avvia correttamente, richiedendo ripetuti interventi di smontaggio e ricostruzione. Questo è esattamente il tipo di situazione che il RAID dovrebbe prevenire.

Parte del rischio deriva dal fatto che RAID10, così come è attualmente configurato, non tollera questo due dischi consecutivi si guastano, lasciando una striscia completa senza datiQuesto è il tallone d'Achille di questo specifico progetto: si verifica la condizione di guasto teorica che RAID10 non è in grado di gestire e l'array non è più recuperabile in modo pulito.

In quella situazione, opzioni come trasferirsi a RAID50 (5 strisce RAID5 da 3 dischi ciascuna, più una di riserva) o RAID60 (2 strisce RAID6 da 8 dischi)E nasce anche l'idea di migrare tutto su ZFS con configurazioni equivalenti: cinque vdev RAIDZ1 da 3 dischi (con un disco di riserva) o due vdev RAIDZ2 da 8 dischi, cercando un compromesso tra prestazioni e tolleranza agli errori.

La conclusione logica è che, con così tanti record, La progettazione del layout è importante tanto quanto la tecnologia scelta.Un numero maggiore di vdev solitamente fornisce più IOPS e throughput, ma aumenta anche la complessità della gestione degli errori; un paio di vdev RAIDZ2 di grandi dimensioni rafforzano la tolleranza agli errori, ma potrebbero essere un po' meno agili con determinati carichi di lavoro.

In un altro esempio, un amministratore desidera impostare un pool di dati per i dischi di lavoro delle macchine virtuali dove la priorità assoluta è quella di sfruttare al massimo i 4 TB di capacità e ottenere buone prestazioni, senza preoccuparsi troppo della ridondanza, poiché il backup delle VM viene eseguito fuori sede su altri storage, anche fuori sede.

La decisione è tra l'istituzione di un Pool ZFS in RAID0 o una pila basata su LVM-thin su mdadm RAID0Entrambe consentono snapshot e thin provisioning per le VM, ideali per i backup online su piattaforme come Proxmox. In questo caso, la tipica raccomandazione di "non utilizzare RAID0 in produzione" diventa meno pertinente, perché il disaster recovery si basa su backup esterni, non sulla resilienza locale.

Il decisore ha una vasta esperienza con ZFS, ma ha appena toccato mdadm/LVM. Il dilemma qui non è tanto l'affidabilità (che è già garantita dai backup) quanto... facilità di gestione quotidiana, integrazione della piattaforma e prestazioni sostenute nei carichi di lavoro di virtualizzazione.

RAID hardware contro ZFS e mdadm: CPU, cache e portabilità

Il confronto non può ignorare il ruolo di Hardware RAID con controller dedicati, molto comune nei server di marca (Dell, HP, ecc.). Una scheda di tipo Dell H710P (come molte Controllori LSIÈ dotato di un proprio processore, di memoria cache (spesso da 1 GB) e di BBU per garantire che le scritture nella cache sopravvivano a un'interruzione di corrente.

Il grande vantaggio del RAID hardware è che Il sistema operativo vede solo un disco logicoCiò semplifica notevolmente la compatibilità e consente l'utilizzo di praticamente qualsiasi sistema operativo senza la necessità di complesse configurazioni RAID software. Inoltre, la CPU centrale rileva a malapena la parità e il pesante carico di lavoro I/O, poiché il controller gestisce tutto.

Ma in cambio sposi quella donna controllante: Se si rompe, spesso è necessario lo stesso identico modello per poter recuperare l'arrayCon software RAID come mdadm o ZFS, è sufficiente spostare i dischi su un altro server con Linux e gli strumenti necessari; l'array può essere rilevato e assemblato senza troppi problemi.

Un altro problema pratico con i controllori è l' dipendenza dagli strumenti e dalle utilità di gestione del produttoreQuesti non sono sempre ben mantenuti per le distribuzioni moderne. Di solito includono un ambiente di configurazione pre-avvio (BIOS/UEFI del controller), ma sulle schede madri consumer, l'hardware a volte non viene nemmeno rilevato correttamente.

In termini di prestazioni, nei test con otto unità WD Red Plus da 4 TB in RAID 6, l'hardware RAID in genere fornisce velocità di lettura e scrittura sequenziale migliorateZFS è seguito da vicino, mentre mdadm si piazza ultimo, soprattutto per le scritture complesse. Il motivo probabile è che ZFS e il RAID hardware risolvono il problema delle scritture e sfruttano cache veloci, mentre mdadm si affida quasi esclusivamente ai dischi fisici per il journaling e le ricostruzioni.

Consumo di risorse: RAM, CPU e swap

Uno dei commenti più ripetuti su ZFS è che "Lui ama la RAM"Ed è vero: maggiore è la memoria disponibile per ARC (Adaptive Replacement Cache), migliore sarà la memorizzazione nella cache delle letture e il miglioramento delle prestazioni. Sui server più esigenti, si consiglia inoltre di utilizzare la memoria ECC in modo che ZFS non debba gestire errori di RAM che potrebbero compromettere l'integrità dei checksum.

In termini di CPU, ZFS consuma leggermente di più di mdadm, soprattutto se si abilita compressione, deduplicazione o utilizzo di numerose funzionalità avanzateTuttavia, con le CPU moderne, questo costo è solitamente perfettamente gestibile nella maggior parte degli ambienti domestici e delle piccole imprese, soprattutto se paragonato al valore aggiunto dell'integrità dei dati e degli snapshot.

Va anche detto che ZFS Non è una buona idea per gestire lo swap.Può verificarsi una sorta di gara: la RAM disponibile diminuisce, il sistema vuole usare più swap, ZFS cerca di aumentare il suo ARC o di gestire più metadati, il che consuma ancora più RAM, e si entra in un loop spiacevole. Ecco perché è pratica comune sui server in cui tutti i dati sono archiviati su ZFS mantenere un piccolo RAID1 con mdadm solo per lo swap e forse il sistema di base.

Sul lato mdadm, il consumo di RAM è più modesto, poiché la maggior parte dell'intelligenza della cache è gestita dal file system che si installa in cima (ad esempio, EXT4 o XFS). Anche la CPU soffre meno con mdadm puroTuttavia, con RAID5/6, il calcolo della parità avrà sempre un costo, sia esso software o hardware.

In ogni caso, i test dimostrano che anche con le CPU veterane di tipo dual-Opteron, I picchi della CPU durante le ricostruzioni RAID software non sono solitamente catastrofici.È raro che costituiscano un collo di bottiglia assoluto rispetto alla velocità dei dischi.

Facilità di amministrazione quotidiana e curva di apprendimento

Per qualcuno che parte da zero, mdadm può sembrare intimidatorio a causa della sua sintassiMa una volta appresi quattro comandi di base, gestire RAID 1 e RAID 10 diventa relativamente semplice. Lo stesso vale per LVM: all'inizio è difficile, ma poi si riesce a navigare facilmente tra volumi fisici, gruppi di volumi e volumi logici.

ZFS, da parte sua, ha Altri nuovi concetti all'inizio: pool, vdev, dataset, zvol, ARC, L2ARC, ZIL/SLOG, proprietà, snapshot, scrub...La curva di apprendimento è più ripida, ma in cambio molte attività comuni (creare un nuovo set di dati con compressione, creare uno snapshot, replicare i dati su un altro server) vengono risolte con un paio di comandi molto coerenti.

Nell'amministrazione quotidiana, ZFS conquista molti amministratori perché La sua CLI è progettata come un insieme coerenteComandi come zpool status, zpool scrub, zfs list, zfs snapshot o zfs send | zfs recv Coprono la maggior parte delle azioni con il minimo sforzo. Con mdadm e LVM, le azioni sono distribuite su più strumenti e file di configurazione sparsi.

Un altro punto di forza di ZFS è il replica di backupLa combinazione di istantanee con zfs send/recv Permette di inviare flussi di dati incrementali a un altro server ZFS in modo molto efficiente, copiando solo i blocchi modificati. Per un ambiente con più dispositivi o server NAS, avere questa funzionalità integrata è un vero vantaggio.

Con mdadm e i file system tradizionali è possibile anche montare la replica (rsyncStrumenti e soluzioni per snapshot LVM di riserva specializzato, ecc.), ma niente di così strettamente accoppiato alla logica del file system come ZFS.

Nella sezione di avviamento e montaggio automatico è importante ricordare che Un array RAID mdadm non verrà montato automaticamente dopo un riavvio se non è dichiarato correttamente. in /etc/mdadm.conf e /etc/fstab. Lo stesso vale per qualsiasi file system che si aggiunga al file system. In ZFS, il sistema gestisce autonomamente il montaggio dei set di dati in base alle loro proprietà, il che semplifica un po' le cose.

Dopo aver visto tutti questi pezzi, è chiaro che mdadm è la soluzione ideale quando si desidera un RAID software classico, semplice e altamente integrato in Linux.Soprattutto nelle configurazioni RAID 1/10 o quando si hanno vincoli di RAM e si desidera qualcosa di sobrio e collaudato, ZFS, d'altro canto, sembra la soluzione "tutto in uno" ideale quando si ha a cuore sia l'integrità dei dati sia la flessibilità di creare snapshot, clonare, comprimere e replicare senza dover ricorrere a mille strumenti esterni.

Negli ambienti con carichi di lavoro pesanti su dischi meccanici o SATA, ZFS offre solitamente prestazioni eccellenti e se si aggiunge NVMe come cache... L2ARC Oppure, come vdev "speciale" per metadati e file di piccole dimensioni, può scalare molto bene. Potrebbe però presentare qualche lacuna in configurazioni molto semplici su unità NVMe pure, dove altri approcci o persino unità standalone con buoni backup possono offrire maggiori prestazioni a fronte di una minore complessità.

Per situazioni in cui La massima prestazione assoluta è fondamentale e la ridondanza locale non è critica.A volte ha più senso utilizzare dischi separati, automatizzare backup frequenti e rinunciare al RAID per quella parte specifica. In altri casi, la scelta tra ZFS e mdadm si riduce a una valutazione dell'esperienza pregressa, delle risorse hardware disponibili e di quanto si apprezzi la comodità di avere tutto integrato rispetto alla semplicità e alla pulizia del classico RAID software.