Cambiare un disco rotto in ZFS

Situazione di partenza

Attenzione: versioni diverse di PVE hanno metodi abbastanza diversi fra loro. Se si usa UEFI e non BIOS ci sono differenze. Se si usa systemd-bootloader o come cavolo si chiama e non GRUB ci sono differenze. Questa procedura funzione SOLO con le condizioni sotto indicate

Questa procedura è stata usata in questa configurazione:

• pve-manager/6.0-4/2a719255 (running kernel: 5.0.15-1-pve)
• due dischi in ZFS dai quali viene fatto il boot in modalità BIOS con GRUB
• il disco sda è guasto
• la macchina supporta hot swap (anche se ufficialmente non lo fa, di fatto lo fa)

La condizione iniziale è un failure del mirror, che si presenta cosi`:

• #zpool status
    pool: rpool
   state: DEGRADED
  status: One or more devices has been removed by the administrator.
          Sufficient replicas exist for the pool to continue functioning in a
          degraded state.
  action: Online the device using 'zpool online' or replace the device with
          'zpool replace'.
    scan: scrub repaired 0B in 0 days 02:57:11 with 0 errors on Sun Sep 11 03:21:12 2022
  config:
  
          NAME                                             STATE     READ WRITE CKSUM
          rpool                                            DEGRADED     0     0     0
            mirror-0                                       DEGRADED     0     0     0
              ata-HGST_HUS722T2TALA604_WMC6N0P2VZD7-part3  REMOVED      0     0     0
              ata-HGST_HUS722T2TALA604_WMC6N0P3WHRV-part3  ONLINE       0     0     0

I dischi sono partizionati (default dell'installer di PVE) in questo modo:

• Una partizione BIOS BOOT
• Una partizione EFI
• Una partizione grande con dentro ZFS

La caratteristica peculiare di questa installazione (default di PVE prima di 6.4) è che usa GRUB con il supporto per ZFS, ergo boota caricando il kernel dalla partizione ZFS (sda3 / sdb3) e non dalla partizione EFI, nella quale comunque si trova una copia del kernel e (credo) del bootloader di systemd, che non viene usato. Ricordo che il PC boota in modalità BIOS e non UEFI. Ogni versione di PVE ha piccole differenze, e la documentazione purtroppo non è dettagliatissima, specie per le versioni piu` vecchie.

Procedura

• mettere definitivamente offline il disco che già è guasto (nel nostro caso, il disco è ata-HGST_HUS722T2TALA604_WMC6N0P2VZD7-part3 ovvero /dev/sda3) usando il comando "zpool offline <nomepool> <nomedisco>"

  zpool offline rpool ata-HGST_HUS722T2TALA604_WMC6N0P2VZD7-part3

• Staccare fisicamente il disco e cambiarlo con uno totalmente vergine
• Verificare che il kernel lo veda (nel mio caso ho cambiato sda con un disco nuovo che viene visto sempre come sda)

• Copiare le partizioni (GPT) dal disco buono a quello nuovo (occhio a non fare al contrario) con il comando "sgdisk <disco ancora funzionante> -R <disco nuovo>"

  sgdisk /dev/sdb -R /dev/sda

• Randomizzare gli UID delle partizioni, in quanto la copia le fa IDENTICHE e non vogliamo avere UID uguali nei due dischi. Si usa il comando "sgdisk -G <disco nuovo>"

  sgdisk -G /dev/sda

• Eseguire dentro ZFS il "replace" del disco rotto con quello nuovo. Per verificare come si chiama il disco nuovo, ci aiuta fare un "ls -la /dev/disk-by-id" dove troviamo dei link simbolici dall' ID al /dev/sdXX. Qui vediamo che il nostro nuovo disco si chiama ata-HGST_HUS722T2TALA604_WMC6N0R544H5-part3. Facciamo quindi il comando "zpool replace <nome del pool> <id del disco rotto> <id del disco nuovo>". In questo caso a dire il vero non sono dischi ma partizioni di dischi. L' id del disco rotto l'abbiamo visto prima con il comando "zpool status". La doc di PVE dice di usare il modificatore "-f" (force), io non l'ho usato e ha funzionato lo stesso.

  # zpool replace rpool ata-HGST_HUS722T2TALA604_WMC6N0P2VZD7-part3 ata-HGST_HUS722T2TALA604_WMC6N0R544H5-part3

• Ora dovrebbe iniziare la ricostruzione del mirror, che impiegherà qualche ora ragionevolmente, in funzione di dimensioni e velocità (e spazio occupato nel disco). La posso seguire con il comando

  zpool status

• A questo punto devo ASPETTARE CHE FINISCA altrimenti grub NON SI INSTALLA. Ergo, posso andare a pranzo.
• Finita la ricostruzione, formattiamo e riempiamo la partizione EFI (nel nostro caso, /dev/sda2) anche se di fatto non la useremo. Ma è opportuno averla funzionante se mai dovessimo avviare da super grub disk in quanto quest'ultimo NON VEDE ZFS. Per fare questo lavoro possiamo usare il comando pve-efiboot-tool che è stato però sostituito da "proxmox-boot-tool" dalla 6.4 in poi. Io poi per stare sicuro di copio dentro anche la config di grub, sempre per poterla poi leggere con super grub disk.

   pve-efiboot-tool format /dev/sda2
   pve-efiboot-tool init   /dev/sda2
   mount /dev/sda2 /mnt
   cp -a /boot/grub /mnt
   umount /mnt

• ultimo passo, installiamo grub su /dev/sda (il nostro disco nuovo) lasciando stare quello gia` presente su /dev/sdb (il nostro disco vecchio)

  grub-install /dev/sda

Riferimento dal quale ho preso parte della procedura: https://pve.proxmox.com/wiki/ZFS_on_Linux#sysadmin_zfs_change_failed_dev