Usare Rsync per convertire il charset dei files
Rsync (versioni recenti) supporta il magico comando --iconv per convertire il charset dei files da un formato ad un altro. Questa funzione` e` molto utile quando si copiano dati da una macchina vecchia a una nuova che ragiona in utf-8, o anche da un mac in utf-8 a un Linux in utf-8, perche` ovviamente il mac ha un formato utf-8 che non e` standard.
Se non e` chiaro quale sia il charset di partenza, occorrera` fare delle prove fino a scoprirlo. Ricordatevi che ogni prova che fate creera` dei files che poi andranno ad accumularsi e fare quasi sicuramente casino. Fate le prove in un ambiente pulito che poi cancellate e riprovate fino a che non ci siete riusciti.
La sintassi del comando --iconv e` nel manuale di rsync, e vi consiglio di verificare se non e` cambiata fra una versione e l'altra. Attualmente prende due parametri: charset di partenza e charset di arrivo, in questo ordine. Dunque, per convertire da cp850 a utf-8, diremo --iconv=cp850,utf8.
Posso applicare il comando --iconv a una copia di files oppure anche fare una cosa abbastanza ardita, cioe` modificare i files in loco e cancellare i vecchi (TERRORE!).
Per questa ultima opzione suicida, facciamo un esempio. Alterare il charset dei files (e delle directory) dalla directory corrente in giu`, da cp850 a utf-8, cancellando i files con il vecchio nome dopo averli convertiti. Prima lo facciamo in modo prova, senza cioe` eseguire davvero il comando:
rsync --iconv=cp850,utf8 -anv --stats --times --progress --delete-after . .
Notare i due "punto" in fondo alla command line, che vogliono dire "dalla directory corrente alla directory corrente". Il parametro "n" significa "non fare niente, fai solo finta".
Se lo volete fare davvero, togliete "n" dalla command line (-anv diventa -av). Nel farvi notare che se lo eseguite (per davvero, non in test) due volte di fila, farete un casino allucinante perche` ri-convertirete in modo errato i files gia` convertiti, vi auguro buon danno.
Usare Rsync per fare backup remoti via ssh
Questo documento descrive come usare rsync (attraverso ssh) per fare i backup remoti di una directory da una macchina ad un'altra. E` consigliata comunque una lettura dei manuali di Rsync perche` ha un milione di opzioni alcune delle quali potenzialmente pericolose.
Il sistema qui descritto esegue di fatto un mirror della directory, quindi ha alcuni limiti da prendere bene in considerazione:
- Se si cancella un file nell'originale, viene cancellato anche nella copia. Questo e` voluto, per non accumulare nella copia mucchi di files inutili, pero` e` importante sottolinearlo.
- ATTENZIONE, LA CANCELLAZIONE E` POTENZIALMENTE DANNOSISSIMA. UN ERRORE E CIAO FILE SYSTEM DI DESTINAZIONE!
- Questo sistema fa una copia sola, non tiene alcuno storico. Quindi se si fa un errore e poi un backup, non ci sono piu` copie "buone" (prima dell'errore) da recuperare. Eventualmente se si vuole tenere uno storico, si puo` backuppare in locale la copia su un file tar o come si vuole. Ovviamente non bisogna alterare il contenuto della copia altrimenti poi Rsync rischia di dover trasferire piu` roba di quella necessaria per riallineare le directory
- La copia avviene SOLO IN UN VERSO, dalla sorgente alla destinazione. Non si tratta di una sincronizzazione bidirezionale. Per fare sincro bidirezionali si puo` usare "Unison".
Principio di funzionamento
Si installa rsync su tutte e due le macchine, e da una delle due lo si lancia facendo in modo che esso stesso lanci, attraverso ssh, la sua "controparte" sull'altra macchina. Alla fine della sincronizzazione rsync termina su tutte due le macchine, e non resta in ascolto in alcun modo. Per usare questo sistema occorre ovviamente avere un account (dedicato, oppure il tuo utente, oppure root se devi sincronizzare roba che puo` essere letta solo da root) sulla macchina remota. Non e` necessario che l'account usato localmente sia lo stesso usato in remoto. Se si vuole usare questo sistema da cron, occorre per forza usare l'autenticazione a chiavi asimmetriche in ssh, per non dover usare delle password. Se lo si usa a mano, si puo` anche usare una normale autenticazione a password.
Creazione chiavi asimmetriche
Questa parte e` necessaria solo se si vuole lanciare rsync in modo automatico senza dover dare una password per la connessione.
Creare le chiavi asimmetriche con il comando ssh-keygen avendo cura di NON impostare una passphrase.
Copiare la chiave pubblica nel file .ssh/authorized_keys nella home dell'utente sulla macchina "remota" a cui poi ci si colleghera`.
- Copiare la chiave privata in un file che poi dovremo indicare nella linea di comando di rsync sulla macchina "locale". E` bene che solo l'utente che deve lanciare rsync possa leggere questo file, perche` si tratta di una chiave privata senza password.
Parametri di rsync
Qui di seguito il lancio di rsync usando chiavi asimmetriche per autenticare, per fare un backup da una macchina remota (10.1.1.1) usando l'utente remoto rsync (creato all'uopo, ma va bene qualsiasi utente) dal path remoto "/home/" al path locale "/backup/home". La sintassi dei path di partenza e destinazione e` praticamente identica a quella di scp. Non e` affatto necessario che la copia vada dalla macchina remota a quella locale, puo` anche andare al contrario. E` consigliabile leggere comuque il manuale, specie relativamente all'opzione "--delete". Per testare le cose senza fare danni, si puo` usare il parametro "n" e togliere il parametro "q".
# q = quiet, z=comprimi # il file chiave_dsa_rsync contiene la chiave privata # exclude funziona come in tar # gli ultimi due parametri sono username@host:path sorgente e path destinazione. rsync -qaz --stats --delete -e "ssh -i chiave_dsa_rsync" --exclude ".ssh" --exclude ".bash_history" --exclude ".viminfo" rsync@10.1.1.1:/home/ /backup/home/
Operazioni manuali semplici
Supponendo di voler lanciare qualcosa a mano una tantum, senza uso delle chiavi ma con le semplici password, ecco alcuni esempi utili.
- Dalla macchina remota alla macchina locale, copia completa con cancellazione di quello che non c'e`. Attenzione perche` la cancellazione e` crudele e spesso fa danni. Ricordiamoci che la cancellazione spazza via tutto quello che c'e` sulla destinazione e che non c'e` nella sorgente, quindi se c'e` roba in piu`, la cancella. Se si sbaglia destionazione e per dire si fa sulla root della macchina remota, vi fotte tutto il file system!!! Occhio soprattutto a non finire per sbaglio una directory piu` indietro di dove si vorrebbe finire. E` sempre meglio fare prima una prova (con la "n" al posto della "v") in quanto dall'output della prova si vede subito che rsync vorrebbe cancellare un sacco di roba che voi non volevate cancellare.
rsync -vaz --stats --delete rsync@10.1.1.1:/home/ /backup/home/
- Dalla macchina locale alla macchina remota, test (ovvero non fa nulla, mostra solo quello che farebbe) di copia completa con cancellazione.
rsync -naz --stats --delete /ud0/ root@jorge:/ud0/
- Come sopra, ma non e` un test, lo fa davvero (cambia la "n" in "v"):
rsync -vaz --stats --delete /ud0/ root@jorge:/ud0/
Usare Rsync per fare backup locali
Semplice copia con rsync fra due dischi locali, con cancellazione dalla destinazione dei files che non ci sono nella sorgente:
rsync -a --del --stats /source /destination rsync -a --del --stats /home /mnt