iLinux

Promotion des logiciels libres et partage du savoir.

Outils pour utilisateurs

Outils du site


documentations:logiciels:gargantua

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentes Révision précédente
Prochaine révision
Révision précédente
documentations:logiciels:gargantua [17/10/2019 11:35]
stephane.dufour.ilinux.fr [Fonctionnement et recettes]
documentations:logiciels:gargantua [21/12/2019 22:07] (Version actuelle)
stephane.dufour.ilinux.fr
Ligne 18: Ligne 18:
 \\ \\
   * le mode de fonctionnement adopté (mode pull),   * le mode de fonctionnement adopté (mode pull),
-  * la sécurisation qui en découle (isolation physique et logique),+  * la sécurisation qui en découle (isolation physique et logique du lieu de stockage des sauvegardes),
   * les possibilités d'évolution pour faire des sauvegardes sans pénaliser les performances de la production et sans interruption de service perceptibles par nos adhérents (snapshot).   * les possibilités d'évolution pour faire des sauvegardes sans pénaliser les performances de la production et sans interruption de service perceptibles par nos adhérents (snapshot).
 \\ \\
Ligne 37: Ligne 37:
  
 Pour notre sauvegarde nous utilisons le logiciel libre [[https://www.borgbackup.org/|BorgBackup]].\\ Pour notre sauvegarde nous utilisons le logiciel libre [[https://www.borgbackup.org/|BorgBackup]].\\
 +{{ :medias:borgbackup.png?direct&200 |}}
 +
 Nous n'allons pas nous étaler sur les [[https://www.borgbackup.org/demo.html|caractéristiques techniques]] de l'outil mais sachez seulement qu'il permet, entre autre : Nous n'allons pas nous étaler sur les [[https://www.borgbackup.org/demo.html|caractéristiques techniques]] de l'outil mais sachez seulement qu'il permet, entre autre :
-  * de faire de la sauvegarde complète incrémentale, +  * de faire de la sauvegarde complète incrémentale (on ne sauvegarde que ce qui a changé)
-  * de la dé-duplication de données : si vous sauvegardez 100 fois le même fichiersce dernier ne prendra qu’une fois sa taille sur disque,+  * de la dé-duplication de données : si vous stockez 100 fois les mêmes donnéesla sauvegarde de ces dernières ne prendra qu’une fois leur taille sur disque,
   * d'avoir une rétention de données considérable,   * d'avoir une rétention de données considérable,
-  * de crypter la sauvegarde,+  * **de crypter la sauvegarde (ce que nous ne faisons pas chez ilinux)**,
   * ... voir le site officiel : [[https://borgbackup.readthedocs.io/en/stable/|ici]].   * ... voir le site officiel : [[https://borgbackup.readthedocs.io/en/stable/|ici]].
  
Ligne 47: Ligne 49:
  
   * **une sauvegarde journalière glissante sur 15 jours,**   * **une sauvegarde journalière glissante sur 15 jours,**
-  * **une sauvegarde mensuelle, nous conservons donc les douze derniers mois,**+  * **une sauvegarde mensuelle, nous conservons les douze derniers mois,**
   * **une sauvegarde annuelle, nous gardons 5 années.**   * **une sauvegarde annuelle, nous gardons 5 années.**
  
Ligne 56: Ligne 58:
 {{:medias:back_to_the_future.jpeg?direct&400|}} {{:medias:back_to_the_future.jpeg?direct&400|}}
  
-==== Fonctionnement et recettes ====+==== Fonctionnement de la sauvegarde  ====
  
  
Ligne 62: Ligne 64:
  
 Il sauvegarde un à un tous les serveurs de notre infrastructure, mais comme il travaille en sauvegarde incrémentielle , il ne copie que ce qui a changé depuis la sauvegarde précédente.\\ Il sauvegarde un à un tous les serveurs de notre infrastructure, mais comme il travaille en sauvegarde incrémentielle , il ne copie que ce qui a changé depuis la sauvegarde précédente.\\
-Sur des serveurs où les données ne changent quasiment pas (80 % de nos serveurs) on arrive à un temps de sauvegarde qui se compte en seconde et à des tailles de sauvegarde ridicules (hormis pour la toute première sauvegarde).+Sur des serveurs où les données ne changent quasiment pas (80 % de nos serveurs) on arrive à un temps de sauvegarde (exemple ci-dessous :  1 minutes 13.38 secondes) qui se compte en quelques minutes et à des tailles de sauvegarde ridicules (hormis pour la toute première sauvegarde).
  
 Les **__dépôts Borgbackup__** (les sauvegardes), un dépôt par serveur sauvegardé (physique, vm ou ct), sont placés **//sur un disque en RAID5//** piloté par **__mdadm__** qui nous signale par courriel un dysfonctionnement.\\ Les **__dépôts Borgbackup__** (les sauvegardes), un dépôt par serveur sauvegardé (physique, vm ou ct), sont placés **//sur un disque en RAID5//** piloté par **__mdadm__** qui nous signale par courriel un dysfonctionnement.\\
Ligne 82: Ligne 84:
  
 <code bash> <code bash>
->>>> sav_srv_ilinux.sh sur serveur : "web666", executé le lundi 14 oct. 05:00:01+>>>> sav_srv_ilinux.sh sur serveur : "websrv", executé le lundi 14 oct. 05:00:01
  
-lundi 14 oct. 05:00:01 web666 sav_srv_ilinux.sh[2838]: [INFO] DEBUT-SCRIPT +lundi 14 oct. 05:00:01 websrv sav_srv_ilinux.sh[2838]: [INFO] DEBUT-SCRIPT 
-lundi 14 oct. 05:00:01 web666 sav_srv_ilinux.sh[2838]: [INFO] Parametres : "web666+lundi 14 oct. 05:00:01 websrv sav_srv_ilinux.sh[2838]: [INFO] Parametres : "websrv
-lundi 14 oct. 05:00:01 web666 sav_srv_ilinux.sh[2838]: [INFO] Serveur "web666" en ligne +lundi 14 oct. 05:00:01 websrv sav_srv_ilinux.sh[2838]: [INFO] Serveur "websrv" en ligne 
-lundi 14 oct. 05:00:01 web666 sav_srv_ilinux.sh[2838]: [INFO] Serveur "web666" : "stop" "nginx" +lundi 14 oct. 05:00:01 websrv sav_srv_ilinux.sh[2838]: [INFO] Serveur "websrv" : "stop" "nginx" 
-lundi 14 oct. 05:00:02 web666 sav_srv_ilinux.sh[2838]: [INFO] Export des bases "mysql" sous "/root/Prod/Sauvegardes/Bases" +lundi 14 oct. 05:00:02 websrv sav_srv_ilinux.sh[2838]: [INFO] Export des bases "mysql" sous "/root/Prod/Sauvegardes/Bases" 
-lundi 14 oct. 05:00:02 web666 sav_srv_ilinux.sh[2838]: [INFO] Compression du fichier "/root/Prod/Sauvegardes/Bases/web666-mysql---all-databases.sql" sous "/root/Prod/Sauvegardes/Bases"\\ +lundi 14 oct. 05:00:02 websrv sav_srv_ilinux.sh[2838]: [INFO] Compression du fichier "/root/Prod/Sauvegardes/Bases/websrv-mysql---all-databases.sql" sous "/root/Prod/Sauvegardes/Bases" 
-lundi 14 oct. 05:00:03 web666 sav_srv_ilinux.sh[2838]: [INFO] Export des bases "postgresql" sous "/root/Prod/Sauvegardes/Bases"\\ +lundi 14 oct. 05:00:03 websrv sav_srv_ilinux.sh[2838]: [INFO] Export des bases "postgresql" sous "/root/Prod/Sauvegardes/Bases" 
-lundi 14 oct. 05:00:04 web666 sav_srv_ilinux.sh[2838]: [INFO] Compression du fichier "/root/Prod/Sauvegardes/Bases/web666-postgresql---full.sql" sous "/root/Prod/Sauvegardes/Bases" +lundi 14 oct. 05:00:04 websrv sav_srv_ilinux.sh[2838]: [INFO] Compression du fichier "/root/Prod/Sauvegardes/Bases/websrv-postgresql---full.sql" sous "/root/Prod/Sauvegardes/Bases" 
-lundi 14 oct. 05:00:04 web666 sav_srv_ilinux.sh[2838]: [INFO] Serveur "web666" en ligne +lundi 14 oct. 05:00:04 websrv sav_srv_ilinux.sh[2838]: [INFO] Serveur "websrv" en ligne 
-lundi 14 oct. 05:00:04 web666 sav_srv_ilinux.sh[2838]: [INFO] Montage "/root/Prod/mnt/BorgBackup/web666" de "web666+lundi 14 oct. 05:00:04 websrv sav_srv_ilinux.sh[2838]: [INFO] Montage "/root/Prod/mnt/BorgBackup/websrv" de "websrv
-lundi 14 oct. 05:00:04 web666 sav_srv_ilinux.sh[2838]: [INFO] Sauvegarde de "/root/Prod/mnt/BorgBackup/web666/etc /root/Prod/mnt/BorgBackup/web666/root /root/Prod/mnt/BorgBackup/web666/home /root/Prod/mnt/BorgBackup/web666/var" en cours+lundi 14 oct. 05:00:04 websrv sav_srv_ilinux.sh[2838]: [INFO] Sauvegarde de "/root/Prod/mnt/BorgBackup/websrv/etc /root/Prod/mnt/BorgBackup/websrv/root /root/Prod/mnt/BorgBackup/websrv/home /root/Prod/mnt/BorgBackup/websrv/var" en cours
 ------------------------------------------------------------------------------ ------------------------------------------------------------------------------
-Archive name: web666-14_10_2019:00+Archive name: websrv-14_10_2019:00
 Archive fingerprint: dae2ce16ahdfh4df9hd4h94dh4h9dd14fc6fcd6fe6ff8573378a55022f5dfd1 Archive fingerprint: dae2ce16ahdfh4df9hd4h94dh4h9dd14fc6fcd6fe6ff8573378a55022f5dfd1
 Time (start): Mon, 2019-10-14 05:00:05 Time (start): Mon, 2019-10-14 05:00:05
Ligne 111: Ligne 113:
 ------------------------------------------------------------------------------ ------------------------------------------------------------------------------
  
-lundi 14 oct. 05:01:22 web666 sav_srv_ilinux.sh[2838]: [INFO] Démontage de "/root/Prod/mnt/BorgBackup/web666+lundi 14 oct. 05:01:22 websrv sav_srv_ilinux.sh[2838]: [INFO] Démontage de "/root/Prod/mnt/BorgBackup/websrv
-lundi 14 oct. 05:01:22 web666 sav_srv_ilinux.sh[2838]: [INFO] Serveur "web666" en ligne +lundi 14 oct. 05:01:22 websrv sav_srv_ilinux.sh[2838]: [INFO] Serveur "websrv" en ligne 
-lundi 14 oct. 05:01:22 web666 sav_srv_ilinux.sh[2838]: [INFO] Serveur "web666" : "start" "nginx"+lundi 14 oct. 05:01:22 websrv sav_srv_ilinux.sh[2838]: [INFO] Serveur "websrv" : "start" "nginx"
  
- >>>> Statistiques du système de fichiers distant de "web666" ...+ >>>> Statistiques du système de fichiers distant de "websrv" ...
  
 Sys. de fichiers                       Taille Utilisé Dispo Uti% Monté sur Sys. de fichiers                       Taille Utilisé Dispo Uti% Monté sur
Ligne 131: Ligne 133:
  >>>> Statistiques du système de sauvegarde ...  >>>> Statistiques du système de sauvegarde ...
  
-web666-31_07_2019:00                 Wed, 2019-07-31 05:00:02 +websrv-31_07_2019:00                 Wed, 2019-07-31 05:00:02 
-web666-31_08_2019:00                 Sat, 2019-08-31 05:00:02 +websrv-31_08_2019:00                 Sat, 2019-08-31 05:00:02 
-web666-08_09_2019:00                 Sun, 2019-09-08 05:00:03 +websrv-08_09_2019:00                 Sun, 2019-09-08 05:00:03 
-web666-15_09_2019:00                 Sun, 2019-09-15 05:00:03 +websrv-15_09_2019:00                 Sun, 2019-09-15 05:00:03 
-web666-22_09_2019:00                 Sun, 2019-09-22 05:00:03 +websrv-22_09_2019:00                 Sun, 2019-09-22 05:00:03 
-web666-29_09_2019:00                 Sun, 2019-09-29 05:00:03 +websrv-29_09_2019:00                 Sun, 2019-09-29 05:00:03 
-web666-30_09_2019:00                 Mon, 2019-09-30 05:00:02 +websrv-30_09_2019:00                 Mon, 2019-09-30 05:00:02 
-web666-01_10_2019:00                 Tue, 2019-10-01 05:00:02 +websrv-01_10_2019:00                 Tue, 2019-10-01 05:00:02 
-web666-02_10_2019:00                 Wed, 2019-10-02 05:00:02 +websrv-02_10_2019:00                 Wed, 2019-10-02 05:00:02 
-web666-03_10_2019:00                 Thu, 2019-10-03 05:00:03 +websrv-03_10_2019:00                 Thu, 2019-10-03 05:00:03 
-web666-04_10_2019:00                 Fri, 2019-10-04 05:00:02 +websrv-04_10_2019:00                 Fri, 2019-10-04 05:00:02 
-web666-05_10_2019:00                 Sat, 2019-10-05 05:00:02 +websrv-05_10_2019:00                 Sat, 2019-10-05 05:00:02 
-web666-06_10_2019:00                 Sun, 2019-10-06 05:00:03 +websrv-06_10_2019:00                 Sun, 2019-10-06 05:00:03 
-web666-06_10_2019:45                 Sun, 2019-10-06 16:45:04 +websrv-06_10_2019:45                 Sun, 2019-10-06 16:45:04 
-web666-06_10_2019:50                 Sun, 2019-10-06 16:50:36 +websrv-06_10_2019:50                 Sun, 2019-10-06 16:50:36 
-web666-06_10_2019:52                 Sun, 2019-10-06 16:52:29 +websrv-06_10_2019:52                 Sun, 2019-10-06 16:52:29 
-web666-06_10_2019:56                 Sun, 2019-10-06 16:56:27 +websrv-06_10_2019:56                 Sun, 2019-10-06 16:56:27 
-web666-06_10_2019:12                 Sun, 2019-10-06 17:12:17 +websrv-06_10_2019:12                 Sun, 2019-10-06 17:12:17 
-web666-06_10_2019:15                 Sun, 2019-10-06 17:15:59 +websrv-06_10_2019:15                 Sun, 2019-10-06 17:15:59 
-web666-06_10_2019:18                 Sun, 2019-10-06 17:18:03 +websrv-06_10_2019:18                 Sun, 2019-10-06 17:18:03 
-web666-06_10_2019:22                 Sun, 2019-10-06 20:22:09 +websrv-06_10_2019:22                 Sun, 2019-10-06 20:22:09 
-web666-06_10_2019:16                 Sun, 2019-10-06 21:16:29 +websrv-06_10_2019:16                 Sun, 2019-10-06 21:16:29 
-web666-07_10_2019:00                 Mon, 2019-10-07 05:00:08 +websrv-07_10_2019:00                 Mon, 2019-10-07 05:00:08 
-web666-08_10_2019:00                 Tue, 2019-10-08 05:00:05 +websrv-08_10_2019:00                 Tue, 2019-10-08 05:00:05 
-web666-09_10_2019:00                 Wed, 2019-10-09 05:00:05 +websrv-09_10_2019:00                 Wed, 2019-10-09 05:00:05 
-web666-10_10_2019:00                 Thu, 2019-10-10 05:00:05 +websrv-10_10_2019:00                 Thu, 2019-10-10 05:00:05 
-web666-11_10_2019:00                 Fri, 2019-10-11 05:00:05 +websrv-11_10_2019:00                 Fri, 2019-10-11 05:00:05 
-web666-12_10_2019:00                 Sat, 2019-10-12 05:00:05 +websrv-12_10_2019:00                 Sat, 2019-10-12 05:00:05 
-web666-13_10_2019:00                 Sun, 2019-10-13 05:00:05 +websrv-13_10_2019:00                 Sun, 2019-10-13 05:00:05 
-web666-14_10_2019:00                 Mon, 2019-10-14 05:00:05+websrv-14_10_2019:00                 Mon, 2019-10-14 05:00:05
  
-lundi 14 oct. 05:01:23 web666 sav_srv_ilinux.sh[2838]: [INFO] FIN-SCRIPT +lundi 14 oct. 05:01:23 websrv sav_srv_ilinux.sh[2838]: [INFO] FIN-SCRIPT 
-lundi 14 oct. 05:01:23 web666 sav_srv_ilinux.sh[2838]: [INFO] Courriel de notification+lundi 14 oct. 05:01:23 websrv sav_srv_ilinux.sh[2838]: [INFO] Courriel de notification
  
 </code> </code>
Ligne 188: Ligne 190:
 \\ \\
  
-**__A VOIR__** : Amélioration possible, faire un cliché instantané du système de fichiers avant ordre de dump/sauvegarde, le but étant de n'avoir aucune indisponibilité du service durant la sauvegarde. Par contre il faudra impérativement être sure que le cliché instantané est libéré. ...+**__A VOIR__** : Amélioration possible, faire un cliché instantané du système de fichiers avant ordre de dump/sauvegarde, le but étant de n'avoir aucune indisponibilité du service durant la sauvegarde. Par contre il faudra impérativement être sure que le cliché instantané est libéré.\\ 
 +=> https://docs.ceph.com/docs/mimic/rbd/rbd-snapshot/\\
 \\ \\
  
Ligne 947: Ligne 950:
  
  
-**__TODO__ Mettre un espace Gitea (Git) pour la gestion des sources.**\\+**Code iLinuxnos codes sources sont également disponibles dans [[https://gitea.ilinux.fr/|notre forge logiciel Gitea (Git)]].**\\
  
  
 **__TODO__ : Installation et paramétrage du serveur** **__TODO__ : Installation et paramétrage du serveur**
 +
 +** Ensuite ces sauvegardes sont externalisées chaque jour sur un autre site, sur un autre serveur : [[documentations:logiciels:saintbabel#Rigel|rigel]].**
documentations/logiciels/gargantua.1571304947.txt.gz · Dernière modification: 17/10/2019 11:35 de stephane.dufour.ilinux.fr