iLinux

Promotion des logiciels libres et partage du savoir.

Outils pour utilisateurs

Outils du site

Piste :
documentations:logiciels:gargantua

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentesRévision précédente
Prochaine révision		Révision précédente
documentations:logiciels:gargantua [17/10/2019 09:37] – [Fonctionnement et recettes] stephane.dufour.ilinux.frdocumentations:logiciels:gargantua [21/12/2019 21:07] (Version actuelle) – stephane.dufour.ilinux.fr
Ligne 18: Ligne 18:
 \\ \\
   * le mode de fonctionnement adopté (mode pull),   * le mode de fonctionnement adopté (mode pull),
-  * la sécurisation qui en découle (isolation physique et logique),+  * la sécurisation qui en découle (isolation physique et logique du lieu de stockage des sauvegardes),
   * les possibilités d'évolution pour faire des sauvegardes sans pénaliser les performances de la production et sans interruption de service perceptibles par nos adhérents (snapshot).   * les possibilités d'évolution pour faire des sauvegardes sans pénaliser les performances de la production et sans interruption de service perceptibles par nos adhérents (snapshot).
 \\ \\
Ligne 37: Ligne 37:
  
 Pour notre sauvegarde nous utilisons le logiciel libre [[https://www.borgbackup.org/|BorgBackup]].\\ Pour notre sauvegarde nous utilisons le logiciel libre [[https://www.borgbackup.org/|BorgBackup]].\\
 +{{ :medias:borgbackup.png?direct&200 |}}
 +
 Nous n'allons pas nous étaler sur les [[https://www.borgbackup.org/demo.html|caractéristiques techniques]] de l'outil mais sachez seulement qu'il permet, entre autre : Nous n'allons pas nous étaler sur les [[https://www.borgbackup.org/demo.html|caractéristiques techniques]] de l'outil mais sachez seulement qu'il permet, entre autre :
-  * de faire de la sauvegarde complète incrémentale, +  * de faire de la sauvegarde complète incrémentale (on ne sauvegarde que ce qui a changé), 
-  * de la dé-duplication de données : si vous sauvegardez 100 fois le même fichiers, ce dernier ne prendra qu’une fois sa taille sur disque,+  * de la dé-duplication de données : si vous stockez 100 fois les mêmes données, la sauvegarde de ces dernières ne prendra qu’une fois leur taille sur disque,
   * d'avoir une rétention de données considérable,   * d'avoir une rétention de données considérable,
-  * de crypter la sauvegarde,+  * **de crypter la sauvegarde (ce que nous ne faisons pas chez ilinux)**,
   * ... voir le site officiel : [[https://borgbackup.readthedocs.io/en/stable/|ici]].   * ... voir le site officiel : [[https://borgbackup.readthedocs.io/en/stable/|ici]].
  
Ligne 47: Ligne 49:
  
   * **une sauvegarde journalière glissante sur 15 jours,**   * **une sauvegarde journalière glissante sur 15 jours,**
-  * **une sauvegarde mensuelle, nous conservons donc les douze derniers mois,**+  * **une sauvegarde mensuelle, nous conservons les douze derniers mois,**
   * **une sauvegarde annuelle, nous gardons 5 années.**   * **une sauvegarde annuelle, nous gardons 5 années.**
  
Ligne 56: Ligne 58:
 {{:medias:back_to_the_future.jpeg?direct&400|}} {{:medias:back_to_the_future.jpeg?direct&400|}}
  
-==== Fonctionnement et recettes ====+==== Fonctionnement de la sauvegarde  ====
  
  
Ligne 62: Ligne 64:
  
 Il sauvegarde un à un tous les serveurs de notre infrastructure, mais comme il travaille en sauvegarde incrémentielle , il ne copie que ce qui a changé depuis la sauvegarde précédente.\\ Il sauvegarde un à un tous les serveurs de notre infrastructure, mais comme il travaille en sauvegarde incrémentielle , il ne copie que ce qui a changé depuis la sauvegarde précédente.\\
-Sur des serveurs où les données ne changent quasiment pas (80 % de nos serveurs) on arrive à un temps de sauvegarde qui se compte en seconde et à des tailles de sauvegarde ridicules (hormis pour la toute première sauvegarde).+Sur des serveurs où les données ne changent quasiment pas (80 % de nos serveurs) on arrive à un temps de sauvegarde (exemple ci-dessous :  1 minutes 13.38 secondes) qui se compte en quelques minutes et à des tailles de sauvegarde ridicules (hormis pour la toute première sauvegarde).
  
 Les **__dépôts Borgbackup__** (les sauvegardes), un dépôt par serveur sauvegardé (physique, vm ou ct), sont placés **//sur un disque en RAID5//** piloté par **__mdadm__** qui nous signale par courriel un dysfonctionnement.\\ Les **__dépôts Borgbackup__** (les sauvegardes), un dépôt par serveur sauvegardé (physique, vm ou ct), sont placés **//sur un disque en RAID5//** piloté par **__mdadm__** qui nous signale par courriel un dysfonctionnement.\\
Ligne 89: Ligne 91:
 lundi 14 oct. 05:00:01 websrv sav_srv_ilinux.sh[2838]: [INFO] Serveur "websrv" : "stop" "nginx" lundi 14 oct. 05:00:01 websrv sav_srv_ilinux.sh[2838]: [INFO] Serveur "websrv" : "stop" "nginx"
 lundi 14 oct. 05:00:02 websrv sav_srv_ilinux.sh[2838]: [INFO] Export des bases "mysql" sous "/root/Prod/Sauvegardes/Bases" lundi 14 oct. 05:00:02 websrv sav_srv_ilinux.sh[2838]: [INFO] Export des bases "mysql" sous "/root/Prod/Sauvegardes/Bases"
-lundi 14 oct. 05:00:02 websrv sav_srv_ilinux.sh[2838]: [INFO] Compression du fichier "/root/Prod/Sauvegardes/Bases/websrv-mysql---all-databases.sql" sous "/root/Prod/Sauvegardes/Bases"\\ +lundi 14 oct. 05:00:02 websrv sav_srv_ilinux.sh[2838]: [INFO] Compression du fichier "/root/Prod/Sauvegardes/Bases/websrv-mysql---all-databases.sql" sous "/root/Prod/Sauvegardes/Bases" 
-lundi 14 oct. 05:00:03 websrv sav_srv_ilinux.sh[2838]: [INFO] Export des bases "postgresql" sous "/root/Prod/Sauvegardes/Bases"\\+lundi 14 oct. 05:00:03 websrv sav_srv_ilinux.sh[2838]: [INFO] Export des bases "postgresql" sous "/root/Prod/Sauvegardes/Bases"
 lundi 14 oct. 05:00:04 websrv sav_srv_ilinux.sh[2838]: [INFO] Compression du fichier "/root/Prod/Sauvegardes/Bases/websrv-postgresql---full.sql" sous "/root/Prod/Sauvegardes/Bases" lundi 14 oct. 05:00:04 websrv sav_srv_ilinux.sh[2838]: [INFO] Compression du fichier "/root/Prod/Sauvegardes/Bases/websrv-postgresql---full.sql" sous "/root/Prod/Sauvegardes/Bases"
 lundi 14 oct. 05:00:04 websrv sav_srv_ilinux.sh[2838]: [INFO] Serveur "websrv" en ligne lundi 14 oct. 05:00:04 websrv sav_srv_ilinux.sh[2838]: [INFO] Serveur "websrv" en ligne
Ligne 188: Ligne 190:
 \\ \\
  
-**__A VOIR__** : Amélioration possible, faire un cliché instantané du système de fichiers avant ordre de dump/sauvegarde, le but étant de n'avoir aucune indisponibilité du service durant la sauvegarde. Par contre il faudra impérativement être sure que le cliché instantané est libéré. ...+**__A VOIR__** : Amélioration possible, faire un cliché instantané du système de fichiers avant ordre de dump/sauvegarde, le but étant de n'avoir aucune indisponibilité du service durant la sauvegarde. Par contre il faudra impérativement être sure que le cliché instantané est libéré.\\ 
 +=> https://docs.ceph.com/docs/mimic/rbd/rbd-snapshot/\\
 \\ \\
  
Ligne 947: Ligne 950:
  
  
-**__TODO__ : Mettre un espace Gitea (Git) pour la gestion des sources.**\\+**Code iLinux: nos codes sources sont également disponibles dans [[https://gitea.ilinux.fr/|notre forge logiciel Gitea (Git)]].**\\
  
  
 **__TODO__ : Installation et paramétrage du serveur** **__TODO__ : Installation et paramétrage du serveur**
 +
 +** Ensuite ces sauvegardes sont externalisées chaque jour sur un autre site, sur un autre serveur : [[documentations:logiciels:saintbabel#Rigel|rigel]].**
documentations/logiciels/gargantua.1571305021.txt.gz · Dernière modification : 17/10/2019 09:37 de stephane.dufour.ilinux.fr