Introduction aux techniques de déduplication

p

Marc CheliS i S l S i li tSenior Sales SpecialistBackup, Recovery and Archiving

30 A 09

1© Copyright 2009 EMC Corporation. All rights reserved.

30-Apr-09

Page 1www.TelechargerCours.com

www.TelechargerCours.com

Introduction aux techniques de Déduplication

Le Vocabulaire associéLe Vocabulaire associé

DéduplicationDéduplication




Pourquoi tant d’intérêts pour la Déduplication?q p p

La sauvegarde et la restauration reste un problème pour la plus part desLa sauvegarde et la restauration reste un problème pour la plus part des entreprise du fait de la croissance (information, servers, applications, réseau)

Les entreprises protègent plus de données. Les volumes augmentent (desktop, mobile, bureau déportés).

Les données sont conservées sur de plus longues période pour des raisons de « gouvernance » interne ou de « compliance » externe.

Les bandes magnétiques ne sont pas idéales pour les tâches de sauvegarde et de restauration, et l’industrie se tourne vers le B2D.

C’est la sauvegarde sur disque qui permet3© Copyright 2009 EMC Corporation. All rights reserved.

C est la sauvegarde sur disque qui permet cette technologie !



Comment ça marcheCo e t ça a c e

Déd li ti Gl b l

Morcèle l’information en Atome

Envoi et stocke chaque atome une

Recipient d’atomes

Déduplication Globale

seule foisOH HO

H HO H

OH H

O

H H

OH H

…réduction des données journalières jusqu’a 600 fois

OH H




Comment ça marcheCo e t ça a c e

Déd li ti Gl b l Trouve et envoie les

atomes non-commun Morcèlisation d’un autre

élément Recipient d’atomes

Déduplication Globale

…réduction des données journalières jusqu’a 600 fois

Le facteur de Commonalité…


maximize la réduction



Techniques de Data Déduplicationec ques de ata édup cat o




Méthode de “Hashing” l Fi l V i bllongueur Fixe vs longueur Variable

Original: Je vais au bureau = 5 Objets

Méthode Fixe :

Original: Je vais au bureau. = 5 Objets

<> <> <><><><>= 6 Nouveaux Objets

<> <>Changement: Je Rentre au bureau.

<><><><>

Méthode Variable :

O i i l J i b 4 Obj tOriginal: Je vais au bureau. = 4 Objets

= 1 Nouvel Objet<>

Changement: Je Rentre au bureau.




Pourquoi tant d’intérêts pour la D t D D li ti ?Data De-Duplication?

Petit exemple….

1 MB

Incrément journalier env.0F ll i (3 i 12) 12MBFull semaine (3 mois = 12) 12MBFull Monthly 9MBFull annuel (5 ans) 5MBTotal 26 MBCompression 1:2 13 MB

Si le fichier est envoyé à 10 personnes…..sa sauvegarde génère 130 MB d’occupation sur bandesa sauvegarde génère 130 MB d occupation sur bande




Autres sources de redondance:M difi ti d fi hiModifications de fichier

Chaque fichier = 1MB

RAW DataTotal Capacity Backed Up

O 3 M thOver 3 Months

Typical Backup 3MB/2 = 1.5MB 26 Fulls = 39MB

1.00MBDe-Duplicated Backup

1.25MB 26 Fulls = 1.25MBp

30 fois MOINS de capacité génèrée sur cet exemple


30 fois MOINS de capacité génèrée sur cet exemple



L’effet de la dé-duplicationOù l’appliquer ?

A la source

Où l appliquer ?

A la source—Déduplication avant que la donnée soit transportée sur le réseau

A la cible—Après que la donnée soit transportée sur le réseau vers sa cible

ESX

Bku

SANSAN




Quand l’appliquer?

In Band

pp q

In-Band—Au vol, dans le chemin de la donnée

Out-of-Band—Post-traitement, de manière planifiée

ESX

Bku

SANSAN




Spectre de la réduction de capacitéSpect e de a éduct o de capac té

Capacité native 2 TB de donnés

A l iblA la cibleFacteur

de réduction

2x

10-30x

réduction

De-duplication à la cible (DL 3D) 200–66 GB

Compression 1 TB

Avamar Déduplication globale à la Source

10 30x De duplication à la cible (DL 3D) 200 66 GB

p g

50 150x Mix de fichiers et de base de données 40 15 GB

Facteur de

réduction50-150x

300x Fichiers Windows ou UNIX file data (cas réels) 7 GB

Mix de fichiers et de base de données 40–15 GB


500-600x Fichiers Windows or UNIX file data (Meilleur exemple, cas réels) 4 GB



EMC Avamar

En route vers le “Tape-less”




EMC Avamar AperçuEMC Avamar Aperçu

Révolutionne les processus de sauvegarde avec

Réduit de manière radicale la taille de la sauvegarde à la source avant le transfert

Révolutionne les processus de sauvegarde avec la déduplication en blocs variables à la source

sur le réseau– Réduit considérablement le besoin de bande passante– Divise jusque par dix le temps de sauvegardej q p p g

Deduplifie & gère globalement– A travers les sites et les serveurs E Ré éA travers les sites et les serveurs pour une efficacité maximum

Réduit la dépendance aux bandes

En Résumé

Réalise des économies– Stocke plus de « full backup » sur disque

Sauvegardes sûres et rapidesVi l i f t t h i t i t ll

– Sur le stockage, sur le réseau, sur le transport (off site)

Réduit la complexité et les risques– Garanti que l’information est sous contrôle

– Via les infrastructures physiques et virtuelles Adresse les problèmes de sauvegarde et de restauration là où ils sont

– VMware, Sites déportés, NAS, redondance


VMware, Sites déportés, NAS, redondance d’information, etc….



EMC – Avamar – une présence globalep g

Depuis 1999 aux USDepuis 2007 en Europe




Avamar, Comment ça marche? Exemple a a , Co e t ça a c e e p e

Copie modifiée Copie non-modifiée

Site principal

Fichier original

Agence 1 Site secondaire

Copie modifiée Copie non-modifiée Fichier originalCompany_Overview.ppt

B CD

DAA

A B

C D

B

DD

D

C

ABB

A

C DA

C

Seuls les atomes uniques sont envoyés

EBC

D

Le fichier est déjà sauvegardé, seul un identifiant unique est stocké (Pointeur de 20 octet)

Un nouvel atome est identifié et sauvegardé

A B C D E


Serveur Avamar



Avamar, Comment ça marche? En détaila a , Co e t ça a c e déta

Les 0 et les 1 ????




Avamar Comment ça marche? RésuméAvamar, Comment ça marche? Résumé

Déduplication à la source / Globale

L’agent du client Morcèles les fichiers Seuls les atomes gparcourt les données à la recherche des changements

en segments de longueur variable (atomes)

unique sont stockés

Questionne le cache local pour identifier et

Comprime et applique un code à local pour identifier et ignorer les fichiers statiques

chaque atome

Interroge le cache local et le serveur Avamar pour déterminer


Avamar Data Store ou le

Serveur Avamar

serveur Avamar pour déterminer si l’objet est unique



Avamar topologie et flux de donnéesAvamar topologie et flux de données

A hit t Cli t / S & G ti C t li é

Clients Data Store GestionRéseau

Architecture Client / Serveur & Gestion Centralisée

Clients Data Store GestionRéseau

Storage Nodes EnterpriseManager (http)

Bases de données Restauration Manager (http)

Atomes Uniques

Restauration

LAN / WANSécurisé

Serveurs

IPWide Area Network

Switch

Desktop / Laptop

Utility & SpareNodes

AvamarAdministrator

Wide Area Network

Sauvegarde




Avamar – Architecture InnovanteAvamar Architecture Innovante

Avamar Data StoreRAIN US Patent No 6 826 711

RAID (1) protection contre les pannes

Avamar Data Store

Parité distribuée

Verified checkpoint

RAIN – US Patent No. 6,826,711

( ) p pde disques

RAIN (Redundant Array of Independent

Parité distribuée

Nodes) protection contre les pannes de serveur

– Chaque serveur possède ces disques et saChaque serveur possède ces disques et sa puissance de calcul

– Architecture en “GRID” pour l’extension et pour la performancep p

– Permet de la tolérance de panne grâce au basculement d’un serveur

Réplication Single nodeRéplication– Utilise la même technologie de déduplication

Vérification d’intégrité journalier


Vérification d intégrité journalier



Exemples de déploiementExemples de déploiement

Flexibilité de déploiement

AvamarMulti-node

Flexibilité de déploiementROBO

Agents directs sur le DSAgents directs sur le DS local

Qui réplique sur le DS principalAgents directs sur le AVE

Qui réplique sur le DS principal

Multi nodeData Store

AvamarSingle-nodeData Store Local

S t

A VEOS

Client/Agent

Légende

System

Secure ClientSecure ClientSSL Server Paths Secure AES

Replication Paths

EnterpriseManagerManager

Secure VPN


Site principal(Main Data Store)

Site Secondaire(DR System)



Fonctionnalités et Bénéfices

• Réduit drastiquement l’utilisation du réseau

o ct o a tés et é é ces

• Réduit drastiquement l utilisation du réseau

• Encryptions à 256-bit AES. Stockage et transporttransport

• Full tout les jours!Datacenter Remote

• Réplication Logique, programmée et asynchrone "many to one or one to many "

Datacenter Remote Office

/

• Détection des collisions de code éventuellesAvamar Server

LAN / WANSécurisé

• Vérification d’intégrité

• Gestion CentraliséeAvamar Server • Gestion Centralisée

• Rétentions définissable par l’administrateurOff-site Data


• Supprime le besoin d’externalisation des bandes



Creation d’un “job”C eat o d u job




Restaurationestau at o




Matrice d’Agents Avamarat ce d ge ts a a

Systèmes d’exploitation supportésSystèmes d exploitation supportés

Microsoft Windows Server 2008 (with System State Recovery)

Microsoft Windows Server 2003 Standard and EnterpriseMicrosoft Windows Server 2003 Standard and Enterprise

Microsoft Windows Client XP, XP Professional, Vista

R d H t E t i Li (RHEL) 3 0 4 0 5 0 R d H t Li 9 0Red Hat Enterprise Linux (RHEL) 3.0, 4.0, 5.0 Red Hat Linux 9.0

SUSE Linux Enterprise Server 8.2, 9, 10

SCO UNIX 0 d 0SCO UNIX v5.0.5 and v5.0.7

Free BSD 6.2

HP-UX 11.0, 11iV1, 11iV2, 11iV3

IBM AIX 5.2, 5.3, 6.1= ESX client OS-certified using RHEL 4 client (support within virtual machines depends on

Solaris 8, 9, 10, 10x86

Mac OS X 10.4x, 10.5x

virtual machines depends on VMware support of client operating system)


NetWare 6.5

Novell Storage Services (NSS) OES 2



Module d’Applications supportées par Avamarodu e d pp cat o s suppo tées pa a a

I f t t Vi t llInfrastructure VirtuellesVMware ESX Server versions 3.0.x, 3.5, 3i

Microsoft Hyper-V – guest OS support (Windows 2008)

Modules d’ApplicationsMicrosoft Exchange 2000, 2003, 2007

Microsoft SQL Server 7.0, 2000, 2005

SharePoint 2007

Lotus Notes/Domino (v6, 7 and 8.01)

Oracle 9i, 10g, 10gR2

IBM DB2 8.2.x, 9.5

NDMP (EMC Celerra) DART 5.5, 5.6


NDMP (NetApp) Data ONTAP 6.5, 7.0.4, 7.0.5, 7.0.6, 7.1x. 7.2



VMware - Backupp




Les challenges associés à la sauvegarde des environement virtuels

L i t li ti h d ti t l d é d b

environement virtuels

La virtualisation change drastiquement les données de base…

NEW PARADIGMEnvironment Virtuel: Bonne utilisation des

OLD PARADIGMEnvironment physique: utilisation faible des

Serveur Serveur Serveur

ressources, peu de bande passante pour la sauvegarde

ressources, plein des ressources pour la sauvegarde

Serveur A Serveur B Serveur CVirtuel A Virtuel B Virtuel C

100%

80%

onon

100%

80%

tion

tion

Serveur A Serveur B Serveur C

40%

60%

CP

U U

tiliz

atio

CP

U U

tiliz

atio

40%

60%

CP

U U

tiliz

atC

PU

Util

izat

0%

20%

0%

20%ressources physiques partagées


Utilisation des ressources 20% Utilisation des ressources 80%



VMware Backup Avec AvamarVMware Backup Avec Avamar

Pl d’ ti ’i t ll t li ti

VMware Guest Backup

Plus d’option que n’importe quelle autre application

p– Déduplification dans chaque VM

VMware Consolidated BackupDéduplification dans le VCB proxy server– Déduplification dans le VCB proxy server

VMware Service Console Backup– Déduplification dans la Console ESX

VMware Backup with Snaps/Clones


– Déduplification en dehors de ESX de production



Résultats Avamar pour Vmware VM BackupRésultats Avamar pour Vmware VM Backup

A Th ‘Kill A ’ f VM

• Jusqu’à 95% de réduction du trafic

Avamar – The ‘Killer App’ for VMware

Jusqu à 95% de réduction du trafic

• Jusqu’à 90% de réduction de temps de sauvegardeg

• Jusqu’à 95% de réduction d’utilisation des disques

• Jusqu’à 95% de réduction de la carte réseau

• Jusqu’à 85% de réduction du CPUJusqu à 85% de réduction du CPU

• Jusqu’à 50% de réduction de la mémoire

Toutes les sauvegardes stockées sous la forme de “full” sont disponible pour

é


une restauration immédiate



Comparison de l’utilisation des ressourcesComparison de l utilisation des ressources

Sauvegarde traditionelle Avamar

Utilisation du CPU

g

Utilisation du Réseau

Utilisation des disques




EMC Avamar Virtual Edition for Vmware (AVE)C a a tua d t o o a e ( )

Avamar Server Software livré sous la forme d’une Virtual Appliance

La première “appliance” virtuelle de l’industrie pour la sauvegarde et pour le

Avamar VM

l’industrie pour la sauvegarde et pour le “disaster recovery”

Operating System

Prendre bénéfice de l’existant – Utilisation du (SAN, NAS, or DAS) Avamar VM

Operating System

Application

Operating System

La réplication entre deux “appliance” élimine le besoin d’externaliser des bandes Hardware

ESX Server

bandes

DiskNICMemoryCPU




ROBO - Backupp




Sauvegarde traditionnelle des environements déportésdéportés

BackupCh ll BackupServer

• La Taille de “l’incremental” est trop importante

Challenges

importante– Blockage au niveau du WAN– Prix du WAN– Processus peu fiable– Decentralisation des opérations

WAN

Decentralisation des opérations– Pas de personel IT dans les agences

Web


Files / Email

applicationsFile Servers



Sauvegarde et restauration déportée en tili t l déd li ti à lutilisant la déduplication à la source

Ad t Si li itéAdvantages – Simplicité

• La déduplification à la source permet la sauvegarde et la restauration à travers lesauvegarde et la restauration à travers le WAN et ce de manière:

– Automatisé– Encrypté– Centralisé

WAN

Centralisé– Flexible– ROI très rapide

Web


Files / Email

applicationsFile Servers



NAS NDMP - Backupp




NAS Sauvegarde – avant et après AvamarNAS Sauvegarde avant et après Avamar

Monday Tuesday Wednesday Thursday Friday Saturday Sunday Monday Tuesday Wednesday Thursday Friday Saturday Sunday8:00 AM9:00 AM

10:00 AM11:00 AM12:00 PM1:00 PM2:00 PM


10:00 AM11:00 AM12:00 PM1:00 PM2:00 PM

Le challenge #1 de la sauvegarde du NAS c’est la fenêtre de sauvegarde

Avant Avamar

3:00 PM4:00 PM5:00 PM6:00 PM7:00 PM8:00 PM9:00 PM

10:00 PM11:00 PM12:00 AM1:00 AM2:00 AM3:00 AM4:00 AM

Weekend Full NDMP

BackupNDMP

Incremental Backup

NDMP Incremental

Backup

NDMP Incremental

Backup

NDMP Incremental

Backup

NDMP Incremental

Backup

NDMP Incremental

Backup

NDMP Incremental

Backup

NDMP Incremental

Backup

NDMP Incremental

Backup

NDMP Incremental

Backup

Weekend Full NDMP

Backup

3:00 PM4:00 PM5:00 PM6:00 PM7:00 PM8:00 PM9:00 PM

10:00 PM11:00 PM12:00 AM1:00 AM2:00 AM3:00 AM4:00 AM

Weekend Full NDMP

BackupNDMP

Incremental Backup

NDMP Incremental

Backup

NDMP Incremental

Backup

NDMP Incremental

Backup

NDMP Incremental

Backup

NDMP Incremental

Backup

NDMP Incremental

Backup

NDMP Incremental

Backup

NDMP Incremental

Backup

NDMP Incremental

Backup

Weekend Full NDMP

Backup

sauvegarde

Les “Fulls” sont souvent incomplets 5:00 AM6:00 AM7:00 AM

5:00 AM6:00 AM7:00 AM

Les Fulls sont souvent incomplets.

Le NDMP “full” journalier avec Monday Tuesday Wednesday Thursday Friday Saturday Sunday Monday Tuesday Wednesday Thursday Friday Saturday Sunday

8:00 AM9:00 AM

10:00 AM11:00 AM12:00 PM1:00 PM2:00 PM3:00 PM


10:00 AM11:00 AM12:00 PM1:00 PM2:00 PM3:00 PM

jAvamar est 10x plus rapide que la méthode traditionnelle.

Après Avamar

4:00 PM5:00 PM6:00 PM7:00 PM8:00 PM9:00 PM

10:00 PM11:00 PM12:00 AM1:00 AM2:00 AM3:00 AM4:00 AM5:00 AM

AvamarNDMPFullBackup














4:00 PM5:00 PM6:00 PM7:00 PM8:00 PM9:00 PM

10:00 PM11:00 PM12:00 AM1:00 AM2:00 AM3:00 AM4:00 AM5:00 AM















Les sauvegardes sont immédiatement disponible pour des restaurations extrêmement rapides


6:00 AM7:00 AM6:00 AM7:00 AM

restaurations extrêmement rapides



Avamar NAS / NDMP Backup AcceleratorAvamar NAS / NDMP Backup Accelerator

Comment ça marche?– L’Accélérateur Avamar utilise NDMP pour communiquer avec le NAS

L’A élé t A é l l d é difié I l t d– L’Accélérateur Avamar ne réclame que les données modifiées– L’Accélérateur Avamar réalise la déduplication des données modifiées

Seuls les nouveaux segments sont envoyés au Data Store

In selected cases, mount-points may be

used as anSeuls, les nouveaux segments sont envoyés au Data Store Avamar

Les sauvegardes sont immédiatement disponible pour les

used as an option to meet

specific or uniqueg p p

activités de restaurations – Cela évite les opérations de restauration du « full » puis des incréments

journaliers

unique customer

requirementsjournaliers

Disponible pour les plateformes NAS EMC et NetApp

LAN LAN/WAN EMC Avamar

Data Store


NAS Device(EMC or NetApp)

Avamar NDMP

Accelerator



Résumé




Avamar Résout les défis associés à la sauvegardesauvegarde

• Virtual Server Backup

Déduplication à la source – Efficacité Maximale & Réduction du Stockage

– Déduplication dans la machine virtuelle– Minimise l’impact sur les ressources physiques

File system / NAS backupFile system / NAS backup– MS Office – Taux de commonalité important– Plus de contrainte de bande passante

Pl j i d “ i” “f ll b k ”!– Plus jamais de “vrai” “full backup”!

Fast, efficient Remote Office Backup– Déduplication globale à la sourceDéduplication globale à la source– Utilisation du réseau minimale– Gestion centralisé

T l I f t tTapeless Infrastructure – Les donnés sont répliquées off site

40© Copyright 2009 EMC Corporation. All rights reserved. 40

Sauvegarde “full” jusqu’a 10 fois plus rapide , restauration trés simple





Date post:	15-Jun-2015
Category:	Education
Upload:	webreaker
View:	508 times
Download:	1 times

Introduction aux techniques de déduplication

Education