02 deduplicación avamar

1
1
powered by EMC Iberia TSSO
La Deduplicación en Entornos Virtualizados
Bilbao, 9 de octubre de 2008
2
Agenda
El Problema
La Tecnología
Las Soluciones
Conclusiones
3
2007/08 – En la Encrucijada
El mundo va a generar más Información de la que es capaz de almacenar
Source: IDC, “The Expanding Digital Universe,” sponsored by EMC, March 2007
0
100B
200B
300B
400B
500B
600B
700B
800B
900B
1,000B
2005 2006 2007 2008 2009 2010
Gigabytes
Información
Digital
Almacenamiento Disponible
En 2007, la cantidad de
información creada superará por
primera vez la capacidad de
almacenamiento disponible

2
4
¿Cuántas veces se hace backup del mismo
fichero?
llamado Ventas_Final_1998.xls
guardado por Juan Pérez el 24/01/1999…
que se jubiló en el 2001
¿Cuántas copias de ese fichero existen?
¿Cuántas veces se verifica si ha de ser salvado?
¿Porqué debería ser restaurado en caso de una contingencia?
¿Cuántos millones de ficheros tienes?
¿Cuántas veces se refresca o recoloca en cinta ?
5
0%
10%
20%
30%
40%
50%
60%
70%
1980 1990 2007
Server utilization rates*
Eficiencia
1990 1997 2007
#components
Numero de componente a administrar, securizar,
provisionar almacenamiento, etc.
Complejidad
La Realidad TI
Que Crece
Presiones
Hacer MÁS
con
MENOS
Cumplir
requisitos de
regulaciones y de
seguridad
Que Disminuye
Resources
Menos
posibilidad de
añadir
funcionalidad
o mejorar los
SLA´s
*Source: VMware, November 2007
6
La virtualización de servidores no elimina todas las ineficiencias, que son
barreras potenciales para una mayor Consolidación y Valor
Arquitecturas Virtuales y Backup
Antiguo Paradigma
Baja utilización y ancho de banda sobrado
para backup
Nuevo Paradigma
Alta utilización, pero escasos recursos y
ancho de banda para backup

3
7
Problemática Entornos Distribuidos
o Virtualizados
LAN WAN
Backup
Server
Problemática
Recursos físicos insuficientes
Entornos dimensionados para
producción
No existe ventana de backup
Ineficiente y lento
En el Backup el 200% de los datos van
por la LAN, WAN o recursos
compartidos
8
La avalancha
Podemos detenerla aquí
o limpiar aquí
9
Agenda
El Problema
La Tecnología
Las Soluciones
Conclusiones

4
10
¿ Como podríamos almacenar esto ?
11
Deduplicándolo
O
H H
Na Cl+
12
Los objetivos de la Deduplicación
Tipo de Dato
Datos
Respaldados
Datos
Movidos
Ratio de
Deduplicación
Windows file systems 3,573 GB 6.1 GB 586:1
Mezcla Windows, Linux, y UNIX file systems 5,097 GB 11.7 GB 436:1
Ficheros eng. en NAS (NDMP backups) 3,265 GB 24.2 GB 135:1
Mezcla 20% databases, 80% file systems
(Windows y UNIX)
9,583 GB 80.0 GB 120:1
Mezcla de Linux file systems y databases 7,831 GB 104.2 GB 75:1

5
13
Técnicas de Deduplicación
14
 Se dividen los datos en
átomos (segmentos de
datos de longitud variable
dentro de los archivos)
 Cada átomo se envía y
almacena una sola vez
 Repositorio de
backup de Avamar
... reducción de hasta 500 veces
de la cantidad de datos por día
Compresión Máxima
En el lugar de origen: Deduplicación antes de transportar los datos por la red
En el destino: garantiza la Deduplicación coordinada en diferentes sitios, servidores
y a través del tiempo
Detallada: los pequeños segmentos de longitud variable garantizan la eficacia
de la Deduplicación
Deduplicación Global de Datos
O H
O
H H
O
H H
O
H H
O
H H
O
H H
15
Sitio
Remoto 2
 Instancia Modificada
Sitio Remoto
1
 Instancia Duplicada
Data
Center
A B C D
Servidor de Deduplicación
(datos de backup almacenados)
Sólo se realiza
el backup de
los segmentos
de datos exclusivos
E
E
A
B
C
D
Ya se realizó el backup de los
datos, por lo tanto, sólo se
almacenan los Id. exclusivos
(indicadores de 20 bytes)
Se identifica un nuevo
segmento de datos y
se le realiza un backup
 Primera Instancia
A B
C D
Company_Overview.ppt
Globalidad
Instancias de la Deduplicación Global de Datos

6
16
Avamar
Data Store o
Avamar
Server
¿Como funciona la deduplicación?
DeDuplicación Global de Datos
 El agente escanea los
datos buscando
cambios
 Segmentación
Variable de los
archivos modificados
 Sólo los
segmentos únicos
son protegidos
Busca en una cache
local de archivos para
identificar los datos
Comprime y aplica un hash a
cada objeto
Busca en una cache local de
hashes y en el Servidor central
de Avamar para determinar si el
objeto es único
17
De-duplicación en Origen o Destino
DEDUPLICACIÓN en Origen
Reducción de hasta 50x en espacio
Mueve el ~2% de los datos
semanalmente
Hasta 500x de reducción en líneas de
comunicaciones
Backup más rápidos - Hasta 10x en
backups full diarios
Todos los backps son Full – Recuperación
en un sólo paso
Avamar
Server
DEDUPLICACIÓN en Destino
Reducción de hasta 50x en espacio
Mueve el 200% de los datos
semanalmente
Los backups se recuperan desde Full +
Incrementales
Los datos son vistos como file system o
librerías virtuales para el entorno de
backup
De-duplication
Device
B B B B B B
Backup
Server
Alternativas de Implementación en el Mercado
18
Todas las Alternativas
Software de backup con deduplicación en origen
Complementa o sustituye al software de Backup
Visión estratégica de la deduplicación a largo plazo
– Ahorro de espacio y comunicaciones
– Accelerates backups hasta 10X or more
– Replicates de-duplicated data across WAN for DR
Recuperación en ún solo paso (No más
incrementales!)
Oportunidad de introducir un elemento software en
clientes competencia de Networker
– Funcionalidad no existente
– Los ahorror pueden justificar ambos productos o incluso la
sustitución
Solución de VTL, con deduplicación en destino
Se integra con el software de backup existente
Visión resultadista de la deduplicación a corto plazo
– Se integra fácilmente
– Ahorros de espacio
– Ahorro de comunicaciones en DR
Solución Flexible para todo tipo de clientes
Soluciones de alto rendimiento y disponibilidad
Oportunidad de Introducir un elemento Software con mínimo
impacto en el cliente desde el punto de vista operacional
EMC Avamar Disk Library Family – con DL3D
Clients:
Avamar
Software
Avamar Data
Store
Avamar Virtual
Edition
Deployed on
qualified, industry
standard servers
Fully integrated
hardware/software
solution with single
point of support
Single-node Avamar
server running as a
virtual machine
Affordable
target based
3D
Mid-range
B2D target
based 3D
Industry
leading VTL
w/ 3D
DL1500
LAN B2D
DL3000
LAN B2D
DL4000
SAN VTL
Clients:
Avamar
Software
Avamar Data
Store
Avamar Virtual
Edition
Deployed on
qualified, industry
standard servers
Fully integrated
hardware/software
solution with single
point of support
Single-node Avamar
server running as a
virtual machine
Affordable
target based
3D
Mid-range
B2D target
based 3D
Industry
leading VTL
w/ 3D
DL1500
LAN B2D
DL3000
LAN B2D
DL4000
SAN VTL
DL3D 4000
SAN VTL
with
de-duplication
DL3D 4000
SAN VTL
with
de-duplication
DL3D 1500
Affordable, target
based
de-duplication
DL3D 1500
Affordable, target
based
de-duplication
DL3D 3000
Mid-range, target
based
de-duplication
DL3D 3000
Mid-range, target
based
de-duplication
Provides NetWorker
installedbase up-sell
opportunity with
integratedde-dupe
solutions

7
19
Agenda
El Problema
La Tecnología
Las Soluciones
Conclusiones
20
Alternativas de Protección
Guest Level Backup (Aprox. Tradicional) Image Level Backup (Nueva Aproximación)
Backup
Server
21
Soluciones Avamar
Solución Software
– Avamar de-duplication software
– Servidor Compatible
– Almacenamiento interno o CLARiiON
Solución Completa Preconfigurada – Data Store
– Avamar de-duplication software + EMC-certified hardware
– Simplifica la solución
 Adquisición (Un fabricante, Un Hardware certificado)
 Implementación (Reduce tareas onsite)
 Soporte (Punto único de contacto)
Solución Virtualizable – AVE (Avamar Virtual Edition)
– Avamar SW + VMWare
– Único en el mercado
– Acelerar el ROI
Alternativas de Implementación del Software
Hardware
ESX Server
Application
Operating System
Avamar VM
.5 TB
Operating System
DiskNICMemoryCPU
Avamar VM
.5 TB
Operating System

8
22
Solución EMC Avamar para VMware
WAN
(ENCRYPTED)
(ENCRYPTED)
DATA CENTER
Avamar Data Store
(ENCRYPTED)
CENTRO DE RESPALDO
Tape
Vault
Avamar
Data
Store
PEQUENAOFICINA REMOTA
OFICINA REMOTA GRANDE
Avamar Data Store
(ENCRYPTED)
Agentes Avamar
Primary systems
Hardware
ESX Server
APP
OS
Avamar VM
OS
DiskNICMemoryCPU
Hardware
ESX Server
APP
OS
Avamar VM
OS
DiskNICMemoryCPU
Primary systems
Hardware
ESX Server
APP
OS
Avamar
VM
OS
DiskNICMemoryCPU
Hardware
ESX Server
APP
OS
Avamar
VM
OS
DiskNICMemoryCPU
Avamar agent only
on primary systems
Hardware
ESX Server
APP
OS
Avamar
VM
OS
DiskNICMemoryCPU
Hardware
ESX Server
APP
OS
Avamar
VM
OS
DiskNICMemoryCPUAvamar agent only
on primary systems
Hardware
ESX Server
APP
OS
Avamar
VM
OS
DiskNICMemoryCPU
Hardware
ESX Server
APP
OS
Avamar
VM
OS
DiskNICMemoryCPU
23
Agenda
El Problema
La Tecnología
Las Soluciones
Conclusiones
24
Beneficios Deduplicación inteligente
Avamar
LAN WAN
Beneficios Data Center
Acelera el backup al reducir la cantidad
de datos transferida en entornos LAN
Se integra con el SW de Backup
Los datos se pueden clasificar y explorar
Avamar
S
O H C
Beneficios WMWare
Optimización de recursos – Posibilidad
Tradicional
Reducción de hasta un 95% de datos
Reducción de hasta un 90% en
tiempos
Beneficios WAN
Acelera el backup al reducir la cantidad
de datos transferida
Cumpla con ventanas breves de backup
Administración centralizada
Elimina el costo, la complejidad y la
administración

9
25
Beneficios de la De-duplicación
Avamar rentabiliza el backup a disco
Traditional Backup vs. EMC Avamar
Total Cumulative Storage - 10TB MS Office file data
(Traditional = weekly fulls + daily incrementals; EMC Avamar = daily fulls)
16
32
48
64
80
96
112
128
144
160
176
192
8
16
24
32
40
48
56
64
72
80
88
96
5.55.35.14.94.74.44.24.03.83.63.4
3.20
20
40
60
80
100
120
140
160
180
200
1 2 3 4 5 6 7 8 9 10 11 12
Weeks
CumulativeTB
Traditional Backup
Traditional Backup with Compression (2:1)
EMC Avamar
Traditional Backup
Traditional Backup
w/Compression (2:1)
EMC Avamar
Traditional Backup vs. EMC Avamar
Total Cumulative Storage - 10TB MS Office file data
(Traditional = weekly fulls + daily incrementals; EMC Avamar = daily fulls)
16
32
48
64
80
96
112
128
144
160
176
192
8
16
24
32
40
48
56
64
72
80
88
96
5.55.35.14.94.74.44.24.03.83.63.4
3.20
20
40
60
80
100
120
140
160
180
200
1 2 3 4 5 6 7 8 9 10 11 12
Weeks
CumulativeTB
Traditional Backup
Traditional Backup with Compression (2:1)
EMC Avamar
Traditional Backup v. EMC Avamar
Cumulative Media Required
4 weeks 8 weeks
Optimización de Espacio
26
Adiós a las cintas??
Eficiente en Coste
– Deduplicación Global  Ahorro de espacio y comunicaciones
 Escalabilidad lineal, sin perder la Deduplicación Global
– Algoritmo flexible de bloque variable  Ahorro de espacio y comunicaciones
– Deduplicación en Origen  Ahorro de espacio y comunicaciones
– Múltiples topologías para ajustar el coste-rendimiento
Plataforma Segura
– Arquitectura redundante para DR
– Redundancia de nodos (RAIN)
– Redundancia en disco (RAID)
– Cifrado de datos en línea y en destino
Eficiencia de Gestión
– Administración centralizada
– Todos los backups son “full”
– Capacidad de búsqueda dentro cada fichero
– Posibilidad de acceso a cada backup mediante protocolos NAS
27
Avamar: Optimized Backup for VMware
Infrastructure
Optimal location: Reduces data at the source
– Duplicate data never traverses congested shared resources
– Data backed up is reduced from ~200 percent to ~2 percent of primary weekly
– Significantly reduces contention for shared resources
– De-duplicates within and across virtual machines and/or VMDK (virtual machine disk
format) files
Optimal granularity: Sub-file, variable-length segments
– VMDK is one large file; any changes cause an incremental/full traditional backup
– Fixed-length segment de-duplication fails due to frame offset
– Sub-file, variable-length segment de-duplication finds changes anywhere in VMDK
– Dramatically cuts the amount of data backed up daily
– Significantly reduces daily backup time
Ideal for the protection of VMware environments
– Enables fast, secure backups over existing virtual infrastructure
– Permits greater server consolidation and maximum value from VMware
Avamar De-duplicates at the Optimal Location and Level of Granularity

10
28
Avamar Client Backup Solutions
Avamar client software
runs on the VCB proxy
server
VMware
Consolidated Backup
Physical
Server
Virtual Machines
App
OS
App
OS
App
OS
ESX Server
SAN
Storage
SNAPSHOT
SNAPSHOT
SNAPSHOT
VCB proxy server
with Avamar agent
MOUNT
Centralized
Data Mover
Avamar
server
Avamar
agents
runs directly on the ESX
console
Service Console
Hardware
VMware
DiskNICMemoryCPU
ApplicationApplicationApplication
Operating System Operating SystemOperating System
Avamar
server
ESX
Server
Avamar
agents
Guest
x86 Architecture
VMware Virtualization Layer
DiskNICMemoryCPU
Application
Operating System
Application
Operating System
runs directly on each
virtual machine
29
Avamar Backup for VMware Guests
Avamar agent resides inside each
virtual machine
De-duplicates data within the virtual
machine, as if they were physical
servers
Moves minimal backup data
– Reduces resource contention and
accelerates backups
Provides file-level restore for Windows,
Linux, and Solaris
Avamar agents
x86 Architecture
DiskNICMemoryCPU
Application
Operating System
Application
Operating System
30
Up to 95 percent reduction in data moved
Up to 90 percent reduction in backup times
Up to 50 percent reduction in disk impact
Up to 95 percent reduction in NIC usage
Up to 80 percent reduction in CPU usage
Up to 50 percent reduction in memory
usage
All backups are stored as “virtual full
backups,” ready for immediate restore
Maintains effective consolidation ratios
without overtaxing CPU utilization
Optimized Backup for VMware Infrastructure
Avamar Efficiently Protects Virtual Machines
x86 Architecture
Traditional moves ~200% weekly
Avamar moves ~2% weekly
x86 Architecture
DiskNICMemoryCPU
Application
Operating System
Application
Operating System
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
DiskNICMemoryCPU

11
31
VMware Consolidated Backup (VCB)
Moves backup processing
off the virtual machine
Eliminate virtual machine
backup traffic on LAN
Supported by major third-
party backup products
Physical
Server
Virtual Machines
App
OS
App
OS
App
OS
ESX Server
SAN
Storage
SNAPSHOT
SNAPSHOT
SNAPSHOT
Backup
Proxy
Server
MOUNT
Centralized
Data Mover
Backup
Disk
32
Avamar and VMware Consolidated Backup
Avamar agent resides on
the proxy server
De-duplicates within and
across VMDK files
Supports both VCB file
(Windows only) and
image-level backup
Avamar replication
provides disaster recovery
for backed up VMDKs
Physical
Server
Virtual Machines
App
OS
App
OS
App
OS
ESX Server
SAN
Storage
SNAPSHOT
SNAPSHOT
SNAPSHOT
VCB Proxy Server
with Avamar agent
MOUNT
Centralized
Data Mover
Avamar
server
Avamar
agents
33
Avamar Backup at the Console Level
Avamar agent resides on the
ESX console operating system
De-duplicates within and across
VMDK files
Provides VMDK image-level (no
file-level) backup without VCB
No proxy server or SAN required
Hardware
VMware
DiskNICMemoryCPU
ApplicationApplicationApplication
Operating System Operating SystemOperating System
Avamar
server
ESX
Server
Avamar
agents

12
34
Avamar Server Backup Products
Avamar Software Avamar Data Store
Fully integrated
hardware/software product
with single point of support
Avamar Virtual Edition
for VMware
Single-node Avamar server
running as a virtual machine
Avamar VM
Operating System
Hardware
ESX Server
DiskNICMemoryCPU
Avamar VM
Operating System
Application
Operating System
Deployed on qualified,
industry-standard servers
35
EMC Avamar Data Store
Avamar Data Store
– Multi-node RAIN configuration
– 4 TB to 32 TB de-duplicated capacity
 Equivalent of up to 1 PB of cumulative traditional disk or tape
backup storage*
 Backup media requirement reduced 20–40 times
– RAID, with daily integrity checks and redundant
power
Avamar Data Store Single Node
– Supports 1 TB and 2 TB de-duplicated backup
capacity configurations
– Equivalent of up to 70 TB of cumulative traditional
disk or tape backup storage*
– Designed for easy deployment at remote offices
– Offers fast, local recovery without dependence on
a WAN connection
* Equivalent traditional backup capacity assumptions: 100 percent Microsoft Office file data, weekly
full and daily incremental backups, no compression, 10 percent daily change rate, 90-day retention
Fully Integrated Software/Hardware Product
Avamar Data Store
From single node to full rack
New Avamar
Data Store Gen 2
doubles de-duplicated
backup capacity
36
Avamar Virtual Edition for VMware
Avamar Server Software Deployed as a Virtual Appliance
Industry’s first de-duplication virtual appliance
for backup, recovery, and disaster recovery
Leverages existing servers and storage
– Can utilize existing iSCSI, SAN or DAS disk storage
Replication (of applications and storage)
eliminates shipping tapes
– Replicate between virtual Avamar servers and
physical Avamar servers
Facilitates rapid, cost-effective deployment
and return on investment
Supports VMotion for deployment flexibility
Up to two Avamar Virtual Edition virtual
appliances per ESX server for scalability
Avamar VM
Operating System
Hardware
ESX Server
DiskNICMemoryCPU
Avamar VM
Operating System
Application
Operating System

13
37
Avamar Products for VMware Infrastructure
VMware Data Center
with Guest-Level Backup
Remote Offices without VMwareRemote Offices with VMware
VMware Data Center with VMware Consolidated Backup
Avamar agent
moves data to
Avamar Virtual
Edition for
VMware; data is
then replicated
to the corporate
data center
Avamar agent moves data to a physical Avamar
Single Node server; data is then replicated to the
corporate data center, OR an Avamar agent can
back up directly to the data center over the WAN
WAN
LAN/
SAN SAN
VCB Proxy
Server
(ENCRYPTED) (ENCRYPTED)
(ENCRYPTED)
Hardware
ESX Server
DiskNICMemoryCPU
Avamar VM
Operating System
Application
Operating System
x86 Architecture
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
DiskNICMemoryCPU
x86 Architecture
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
DiskNICMemoryCPU
x86 Architecture
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
DiskNICMemoryCPU
x86 Architecture
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
DiskNICMemoryCPU
x86 Architecture
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
DiskNICMemoryCPU
x86 Architecture
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
App
O S
DiskNICMemoryCPU
38
Avamar Supported Operating Systems and
Applications
Client Operating Systems Supported
Microsoft Windows Server 2003 Standard and Enterprise
Microsoft Windows 2000 Server and Advanced Server
Microsoft Windows NT 4.0 Server
Microsoft Windows XP, XP Professional, Vista
Red Hat Linux 8.0, 9.0
Red Hat Enterprise Linux (RHEL) 2.1, 3.0, 4.0, 5.0
Solaris 2.6, 7, 8, 9, 10
SUSE Linux Enterprise Server 8, 9, 10
IBM AIX 5.1, 5.2, 5.3, 6.1
HP-UX 11.0, 11iV1, 11iV2, 11iV3
Mac OS X 10.4x, 10.5x
NetWare 6.5
Novell Storage Services (NSS) OES 2
NDMP (EMC Celerra) DART 5.5
NDMP (NetApp) Data ONTAP 6.3,
6.4, 6.5, 7.0.4, 7.0.5, 7.0.6, 7.1x
IBM DB2 8.2.x, 9.5
Oracle 9i, 10g, 10gR2
Microsoft SQL Server 7.0, 2000, 2005
Microsoft Exchange 5.5, 2000, 2003
Application Modules
= ESX client OS-certified using
RHEL 4 client (support within
virtual machines depends on
VMware support of client
operating system)
VMware Infrastructure
VMware ESX Server versions
2.5.3, 3.0.x, 3.5, 3iNew
Avamar software
expands client
operating system,
application
support
39

02 deduplicación avamar

Más contenido relacionado

La actualidad más candente (18)

Destacado (9)

Similar a 02 deduplicación avamar (20)

Más de Omega Peripherals (18)

02 deduplicación avamar