Almacenamiento y backup open source de rango empresarial - WhiteBearSolutions #OpenExpoDay 2014

Ignacio GilartCEO & Co-founderWhiteBearSolutions® genuinely open (WBSgo®)

Almacenamiento y backup open source de rango empresarial

2©WhiteBearSolutions - 2014

Agenda

Sobre WhiteBearSolutions (WBSgo)

Conceptos Almacenamiento y ZFS

Sobre Bacula

WBSAirback: módulos y características

Caso de estudio

Preguntas


Sobre WhiteBearSolutions (WBSgo)


Sobre WBSgo®

Hace 10 años...


Sobre WBSgo®

Compañía local y pequeña

Productos OpenSource

Pocas referencias

Gran compañíamultinacional

Productos Legacy

+1000 Referencias


Sobre WBSgo®

Actualmente...


Sobre WBSgo®

● 2 áreas de negocio: Storage & Backup | LDAP & IdM

● Parte del Grupo Cibernos

● Oficinas en España y Latam

● Cibernos OutSourcing Backup Services

● Referencias en todos los sectoresNew !!!


Sobre WBSgo®

Nuestro secreto...


Sobre WBSgo®

● Inversión en I+D > 1M€

● Plataforma Appliance

● OpenSource y estándares abiertos

● Sólidos acuerdos y alianzas

● 100 % orientados al servicio


Sobre WBSgo®

Y por supuesto...


Nuestro equipo...


Nuestros Partners...


Nuestras Alianzas...


WBSgo® - Principales Clientes


● Banca y Seguros

● Utilities y servicios

● Telco y Media

● Administración pública

● Tecnologías de la Información

WBSgo® - Principales Clientes

● Educación


Conceptos de almacenamiento

Un sistema de almacenamiento es cualquier dispositivo

(interno o externo) que nos permita almacenar datos.

Ejemplos: Discos duros, Memorias Flash, cintas LTO,

Arrays de discos, etc.

Conceptos almacenamiento

Los distintos tipos de almacenamiento remoto utilizan diferentes protocolos y medios de comunicación.


Sistema de comunicación NAS

NFSCIFSFTP

HTTP (WebDAV)

Sistema de comunicación SAN

Fibre ChannelFCoEiSCSIATAoE

Sistema de comunicación DAS

SASFibre Channel

USBFireWire

Un sistema de archivos es una parte integral de cualquier

sistema operativo y posee la capacidad de gestionar

almacenamiento a largo plazo.

● Presenta una vista lógica (abstracta) de ficheros y

directorios.● Facilita el uso eficiente de los dispositivos que componen

los sistemas de almacenamiento.

Ejemplos: NTFS, XFS, ext3/4, ZFS, etc.


Los sistemas de archivos se caracterizan por:

– Mecanismos de seguridad o permisos– Mecanismo para evitar la fragmentación– Capacidad de enlaces simbólicos o duros – Integridad del sistema de archivos (Journaling) – Soporte para archivos dispersos – Soporte para cuotas de discos – Soporte de crecimiento del sistema de archivos

nativo


Metadatos: Existen datos asociados a los archivos que es necesario almacenar.

– Tamaño.– Fecha de creación.– Fecha de últimos acceso.– Propietario.– Permisos…

– Algunos sistemas de archivo incluso permiten asociar nuevos atributos.


Existen básicamente 4 tipos de sistemas de archivos :

– Sistemas de archivos de disco.– Sistemas de archivos de red.– Sistemas de archivos de propósito especial.– Sistemas de archivos de Almacenamiento

compartido (SAN Filesystems).


Un sistema de archivo de disco está diseñado para el

almacenamiento de archivos en una unidad de disco, que

puede estar conectada directa o indirectamente al

ordenador.

A continuación se muestran algunos ejemplos de

sistemas de archivo de disco.


● FAT (File Allocation Table, usado en WINDOWS).● HFS+ (Sistema jerárquico de archivos, utilizado en MacOSX) .● NTFS (NT File System) ● XFS (Linux)● ReiserFX (Linux)● Ext3/4 (Linux)● UFS (Unix filesystem, BSD).● ZFS (Solaris, Linux, BSD).● ISO9660 (CD Rom)● UDF (Universal disk Format, CD, DVD, Blue-Ray).


Un sistema de archivos de red es el que accede a sus

archivos a través de una red. Dentro de esta clasificación

encontramos dos tipos de sistemas de archivos:

- Sistemas de archivos distribuidos (no proporcionan E/S

en paralelo)

- Sistemas de archivos paralelos (proporcionan una E/S

de datos en paralelo).


A continuación se muestran algunos ejemplos de sistemas de archivo de red:

● Distribuidos : AppleShare, CIFS (también conocido como SMB o Samba) y NFS (Network File Systems).

● Paralelos : pNFS (Parallel NFS), Lustre, PVFS.


Sistemas de archivos de uso específico:

● Google File System, GmailFS, WBFS (Wii Backup File

System)...

Optimizados para dispositivos de estado sólido: ● exFAT, JFFS...

Encriptados: ● EFS, ecryptFS...


Sistemas de archivos de Almacenamiento compartido

(SAN Filesystems): Principalmente utilizados en redes de

área de almacenamiento, en las que los nodos acceden

directamente a nivel de bloque.

● CXFS (Cluster XFS)● MPFS (EMC Celerra)● HP Cluster File System (CFS)● Oracle Cluster file system (OCFS)● VMFS (VMWARE /EMC)● WAFL, Write Anywhere File Layout (NetApp)


¿Qué hay que proteger en un sistema de almacenamiento?

● Integridad: Mediante Raid, Backup, Replicación.

● Disponibilidad: Mediante Hot-Spare, Cluster.● Acceso: Mediante Redundancia de paths.



Almacenamiento open source ZFS

ZFS es un sistema de archivos y volúmenes desarrollado por Sun Microsystems originalmente para su sistema operativo Solaris.

ZFS integra los conceptos anteriormente separados de sistema de ficheros y administrador de volúmenes en un solo producto.

ZFS: Introducción

Por qué nace ZFS:

- Los costes de la gestión de la información son elevados, requiriéndose un gestor de volúmenes.

- La información cada vez es más crítica y se producen problemas de corrupción con los sistemas de archivos existentes hasta entonces.

- La información crece de manera exponencial.

ZFS: Introducción

ZFS destaca por:

- sistema de archivos de gran capacidad, - nueva estructura sobre el disco, - sistema de archivos ligero y - administración de espacios de almacenamientosencilla.

ZFS: Introducción

ZFS puede ser desplegado en múltiples plataformas:

- Solaris / OpenSolaris / illumos.- FreeBSD / BSD.- Linux.- OS X.

ZFS: Implementaciones

ZFS fué diseñado para proporcionar:

- Una gestión del almacenamiento basada en Pools (eliminación de la noción de volúmenes).

- Integridad de datos extremo a extremo.

- Una operación transaccional (manteniendo la consistencia de datos en el disco y reordenando las transacciones para mejorar el rendimiento).

ZFS: Principios

ZFS: File Systems

Enfoque tradicional Enfoque con ZFS

ZFS: Deduplicación

- Target.

- in-line.

- 256 bit hash.

ZFS: Deduplicación

Para mejorar el redimiento se basa en un sistema de cachés:

- ARC: caché primaria que almacena los bloques que se leen de forma más común de manera que acelera las operaciones de lectura. Siempre reside en memoria.

ZFS: Deduplicación


- L2ARC: caché secundaria de lectura pensada para alojar en dispositivos más baratos (aunque rápidos) una ampliación de la ARC. Los dispositivos utilizados son SSD del tipo MLC y puede ser grande para alojar el mayor número de bloques posible. No permance tras el reinicio con lo cual se pueden notar perdidas de rendimiento después de reiniciar el sistema. La L2ARC requiere algo de memoria para operar. Una porción de la ARC será utilizada para indexar y administrar el contenido de la L2ARC. Por lo general se necesitarán 1-2GB de ARC por cada 100GB de L2ARC.

ZFS: Deduplicación


- ZIL: caché de escritura pensada para acelerar las escrituras de tipo síncrono. Conformada por dispositivos rápidos de pequeño tamaño (no es necesario que esta caché sea muy grande). Muy importante que sean discos SSD de tipo SLC. Puesto que si se pierde antes de volcar a disco se producirá una perdida de datos, es muy recomendable que esté en mirror.

ZFS: Compresión

ZFS permite aplicar además de algoritmos dededuplicación, algoritmos de compresión. Los ahorros de espacio pueden venir dados por la combinación de ambas técnicas. En concreto ZFS permite los siguientes algoritmos :

- GZIP.- LZJB.- ZLE.- LZ4 (recomendado).

ZFS: Snapshots y Clones

Como ZFS no sobrescribe datos, las instantáneas se toman rápidamente y son eficientes desde el punto de vista del espacio, pues comparten los datos sin modificar con el sistema de ficheros.

Se pueden crear instantáneas modificables (llamadas clones).


Backup open source: Bacula

Sobre Bacula

● Software open source para Enterprise Backup & Recovery.

● Disponible desde 2002.

● 1000s de usuarios, >1.3M downloads.

● Bacula Systems fundada en Julio de 2008.

● HQ en Yverdon, Switzerland.

Sobre Bacula

● Dos versiones:

– Community.– Enterprise.

● Gran número de plugins en la versión Enterprise.


WBSAirback® Backup & Storage Appliance


Backup Overview

¿Que tenemos que tener en cuenta?

● Cuantos datos estoy dispuesto a perder (Como de reciente es el dato).

– RPO : Recovery Point Objective

● Cuanto tardaré en volver a dar servicio.– RTO : Recovery Time Objective


Backup Overview

Tiempo de Restore.

RPORecovery

Point Objective

Al recuperar de disco sereduce el RTO

Haciendo copias frecuentementese reduce el RPO

RTORecovery

Time Objective


WBSAirback® Overview

Classic Backup approach...


WBSAirback® Overview

WBSAirback® approach...

WBSAirbackV14

OpenSource Deduplicated

Unified Storage

OpenSource Enterprise Backup(Bacula Enterprise

Enhanced)

ContinuousData Protection

ManagementInterfaces

Interoperability(REST API)

Monitoring&

Security


WBSAirbackV14


Unified Storage


Enhanced)




Monitoring&

Security

WBSAirback® Módulos & Características


Single Management Point

Principal Browsers Access

Multiple concurrent users

OS independent

Mobile browsers supported

HTML5, JS frameworks...

Management InterfacesWeb Interface



Based in Bconsole

SSH access

Management InterfacesCLI Interface



WBSAirbackV14


Unified Storage


Enhanced)




Monitoring&

Security



WBSAirback® REST Interface offers:

Programming Languaje Independency

Legacy Applications Integration

Interoperability (REST API)



WBSAirback® REST Interface offers:

Complete Storage Management

Complete Backup Management

System Monitoring

Interoperability (REST API)



WBSAirbackV14


Unified Storage


Enhanced)




Monitoring&

Security



Detects uncommon situations

Corrects uncommon situations If is there any defined

protocol

Reports about them and aboutexecuted actions

Monitoring & Security(WatchDog)



Based in standard SNMP

Push Mode: Sending TRAPS

Pull Mode: Connecting to publiccommunity

Monitoring & Security(SNMP)



Two Modes supported :

Quorum Based Cluster

Sync Node Based Cluster

Monitoring & Security(HA)

LUNCluster

Master Slave

Master Slave



Multiple Access Roles

Https access web/REST interface

SSH CLI Access

AD / LDAP Autenthication

Secure Updates (VPN)

Secure Support Access On-Demand (VPN)

Monitoring & Security(Others)



WBSAirbackV14


Unified Storage


Enhanced)




Monitoring&

Security



OpenSource Deduplicated Unified Storage

SAN / DAS NASREST TAPE

Heterogeneous Storage Management





Storage virtualization with multiples File Systems





Thin ProvisioningSnapshots

DeduplicationCompression





Volumes Export

iSCSINFSCIFSFTP





Data Replication



WBSAirbackV14


Unified Storage

OpenSource Enterprise Backup

(Bacula Enterprise Enhanced)




Monitoring&

Security



OpenSource Enterprise Backup (Bacula Enterprise)


Bacula Enterprise Plugins


OpenSource Enterprise Backup (Bacula Enterprise Enhanced)

Tier1 Tier3Tier2

Backup Tiering with chained jobs




Data BackupSnapShot

Storage/OS/Application Vendors Integration (Advanced Backup)




Vmware Plugin Interface




Error Management




Three clicks updates



WBSAirbackV14


Unified Storage

OpenSource Enterprise Backup

(Bacula Enterprise Enhanced)




Monitoring&

Security



Private Cloud Backup Service for remote servers


Files / DBs / Mail / VMs

Continuous Data Protection – Remote Branch Offices


Continuous Data Protection – Laptop and Desktop Backup

Private Cloud Backup Service for Mobility


Files/PSTs


Continuous Data Protection - Sync&Share

Private Storage Service for File Sync&Share



Caso de estudio

A continuación se muestra un caso de estudio realizado con la plataforma WBSAirback®:

- Cliente: Entidad Financiera. - Entorno: preproducción Windows y Linux.- Datos diarios a proteger: 5TB.- Tipo de backup: LAN 10GbE.- Jobs diarios: 500 (225 Fulls y 275 incrementales).

Caso de estudio


Caso de estudio

27/05/2014 29/05/2014 31/05/2014 02/06/2014 04/06/20140

20

40

60

80

100

120

Allocated

Referenced


Preguntas


Gracias !!!

Ignacio GilartCEO & Co-founder WBSgo® [email protected]

Date post:	12-Jun-2015
Category:	Technology
Upload:	openexpoes
View:	150 times
Download:	2 times

Almacenamiento y backup open source de rango empresarial - WhiteBearSolutions #OpenExpoDay 2014

Technology