Post on 21-Mar-2018
transcript
Objekt Speicher
IBM Cloud Object Storage
Kurt Gerecke
IT-Berater Tech Data GmbH & Co. OHGibm-azlan@techdata.demail@kurtgerecke.de
www.azlan.de
WW Ausgaben für Infrastruktur YoY
Storage: + 50%Server Workload: + 10%IO/Performance: + 75%Power Cost: + 20%
Gartner beschreibt es als „Bi-modale IT“
Mode1: “Legacy”
ZuverlässigkeitLatenz
KonsistenzStatisch
DB – CRM – StrukturierteDaten
Anwendungs-zentrisch
Silos von Systemen
IT- und Daten-Schutz+20%
... und „Mode 2“- Entstehen neuer Workloads
Mode2: “Neue
Applikationen”
Web-ScaleKostenAgilität
On/off-DeploymentCloud ready
Internet of ThingsUnstrukturierte Daten
Erschließung neuerGeschäftswelten
+80% oder +800% ?
5Page© 2015 IBM Corporation
TV.5K
HD4X
UHD4X
Genomes: Terabytes
Medical
Consumer
Research
201812MB
$10M
In 2006
$3B
In 2003
$1K
In 2014*
Digital Cameras
Phone Cameras
20105MB
20082MB
5
Images: Megabytes
Wachstum über Wachstum
* Illumina HiSeq X Ten
Lidar, Satellites, Microscopes, Seismographs, MRIs, X-Rays, Telescopes, Radio Telescopes, Spectrum Observatories, Cars, Aircraft Engines, IoT-Devices etc. etc. etc.
UHD-28X
Video: Gigabytes
Digital Video
Phone Video
6Page© 2015 IBM Corporation
Rapider Bedarf für neue Online Speicherarchitekturen
Online Speicherlösungen
Uneingeschränkte Skalierungsmöglichkeiten- in Speicherkapazitäten (Petabytes und Exabytes)- in Leistungsfähigkeit
Höchste Security Anforderungen
Höchste Verfügbarkeit- Objekte müssen immer verfügbar sein- Nondisruptive in allen Dingen
Niedere Kosten
Minimale Engpässe heutiger Daten Transfer Bandbreiten
RAID 6 + ReplicationRAID 6 und Replikation
$$70% +
TCO Einsparungen
1 PB
3.6 PB900
3.6x3.6x
3 FTEReplication/backup
Usable Storage
Raw Storage4TB DisksRacks RequiredFloor SpaceOps StaffingExtra Software
1 PB
1.7 PB4321.7x1.7x.5 FTENone
Original1.20 PB Raw
Onsite mirror1.20 PB Raw
Remote copy1.20 PB Raw
567 TB Raw 567 TB Raw567 TB Raw
IBM Cloud Object Storage
RAID 6 und Spiegelung vs. IBM COS (aka Cleversafe) – 1 PB nutzbar
Originale DatenVerschlüsselung
der Daten
Schreiben auf IBM COS
Jedes Segment ist verschlüsseltEncryption-Key ist generiertJedes Segment ist verschlüsseltEncryption-Key ist generiert
1
$Jedes Objektwird in 4MB Segmenteunterteilt
Jedes Objektwird in 4MB Segmenteunterteilt
Originale Daten
VerschlüsselteDatensegmente
werden in “Slices”
aufgeteilt
Schreiben auf IBM COS
1211109876543
12
Erasure Coded Slices
76543
12
Erasure coding generiert “inline” zusätzliche Slices zur Absicherung
Erasure coding generiert “inline” zusätzliche Slices zur Absicherung
2
$
7:12 IDA
(InformationDispersalAlgorithm)
$
Originale DatenVerschlüsselte
Daten
Erasure Coded Slices
SITE 1 SITE 2 SITE 3Storage Nodes
Jedes Slice wird auf eineseparate Storage Node geschrieben. In diesem
Beispiel sind die Storage Nodes geografisch auf drei
Lokationen verteilt
Jedes Slice wird auf eineseparate Storage Node geschrieben. In diesem
Beispiel sind die Storage Nodes geografisch auf drei
Lokationen verteilt
3
Schreiben auf IBM COS
12
11
10
9
8
7
6
5
4
3
2
1
1211109876543
12
Zum Lesen werden nur 7 Slices benötigt, unabhängig davon welche
• Anzahl aller Slices hier sind 12 (Width), Anzahl Slices zum Lesen sind 7 (Threshold)• Dieses Beispiel zeigt einen “7 of 12” Information Dispersal Algorithm (IDA)
Zum Lesen werden nur 7 Slices benötigt, unabhängig davon welche
• Anzahl aller Slices hier sind 12 (Width), Anzahl Slices zum Lesen sind 7 (Threshold)• Dieses Beispiel zeigt einen “7 of 12” Information Dispersal Algorithm (IDA)
Lesen von IBM COS
SITE 1 SITE 2 SITE 3Storage Nodes
76543
12
1
3 7
25
6
4
$$SITE 1 SITE 2 SITE 3
Lesen von IBM COS
SITE 1 SITE 2 SITE 3Storage Nodes
76543
12
1
3 72
5
6
4
Mit diesem IDA erfolgtein problemloses Lesenauch wenn 5 Storage Nodes nicht verfügbar
sind
Mit diesem IDA erfolgtein problemloses Lesenauch wenn 5 Storage Nodes nicht verfügbar
sind
$
RAID 6 + ReplicationRAID 6 und Replikation
$$70% +
TCO Einsparungen
1 PB
3.6 PB900
3.6x3.6x
3 FTEReplication/backup
Usable Storage
Raw Storage4TB DisksRacks RequiredFloor SpaceOps StaffingExtra Software
1 PB
1.7 PB4321.7x1.7x.5 FTENone
Original1.20 PB Raw
Onsite mirror1.20 PB Raw
Remote copy1.20 PB Raw
567 TB Raw 567 TB Raw567 TB Raw
IBM Cloud Object Storage
RAID 6 und Spiegelung vs. IBM COS
7:12 IDA(InformationDispersalAlgorithm)
Expansion Factor & Kapazität
= Expansion Factor
= Expansion Factor
Width = 12Read Threshold = 7Expansion Factor = 1.71
Width = 32Read Threshold = 20Expansion Factor = 1.6
= Usable Capacity
= Usable Capacity
Raw Capacity = 1.71 PBExpansion Factor = 1.71Usable Capacity = 1 PB
X- (Y) -Z Information Dispersal Algorithm (IDA): flexible Wahl der Slice-Anzahl
X = Read Threshold = Anzahl benötigter Slices, um die „get“ Instruktion des Objekts durchzuführenY = Write Threshold = Anzahl geschriebener Slices, um „put“ Instruktion zur Applikation als erledigt zu meldenZ = Width = Anzahl aller Slices, die auf SliceStor Nodes geschrieben werden (Redundanz-Faktor)
7:12 IDAWrite Threshold
must be between 8-12
20:32 IDAWrite Threshold
must be between 21-32
Raw Capacity = 1.6 PBExpansion Factor = 1.6Usable Capacity = 1 PB
IBM COS Building Blocks
DATA SOURCES
OROR 2Accessersmanagen Zugriffund Verteilung der Slices auf die Slicestors
ACCESSER® LAYER
DATA SOURCES DATA SOURCES
dsNet® Managerkonfiguriert und managed die Infrastruktur(Erweiterungen, Updates, Reporting)
1
OR OR
MANAGER®
SLICESTOR® LAYER
OR OR
3 Slicestorsspeichern die Daten (Slices)und managenVerfügbarkeit
Manager • Fehler Management• Reporting• Provisioning• Performance Monitoring• Storage Konfigurationen
Accesser®
• Provides S3/Swift Zugriff• Hashing • Verschlüsselung• Daten Slices• Erasure Coding• Verteilt Daten• Holt Daten
Slicestor®
• Storage für Slices• Single Site oder Multi-Site• Kapazität basierendes Pricing• Daten Integrity Management
ist unterstützt auf IBM zertifizierten Industrie Standard Plattformen
Software Defined &Hardware Aware
Planbare PerformanceSchnell in ProductionFreie Wahl der LaufwerkstechnologieSingle Pane Management von HW & SW
IBM COS Building Blocks
Zugriffsmethoden
DIREKTER API ZUGRIFF
Die Accesser Software verwendet drei REST APIs furs Schreiben und Lesen. Anwendungen, die diese API’s unterstützenkönnen direct IBM COS einsetzen.
Data
Site 1 Site 2 Site 3
S3 Compatible API Openstack Swift Compatible API
Simple Object API
Slicestor Software
Accesser Software
ZugriffsmethodenData
Site 1 Site 2 Site 3
S3 Compatible API Openstack Swift Compatible API
Simple Object API
PARTNER BASIEREND
Eine Vielzahl zertifizierter Technologiepartnerkönnen diesen flexiblen Support verwendenund IBM COS als zentrale Instanz nutzen.
Slicestor Software
Accesser Software
NAS (CIFS/NFS) Backup/Archive General Applications
DIREKTER API ZUGRIFF
Die Accesser Software verwendet drei REST APIs furs Schreiben und Lesen. Anwendungen, die diese API’s unterstützenkönnen direct IBM COS einsetzen.
Skalierbarkeit
Site 1 Site 2 Site 3
S3 Compatible API Openstack Swift Compatible API
Simple Object API
Slicestor Software
Accesser Software
Single N
amespace
Skalierbarkeit – Skaliertohne Einschränkungen in Leistung und/oder Kapatzitätzu jeder Zeit ohne“Downtime” der Operationen
Scanning und Rebuilding – Prozesse zum Datenschutz
IBM COS verwendet ein “distributed Rebuilder Modell• Rebuild Events werden auf die Slicestors verteilt.• Rebuilding wir noch effektiver wenn mehr Slicestors dem System zugefügt werden.• Planbarkeit – Rebuilder ist “immer eingeschaltet” (bei vertretbare IO Raten) und erlauben die
Vorhersehbarkeit der Gesamt- I/O –Leistung des Systems.
IBM Confidential
Entire Namespace wird konstant gescannt• Slice Integrity Check – Slicestors checken sich selber nach korrupten Slices.• Missing Slice Check – Slicestors prüfen sich gegenseitig, um sicher zu stellen, dass alle
Slices geschrieben wurden.• Werden korrupte oder fehlende Slices entdeckt, arbeiten alle Slicestors zusammen, den
Rebuild durchzuführen.Vorteile: Rebuild Performance verbessert sich, wenn die Kapazitätsteigt, um das System bei jederSkalierung verfügbar zu halten.
Disk Lifecycle Management (DLM)
• Failing Disk Migration• versucht preventiv Disk-Fehler zu entdecken, bevor sie auftreten• verlagert Slice Daten temporär auf andere Disks innerhalb eines Slicestors• kann die Rebuilder Workload um bis zu 70% reduzieren
• Schnelleres Recovery und Reduktion des Netzwerk-Traffics
• Alerting und Management durch IBM COS UI und APIs
• Externes Monitoring durch email, SMNP, Syslog und IBM COS APIs
Vorteile: Software defined & Hardware aware.
Zuverlässigkeit und Verfügbarkeit
IBM COS Systeme liefern bis über 10 9’s konstanter Verfügbarkeitund Zuverlässigkeit
0.0000000029% Datenverlust in einem gesamten Jahr
Das sind 34,633,083,744.1 Jahre “mean time to data loss”
Deployment Optionen – Traditionell “on Premise”
Single Site
Site B
Two Site
Geo Dispersed
Site A
Site B
Site C
Site ASehr effektiv für Kunden, die keine “Site”-
Spiegelung benötigen Traditionelle Spiegelung über zwei Lokationen
Beste Mischungvon Effektivität
und Verfügbarkeit
Viele IBM COS(Cleversafe)
Kunden habendas System überdrei oder mehr
Lokationenaufgesetzt
Initiale Deployment Optionen
On-premise Dedicated/Hybrid Public
• IBM COS basierendeProduktangebote mit S3 und Swift Zugriff administriert und managed durch den Endkunden
• Dedicated: IBM COS basierendeProduktangebote mit S3 und Swift Zugriffin IBM Softlayer Rechenzentrenadministriert und managed durch IBM.
• Hybrid: IBM COS basierendeProduktangebote mit S3 und Swift Zugriffin Kombination mit On-Premise und Softlayer Deployments managed durchden Endkunden und IBM SoftlayerRessourcen
• Standard: Swift basierendes “Shared” Angebot mit Swift Zugriff und Standard Object Price/SLA
• Nearline: IBM COS basierendes “Shared” Angebot mit Swift Zugriff und NearlinePrice/SLA
• Select: IBM COS basierendes “Shared” Angebot mit teilweisem S3 und Swift Zugriffund Standard Object Price/SLA
IBM Spectrum Familie
StorageManagement
Policy Automation
Analytics & Optimization
Snapshot & Replication
ManagementIntegration & API Services
Self ServiceStorage
Data B/R
Virtualized SANsVirtualized SANs Hyperscale BlockHyperscale Block Global AccessFile & Object
Global AccessFile & Object Protect-ArchiveProtect-Archive ObjectObject
TPC (Total Productivity Center), VSC (Virtual Storage Center) TSM (Tivoli Storage Manager)
GPFSXIVSVC (San Volume Controller)
als Hardwareals Software
IBM COS (Cleversafe)
als Cloud Service
als Hardwareals Softwareals Cloud Service
als Hardwareals Softwareals Cloud Service
als Hardwareals Softwareals Cloud Service
IBM Storage Awards und Auszeichnungen
| 26
IBM Tape Library 2014 - 2016
Market Leader
IBM Spectrum Scale 2015
Product of the Year Finalist:Storage System Software
IBM Spectrum Control Storage Insights
2015Product of the Year Finalist: Storage Management Tools
IBM Storwize, XIV, DS80002012 - 2015
Magic Quadrant Leader:General Purpose Arrays
IBM FlashSystem2014
#1 in Units & Capacity Shippedfor Solid-State Arrays
IBM FlashSystem2014 & 2015
Magic Quadrant Leader:Solid State Arrays
IBM Storwize V7000 withIBM Spectrum Virtualize
2015 Tech Innovator Award –Virtualization Category (Runner Up)
IBM FlashSystem2015-2016
Major Player: All-Flash Array Marketscape
IBM Spectrum Storage2014 & 2015
#1 Software Defined Storage*
IBM FlashSystem V90002015
Tech Innovator Award –Storage Category (Runner Up)
IBM Spectrum Protect2011 - 2016
Magic Quadrant Leader:Data Center Backup & Recovery Software
IBM2015
#1 Market ShareBig Data
IBM Cleversafe2016
Market Leader Scale-Out Object Storage
Software
IBM COS (Cleversafe)2016
#1 in Object Storage
IBM Spectrum Protect2011 - 2016 Magic Quadrant Leader
Data Center Backup & Recovery Software
IBM Spectrum Control2012 Magic Quadrant Leader:
Storage Resource Management and SAN Management Software
IBM Spectrum Storage2014 & 2015 #1 Software Defined Storage*
IBM Spectrum Scale2013 Best Storage Innovation
System X GPFS Storage Server
IBM Spectrum Archive2011 Engineering Emmy® Award
for Innovation