1© Copyright 2009 EMC Corporation. All rights reserved.
Einsatz der EMC Enterprise Flash Drives
– SSDs –in einer Oracle Infrastruktur
Heinz Vennemann18.11.2009
2© Copyright 2009 EMC Corporation. All rights reserved.
Business Challenges
IDC Research: Zu erwartendes Datenwachstum liegt bei
60% Jahr für Jahr
3© Copyright 2009 EMC Corporation. All rights reserved.
Agenda
ØEntwicklung der Disk Technologie
ØMerkmale der Technologien (HDD --- EFD)
ØStorage Infrastruktur
ØTools zur Identifizierung von EFD - Anwendungen
ØBeispiel aus dem Oracle – Umfeld
ØAusblick
4© Copyright 2009 EMC Corporation. All rights reserved.
Disk Technology (HDD) – Entwicklung –
Das Gap:Das Gap: Disk Disk PerformanzPerformanz//KapazitätKapazität::
In den In den letztenletzten 30 30 JahrenJahren wurdewurde::--Die Die KapazitätKapazität derder Disks um den Disks um den FaktorFaktor 1000 1000 erhöhterhöht (1GB auf 1TB)(1GB auf 1TB)--Die InterfaceDie Interface--GeschwindigkeitGeschwindigkeit um den um den FaktorFaktor 133 133 erhöhterhöht (3 Mb/s auf 4Gb/s)(3 Mb/s auf 4Gb/s)
AberAber……--Die Die LatenzzeitLatenzzeit wurdewurde nurnur um den um den FaktorFaktor 4 4 reduziertreduziert
==èè von von 24 ms auf 6 ms Response Time24 ms auf 6 ms Response Time
DarausDaraus folgtfolgt: : ==èèPERFORMANZ = SCHNELLERE und MEHR PERFORMANZ = SCHNELLERE und MEHR Disk DrivesDisk Drives
--Höhere Anschaffungskosten für die SpeichersystemeHöhere Anschaffungskosten für die Speichersysteme--HöhererHöherer PlatzbedarfPlatzbedarf fürfür die die SpeichersystemeSpeichersysteme--GeringereGeringere EnergieeffizienzEnergieeffizienz
5© Copyright 2009 EMC Corporation. All rights reserved.
Merkmale der Drive Typen: HDD --- SSD
HDD:Ø Hohe Kapazität
Ø Geringe Latenzzeit bei sequential Read
Ø Hoher Energie Verbrauch
Ø Read Miss– 7200 rpm HDD: ~12 ms response time– 10K rpm HDD: ~ 9 ms response time– 15K rpm HDD: ~ 6 ms response time
SSD:Ø Geringe Kapazität
Ø Geringe Latenzzeit bei random Read
Ø Geringer Energie Verbrauch
Ø Read Miss– Flash Drive: ~ 1 ms response time
6© Copyright 2009 EMC Corporation. All rights reserved.
Theoretische Betrachtung HDD --- SSD Devices
Cache Antwortzeit: Read Hits = 0.5 msec
HDD Antwortzeit: Read Miss = 6 msec (15K rpm Drive):– 90% x 0.5msec (0.45ms) + 10% x 6msec (0.6ms) =
=è 1.05 msec durchschnittliche Antwortzeit bei HDD Drives!
SSD Antwortzeit: Read Miss = 1 msec:– 90% x 0.5msec (0.45ms) + 10% x 1msec (0.1ms) =
=è 0.55 msec durchschnittliche Antwortzeit bei SSD Drives
Ein normaler Workload: 90% Read Hit und 10% Read Miss
Obwohl der Read Hit Anteil 90% beträgt,wird bei Einsatz von SSD Drives die Antwortzeit
auf die HÄLFTE reduziert!
7© Copyright 2009 EMC Corporation. All rights reserved.
Tools zur Identifizierung von Anwendungen für die Enterprise Flash Drives (SSDs)
EMC Storage Systeme – Symmetrix Management Console– EMC Control Center Performance Manager /
Workload Analyzer (WLA)– Clariion Navisphere Manager– Analyzer
Applikationen & Datenbanken– Oracle StatsPak & AWR– SQL Server, DB2, etc.– Exchange
Die Operating Systeme zeigen das (durchschnittliche) Antwortverhalten
– z/OS § RMF
– Windows § Perfmon
– UNIX / Linux§ SAR / SADC
In Abhängigkeit von hohen “Read Misses” oder höherer “Read Response Time”
Was sollte beachtet werden:
üNiedriges Read Hit VerhältnissØ Sicht auf das Storage System
üHohe Read Response TimeØ Geringe Read Hit Rate
üNicht ausgelastete CPUØ Kann ein Hinweis auf “waiting” I/Os
sein
üHohes I/O AufkommenØ Basis für Optimierung
(z.B.: Indices, Lookup Tables, etc.)
8© Copyright 2009 EMC Corporation. All rights reserved.
Management der Storage InfrastrukturQoS Manager – Analyzer
Management von CLARiiON-Ressourcen nach Service Levels
– Überwachung und Feinabstimmung von Speicherressourcen auf der Basis von Performance-Zielen
Performance-Optimierung durch Policy Management
– Festlegen von Performance-Zielen für kritische Anwendungen
– Festlegung von Limits für Anwendungen mit geringerer Priorität
– Planung von Policies, die in unterschiedlichen Abständen ausgeführt werden
Messung und Kontrolle von Speicher anhand unterschiedlicher Messgrößen
– Reaktionszeit (z. B.Microsoft Exchange)
– Bandbreite (z. B. Backup-to-Disk)– Durchsatz (z. B. OLTP-Anwendungen)
Bietet CLARiiON-Performance-Daten in Echtzeit sowie historische Daten
Ermittelt Performance-Engpässe
Management, Optimierung und Messung von Anwendungs-Service Levels
Ver
füg
bar
eP
erfo
rman
ce
Mit NavisphereQuality of
Service Manager
MittlerePriorität
HohePriorität
NiedrigePriorität
Datei-Services
OLTP/E-Mail
Test undEntwicklung
9© Copyright 2009 EMC Corporation. All rights reserved.
Navisphere Analyzer
10© Copyright 2009 EMC Corporation. All rights reserved.
Workloads von Storagesystemen aus aktuellen Kundenbeispielen
Flash Drivetargets?
I/O’s per Second
SATA IItargets?
11© Copyright 2009 EMC Corporation. All rights reserved.
Oracle Automated Workload Repository (AWR)
Top 5 Timed Foreground Events
Source: “Implementing EMC Symmetrix DMX-4 Flash Drives with Oracle Databases”
Instance Efficiency
12© Copyright 2009 EMC Corporation. All rights reserved.
Oracle Automated Workload Repository (AWR)
Source: “Implementing EMC Symmetrix DMX-4 Flash Drives with Oracle Databases”
Tablespace IO Stats
13© Copyright 2009 EMC Corporation. All rights reserved.
Top 5 Timed Events and Workload Profile
Event Waits Time(s) Avg Wait(ms)
% Total Call Time
Wait Class
db file sequential read 546,872 6,764 12 96.6 User I/O
CPU time 263 3.8
library cache pin 44 16 366 .2 Concurrency
SGA: allocation forcing component growth
1,118 12 11 .2 Other
db file parallel write 1,347 2 2 .0 System I/O
Event Waits Time(s) Avg Wait(ms) % Total Call Time Wait Class
db file sequential read 11,746,145 16,681 1 83.8 User I/O
CPU time 5,283 26.5
library cache pin 408 283 694 1.4 Concurrency
SGA: allocation forcing component growth
4,495 49 11 .2 Other
SQL*Net more data to client 715,421 39 0 .2 Network
HDD
EFD
14© Copyright 2009 EMC Corporation. All rights reserved.
Top 5 Timed Events and Workload Profile
Event Waits Time(s) Avg Wait(ms)
% Total Call Time
Wait Class
db file sequential read 546,872 6,764 12 96.6 User I/O
CPU time 263 3.8
library cache pin 44 16 366 .2 Concurrency
SGA: allocation forcing component growth
1,118 12 11 .2 Other
db file parallel write 1,347 2 2 .0 System I/O
Event Waits Time(s) Avg Wait(ms) % Total Call Time Wait Class
db file sequential read 11,746,145 16,681 1 83.8 User I/O
CPU time 5,283 26.5
library cache pin 408 283 694 1.4 Concurrency
SGA: allocation forcing component growth
4,495 49 11 .2 Other
SQL*Net more data to client 715,421 39 0 .2 Network
HDD
EFD
Per SecondRedo size: 13,064.56
Logical reads: 3,679.57
Block changes: 71.88
Physical reads: 912.50
Physical writes: 4.69
Per SecondRedo size: 78,713.43
Logical reads: 82,682.42
Block changes: 543.80
Physical reads: 19,526.62
Physical writes: 104.27
15© Copyright 2009 EMC Corporation. All rights reserved.
Datennutzungsanalyse als Schlüssel
DBclassify zeichnet den Zugriff auf Daten und Datenbankobjekte auf und analysiert diese
DBclassify deckt die Beziehungen zwischen Daten, Usern und Prozessen auf
– Wer nutzt welche Daten wann und wie oft?– Priorisierung (Klassifizierung) der Daten
nach Zugriffshäufigkeit – Abgrenzung selten oder gar nicht genutzter Daten– Zeitnahes Erkennen von Änderungen im Zugriffsverhalten der
Anwender
16© Copyright 2009 EMC Corporation. All rights reserved.
Schließen der Informationslücke zwischen Applikation/DB und Storage
Logical Constructs
Application Objects
Logical Design
Manual DatabaseTuning
Physical Placement
Data Files
Optimized Tiering
Automated I/O Optimization
Usage Analysis and Right TieringUsage Analysis
and Right Tiering
Bridging the gapBridging the gap
17© Copyright 2009 EMC Corporation. All rights reserved.
Konzept der Partitioning
Large TableSchwierig zu
verwalten
PartitionUnterteilen und
verwalten
Einfaches Management
Verbessert die Performanz
Composite PartitionHöhere Performanz
Höhere Flexibilität und besere Anpassung an
die Business Anforderungen
Transparent für Applikationen
18© Copyright 2009 EMC Corporation. All rights reserved.
Tiered Storage Optionen
15K RPM Fibre Channel: Sehr Gute Performanz
146 GB4 Gb/s
300 GB4 Gb/s
450 GB4 Gb/s
10K RPM Fibre Channel:Gute Performanz
400 GB 4 Gb/s
SATA II:Hohe Kapazität
1 TBSATA II
7.2K rpm
1 TBSATA II
5.4K rpm
15K RPM Fibre Channel: Sehr Gute Performanz
146 GB4 Gb/s
300 GB4 Gb/s
450 GB4 Gb/s
Einfacher Aufbau von
“Tiered Storage” in einem
Storage System
19© Copyright 2009 EMC Corporation. All rights reserved.
Erweiterte Tiered Storage Optionen
15K RPM Fibre Channel: Sehr Gute Performanz
146 GB4 Gb/s
300 GB4 Gb/s
450 GB4 Gb/s
10K RPM Fibre Channel:Gute Performanz
400 GB 4 Gb/s
SATA II:Hohe Kapazität
1 TBSATA II
7.2K rpm
1 TBSATA II
5.4K rpm
Enterprise Flash Drives:Beste Performanz
73GB4 Gb/s
400GB4 Gb/s
Einfacher Aufbau von
“Tiered Storage” in einem
Storage System
20© Copyright 2009 EMC Corporation. All rights reserved.
Aufnehmen der Flash – Technologie als Teil einer ILM Strategie
Active Less Active Historical Archive
Partition Partition Partition
Lar
ge
Tab
le
ArchivingAnd
Compliance
Q3 Q2 Q1 ...1 Less
Current
Oldest data
Q4Most
Active
Höchste PrformanzIm Storage
Flash Drives
Weniger genutzteDaten
FC
Online archiviertIm storage
SATA
Oracle Partitioning – Kassifizieren und plazieren der Oracledaten auf Tiered Storage um die Kosten und Effizienz zu optimieren …
… aktive Daten ändern ihren Zustand über die Zeit (z.B.: Data Warehouse) d. h.: Daten müssen mobil und flexibel sein, Dies resultiert darin, dass Daten online
in oder auch aus dem Flash Tiered Storage verlagert werden müssen
InaktivAktiv
21© Copyright 2009 EMC Corporation. All rights reserved.
Tier 0-Anwendungen
Tier 2-Anwendungen
VirtualLUN-Technologie
MetaLUN-Stripe
MetaLUN-Verkettung
Dynamisches Erweitern und Migrierenvon LUNs in Echtzeit
Virtual LUN-Technologie
Unterbrechungsfreie Datenverlagerungen über Speicherebenen hinweg
– Höhere Performance– Geringere Kosten
MetaLUN-TechnologieDynamische Erweiterung von Volumes
– Höhere Performance– Besserer Schutz– Bessere Kapazitätsnutzung
FlashFlashFlash FlashFlashFlash
LP SATALP SATALP SATA LP SATALP SATALP SATA
22© Copyright 2009 EMC Corporation. All rights reserved.
OLTP Workload – Testumgebung
2 x Dell R900, jede enthält: • 4 x Quad core CPU’s• 2 x Dual port HBA’s
Oracle 10g, RAC, CRS, ASM, PowerPath
Symmetrix DMX-4 2500• 80 x 146 GB 15K RPM (RAID-1)• 8 x 146 GB EFD (RAID-5)
Database Profile:• 11GB SGA• 75% DB Buffer Cache Hits!
( 25% der IO’s sind Read Misses)
Die I/O – Anforderungen der STOK Tablespace liegen bei 75% !
Verlagern der STOK auf EFD
2 node RAC cluster
80 x 300 GB 15K RPM HDD mit RAID-1 (Mirrored) Protection
8 x 146 GB EFD mit RAID-5 Protection
Dell R900 4 x Quad CPU
Dell R900 4 x Quad CPU
23© Copyright 2009 EMC Corporation. All rights reserved.
Top 5 Timed Events und Workload Profile (Mittelwert bei 2 RAC Nodes)
Event Waits Time(s)Avg Wait(ms)
% Total Call Time Wait Class
db file sequential read 6,737,136 54,778 8 82.7 User I/O
db file parallel read 280,373 5,864 21 8.9 User I/O
CPU time 3,894 5.9
db file parallel write 2,819,223 1,228 0 1.9 System I/O
log file sync 638,795 877 1 1.4 Commit
Event Waits Time(s) Avg Wait(ms) % Total Call Time Wait Class
db file sequential read 11,405,283 50,554 4 76.6 User I/O
CPU time 5,283 26.5
db file parallel read 497,507 5,749 11.5 8.7 User I/O
log file sync 1,135,915 2,277 2.0 18.8 Commit
gc cr grant 2-way 4,744,803 1,420 0 2.2 Cluster
HDD
EFD
24© Copyright 2009 EMC Corporation. All rights reserved.
Event Waits Time(s)Avg Wait(ms)
% Total Call Time Wait Class
db file sequential read 6,737,136 54,778 8 82.7 User I/O
db file parallel read 280,373 5,864 21 8.9 User I/O
CPU time 3,894 5.9
db file parallel write 2,819,223 1,228 0 1.9 System I/O
log file sync 638,795 877 1 1.4 Commit
Event Waits Time(s) Avg Wait(ms) % Total Call Time
Wait Class
db file sequential read 11,405,283 50,554 4 76.6 User I/O
CPU time 5,283 26.5
db file parallel read 497,507 5,749 11.5 8.7 User I/O
log file sync 1,135,915 2,277 2.0 18.8 Commit
gc cr grant 2-way 4,744,803 1,420 0 2.2 Cluster
HDD
EFD
Top 5 Timed Events und Workload Profile (Mittelwert bei 2 RAC Nodes)
Per Second Per Transact.
Redo size: 2,630,228 8,260
Logical reads: 16,966 53
Block changes: 18,436 58
Physical reads: 4,452 14
Physical writes: 2,161 7
Per Second Per Transact.Redo size: 1,511,040 8,449
Logical reads: 9,669 54
Block changes: 10,390 58
Physical reads: 2,688 15
Physical writes: 1,255 7
25© Copyright 2009 EMC Corporation. All rights reserved.
Wieviele Enterprise Flash Drives (SSDs) werden benötigt?
Flash DriveTargets
Unterstützt von Symmetrix-und CLARiiON- Systemen
Es werden nur wenige Flash Devices benötigt, um den
großenVorteil ausschöpfen zu können!
SATA IITargets
FC - Targets
26© Copyright 2009 EMC Corporation. All rights reserved.
Key Points – Enterprise Flash Drives (SSD) in einer Oracle - Umgebung
Best Use Cases: – Random Read Workload
§ Read-only oder Read-mostly, HDD Konsolidierung, verbessert IOPS und Response Times
– Latenzzeit kritische Applikationen (Vorhersagbarkeit)§ Geringe Antwortzeiten gerade wenn Daten nicht im Server- oder Storage-Cache sind§ Berücksichtigen für große sequentielle Reads § Bessere und gleichmäßiger Durchsatz über dem von HDD Drives, selbst wenn der Workload random ist
Was soll auf die Flash Drives verlagert werden:– Ganze Databank – wenn geeignet (Kosten / Performanz)– Tablespaces (Subset der Databank)– Partitionen (ein Subset der Table oder Index)
§ Unter Berücksichtigung einer ILM Strategie verlagern der wenig benötigten Partitionen auf HDD Drives
– TEMP und/oder INDEX
Soll ich Redo Logs auf SSDs verlagern EFD?– Antwort: It depends!
§ Ja: wenn die gesamte Datenbank auf die SSDs verlagert wird § Nein: wenn nur Teile der Datenbank auf die SSDs verlagert werden (TBS, Index, Partitions). Dies lässt
dann auch mehr Platz für weitere Datensätze im SSD.
http://www.emc.com/collateral/hardware/white-papers/h5699-implement-dmx-flash-with-oracle-wp.pdfhttp://www.emc.com/collateral/hardware/white-papers/h5967-leveraging-clariion-cx4-oracle-deploy-wp.pdf
27© Copyright 2009 EMC Corporation. All rights reserved.
Enterprise Flash Drives (SSDs)
Erste Storage Plattformen, die durchgängig Flash Drives unterstützen– Voll integriert (keine Appliance) in Symmetrix- und CLARiiON-Systeme
(somit die Nutzung der gesamten Software - Funktionalitäten möglich)
Flash Drive Technologie optimiert für performante Applikationsanforderung
– FC Interface als Frontend; RAM Cache mit einer Read/Write Engine (16 parallele I/O Pfade )
Zur Erhöhung der Performanz in vielen Umgebungen einsetzbar– Ideal für Low Latency, High Transaction Workloads
Ultra Performanz durch Enterprise-Class Flash Drives
Flash Drives werden sich zukünftig etablieren! =è Mainstream - Technologie
28© Copyright 2009 EMC Corporation. All rights reserved.
Application Total Throughput (I/Os)
1,000
900
800
700
600
500
400
300
200
100
0
Tier 0:Enterprise Flash drives
Tier 1: Fibre Channel drives
Tier 2: SATA II and low power SATA II
drives
Fully Automated Storage Tiering(FAST Phase I) auf der CX4
CX4
F
A
S
T
Tier 0
Tier 1
Tier 2
Schrittweise Automation 1. Analysieren und
Bewerten der Daten auf den FC Disk Devices
2. Migration der erforderlichen Daten-
Lun’s wie folgt:
Verlagern der “Hot LUNs” auf
“High Performance EFD”
Verlagern der “Cold LUNs” auf
“HighEfficiency SATA”
CX4
F
A
S
T
29© Copyright 2009 EMC Corporation. All rights reserved.
Fast Phase 1 – Ablauf des Prozessess
1. Definieren der zu messenden Periode
2. Analysieren der Ergebnisse
3. Bewerten der Ergebnisse und durchführen der
Migration SATA Sequential2.500000 GB03LUN 3
SATA Random2.500000 GB02LUN 2
EFD Possible20 GB25LUN 5
P-3EFD Strong1.250000 GB01LUN 1RG-2EFD Highest125.000000 GB00LUN 0
Destination Storage Pool ID
Destination Recommendation
Source LUN Capacity
Source RAID Group IDSource LUN ID
Source LUN Name
Thu 09/03/09 16:13:34Report Time
C:\EMC\FAST LUN Migrator\fastlun-1.xmlReport Name
FNM00083700132Array Serial #
Test-FNM00083700132-TestArray Name
1Version #
SATA Sequential2.500000 GB03LUN 3
SATA Random2.500000 GB02LUN 2
EFD Possible20 GB25LUN 5
P-3EFD Strong1.250000 GB01LUN 1RG-2EFD Highest125.000000 GB00LUN 0
Destination Storage Pool ID
Destination Recommendation
Source LUN Capacity
Source RAID Group IDSource LUN ID
Source LUN Name
Thu 09/03/09 16:13:34Report Time
C:\EMC\FAST LUN Migrator\fastlun-1.xmlReport Name
FNM00083700132Array Serial #
Test-FNM00083700132-TestArray Name
1Version #
30© Copyright 2009 EMC Corporation. All rights reserved.
Fully Automated Storage Tiering- FAST
SATA
FC
EFD
Tiered StorageAutomatisiertes verlagernvon Daten, basierend auf
I/O Anforderungen
Vorbereitet zum Einsatz von neuen Technologien
Optimiert für Kosten und Performanz
Einzigartige Funktionaltät für EMC Storage
31© Copyright 2009 EMC Corporation. All rights reserved.
FAST – Volume Move
EFD
FC
SATA
Ein Volume wird dann verlagert, wenn nicht zugeordneter Speicherplatz in dem Storage Tier zur Verfügung steht, in dass
das Volume verlagert werden soll
FAST identifiziert das Volume– Ein Volume auf einem EFD Device, das effizienter auf einem SATA Device verfügbar
wäre– Ähnlich mit Volumes in anderen Tier – Stufen
Volume wird in die neue Storage Tier verlagert
Dieser Process wiederholt sich, sodass die Effizienz und die Anforderungen
optimal im Storage System bereitgestellt werden
32© Copyright 2009 EMC Corporation. All rights reserved.
FAST – Volume Swap
EFD
FC
SATA
Ein Volume - Swap wird dann durchgeführt, wenn kein freier Storage in dem neuen Tier mehr verfügbar ist
FAST identifiziert das Volume– Z.B.: EFD wäre effizienter auf FC or SATA– Oder, ein identifiziertes Volume auf einem
FC- or SATA-Device wäre effizienter auf einem EFD-Device
Lokationstausch des Volume– Ein DRV Device wird als Swap Bereich
benutzt
Dieser Process wiederholt sich, sodass die Effizienz und die Anforderungen
optimal im Storage System bereitgestellt werden
33© Copyright 2009 EMC Corporation. All rights reserved.
Heinz VennemannEMC Global Services
Senior Technology Consultant
EMC Deutschland GmbH
Hammfelddamm 4
41460 Neuss
Telefon: +49 2131 9191 – 185
E-Mail: [email protected]
Kontaktdaten