25
© PPI AG l Konferenz Data Analytics März 2018 Noch mehr Flexibilität- DataVault mit virtuellen Datamarts
© PPI AG l
RGB: 226 - 226 - 10
RGB: 242 - 56 - 90
RGB: 181 - 68 - 193
RGB: 255 - 152 - 0
RGB: 100 - 183 - 35
RGB: 37 - 130 - 142
Sekundäre Akzentfarben:
Konferenz Data Analytics März 2018
Noch mehr Flexibilität- DataVault mit virtuellen Datamarts
© PPI AG l
RGB: 226 - 226 - 10
RGB: 242 - 56 - 90
RGB: 181 - 68 - 193
RGB: 255 - 152 - 0
RGB: 100 - 183 - 35
RGB: 37 - 130 - 142
Sekundäre Akzentfarben:
[email protected] DataVault mit virtuellen Datamarts 2
Agenda
1 Data Vault
2 UDG - der PPI Generator
3 Virtuelle Datamarts
4 Das DWH der Zukunft von PPI
© PPI AG l
RGB: 226 - 226 - 10
RGB: 242 - 56 - 90
RGB: 181 - 68 - 193
RGB: 255 - 152 - 0
RGB: 100 - 183 - 35
RGB: 37 - 130 - 142
Sekundäre Akzentfarben:
[email protected] DataVault mit virtuellen Datamarts 3
01 Data Vault
© PPI AG l
RGB: 226 - 226 - 10
RGB: 242 - 56 - 90
RGB: 181 - 68 - 193
RGB: 255 - 152 - 0
RGB: 100 - 183 - 35
RGB: 37 - 130 - 142
Sekundäre Akzentfarben:
Kurzvorstellung Data Vault
Hubs Geschäftsobjekte
Links Beziehungen von
Geschäftsobjekten
Satellites Eigenschaften von
Geschäftsobjekten
Ziel: • Entkopplung einzelner Komponenten / Fragestellungen
für
• fachliche Analyse
• Entwicklung / Test
• Beladung
• agiles Vorgehen
• Ergänzungen schnell produktiv nehmen (Time to Market)
• erfunden von Dan Linstedt
• zuerst in USA und Niederlande
verbreitet
• seit ca. 6 Jahren weltweit genutzt
[email protected] DataVault mit virtuellen Datamarts 4
© PPI AG l
RGB: 226 - 226 - 10
RGB: 242 - 56 - 90
RGB: 181 - 68 - 193
RGB: 255 - 152 - 0
RGB: 100 - 183 - 35
RGB: 37 - 130 - 142
Sekundäre Akzentfarben:
Data Vault
Typische Architektur
Quellen Data Vault Integrationslogik
Hard Rules
Raw Vault
+
+ +
+ +
+ +
Transformation
Business Vault
Error Vault
Soft Rules
Geschäftsregeln
Anlieferung technisches Modell fachliche Sicht
Sta
gin
g
log
isc
he
V
iew
s
Info
rm
ati
on
ma
rt
1:1
PPI Ergänzung
© PPI AG l
RGB: 226 - 226 - 10
RGB: 242 - 56 - 90
RGB: 181 - 68 - 193
RGB: 255 - 152 - 0
RGB: 100 - 183 - 35
RGB: 37 - 130 - 142
Sekundäre Akzentfarben:
[email protected] DataVault mit virtuellen Datamarts 6
02
UDG = Universal Datamodel Generator
UDG - der PPI Generator
© PPI AG l
RGB: 226 - 226 - 10
RGB: 242 - 56 - 90
RGB: 181 - 68 - 193
RGB: 255 - 152 - 0
RGB: 100 - 183 - 35
RGB: 37 - 130 - 142
Sekundäre Akzentfarben:
UDG – Universal Datamodelling Generator
PPI Ansatz zur Implementierung
Data Vault Regel „Reduzierung der Komplexität“ gilt auch für die Tools
herkömmliches Tool
• deckt Anforderungen verschiedener Kunden ab
• hohe Komplexität
• erfordert viel Know How
• Gefahr von Fehlbedienungen
PPI Ansatz
• basiert auf Eclipse
• statt eines Tools wird eine anpassbare API geliefert
• ist vorkonfiguriert
• nutzt eigene Domain Specific Language (DSL)
kann nicht alles, aber genau das, was das Projekt braucht
Wer nutzt mehr als
5% der Funktionen
von Word?
[email protected] DataVault mit virtuellen Datamarts 7
© PPI AG l
RGB: 226 - 226 - 10
RGB: 242 - 56 - 90
RGB: 181 - 68 - 193
RGB: 255 - 152 - 0
RGB: 100 - 183 - 35
RGB: 37 - 130 - 142
Sekundäre Akzentfarben:
Umsetzung mit UDG
Haus wird genutzt
3.Generatorverwendung
im Projekt
2.Anpassung
Projektspezifika 1.Basiskomponente
Standardhaus
Basis Data Vault Implementierung
Standard Funktionalitäten
Code bringt PPI in Projekt ein
voll funktionsfähig
projektspezifische Architektur
initiale Projektphase
Haus wohnlich eingerichtet
fachliche Projektarbeit
[email protected] DataVault mit virtuellen Datamarts 8
© PPI AG l
RGB: 226 - 226 - 10
RGB: 242 - 56 - 90
RGB: 181 - 68 - 193
RGB: 255 - 152 - 0
RGB: 100 - 183 - 35
RGB: 37 - 130 - 142
Sekundäre Akzentfarben:
Technische Umsetzung - Generatorabdeckung
generiert durch UDG individueller Programmcode
Read API
Write API
Quellen Data Vault
Integrationslogik
Hard Rules
1:1 Soft Rules
Geschäftsregeln
Sta
gin
g
log
isc
he
v
iew
s
Info
rm
ati
on
ma
rt
Raw Vault
+
+ +
+ +
+ +
Business Vault
Error Vault
Transformation
© PPI AG l
RGB: 226 - 226 - 10
RGB: 242 - 56 - 90
RGB: 181 - 68 - 193
RGB: 255 - 152 - 0
RGB: 100 - 183 - 35
RGB: 37 - 130 - 142
Sekundäre Akzentfarben:
Features UDG
• Validierung
• Fehleingaben werden erkannt
• Code Completion
• Unterstützung bei der Eingabe
• Generierung
• Aufruf per Kontextmenü
• Ergebnisse
• Skripte für
• Anpassung Datenmodell
• Beladung Datenmodell
• Ergänzung logisches Modell
• Steuerung angepasst
• Dokumentationen aktualisiert
• Grafiken / Word / Excel
Lifedemo am
Stand
[email protected] DataVault mit virtuellen Datamarts 10
Dokumentationen Skripte
© PPI AG l
RGB: 226 - 226 - 10
RGB: 242 - 56 - 90
RGB: 181 - 68 - 193
RGB: 255 - 152 - 0
RGB: 100 - 183 - 35
RGB: 37 - 130 - 142
Sekundäre Akzentfarben:
[email protected] DataVault mit virtuellen Datamarts 11
03 Virtuelle Datamarts
© PPI AG l
RGB: 226 - 226 - 10
RGB: 242 - 56 - 90
RGB: 181 - 68 - 193
RGB: 255 - 152 - 0
RGB: 100 - 183 - 35
RGB: 37 - 130 - 142
Sekundäre Akzentfarben:
Ergänzung DataVault um virtuelle Datamarts
[email protected] DataVault mit virtuellen Datamarts 12
Herausforderung DataVault
• Flexibiltät geht bei der Marterstellung verloren
• abweichende Logiken bei Erstellung verschiedener
Datamarts
• zusätzlicher Aufwand Erstellung / Test von Datamarts
• aufwendige Migrationen, da Datamarts hohes
Datenvolumen haben
• logische Views durch UDG generierbar
• alle Views zeigen gleiche Daten an, d.h. Logik ist immer
einheitlich
• Aufwand Erstellung / Test extrem reduziert
• keine Datenmigrationen
• Fachbereich hat sofort einfaches leicht verständliches
Modell
• Fachbereich greift nicht direkt auf DataVault zu
Vorteile Virtualisierung
Aber: Was ist mit der Performance?
© PPI AG l
RGB: 226 - 226 - 10
RGB: 242 - 56 - 90
RGB: 181 - 68 - 193
RGB: 255 - 152 - 0
RGB: 100 - 183 - 35
RGB: 37 - 130 - 142
Sekundäre Akzentfarben:
Performance virtuelle Datamarts
[email protected] DataVault mit virtuellen Datamarts 13
Caching von Oracle
• „normaler“ Datencache
• Big Table Cache
• InMemory Cache
• Full Database Cache
• View hat viele Felder und Joined viele Tabellen
• bei Auswahl einzelner Felder (typisch für Reports) greift
Oracle aber nur auf wenige Tabellen zu
• vollautomatische Entscheidung, auf welche Tabelle bei
welchen ausgewählten Feldern zugegriffen werden
muss
Optimizer Join Elimination
Oracle liefert Performance!
Parallel Query
ExaData
© PPI AG l
RGB: 226 - 226 - 10
RGB: 242 - 56 - 90
RGB: 181 - 68 - 193
RGB: 255 - 152 - 0
RGB: 100 - 183 - 35
RGB: 37 - 130 - 142
Sekundäre Akzentfarben:
Opimizer Join Elimination - View mit vielen Feldern und komplexem SQL
DataVault mit virtuellen Datamarts 14
insgesamt 163 Felder kleiner Ausschnitt des SQL
© PPI AG l
RGB: 226 - 226 - 10
RGB: 242 - 56 - 90
RGB: 181 - 68 - 193
RGB: 255 - 152 - 0
RGB: 100 - 183 - 35
RGB: 37 - 130 - 142
Sekundäre Akzentfarben:
DataVault mit virtuellen Datamarts 15
Opimizer Join Elimination
- extreme Komplexität Ausführungsplan bei Vollabfrage
nur kleiner Teilausschnitt des Plan dargestellt
Extremfall zeigt technische Komplexität der View
© PPI AG l
RGB: 226 - 226 - 10
RGB: 242 - 56 - 90
RGB: 181 - 68 - 193
RGB: 255 - 152 - 0
RGB: 100 - 183 - 35
RGB: 37 - 130 - 142
Sekundäre Akzentfarben:
[email protected] DataVault mit virtuellen Datamarts 16
Opimizer Join Elimination - geringe Komplexität Ausführungsplan bei Teilabfrage
kompletter Plan dargestellt
• sehr wenige Tabellen
• nur 1x Full Scan
• alle anderen Zugriff optimal per
eindeutigem Index
dies ist der Standardfall bei praktischer Nutzung mit BI
© PPI AG l
RGB: 226 - 226 - 10
RGB: 242 - 56 - 90
RGB: 181 - 68 - 193
RGB: 255 - 152 - 0
RGB: 100 - 183 - 35
RGB: 37 - 130 - 142
Sekundäre Akzentfarben:
[email protected] DataVault mit virtuellen Datamarts 17
Opimizer Join Elimination - keine Komplexität Ausführungsplan bei Minimalabfrage
kompletter Plan dargestellt
• nur ein Indexzugriff
Extremfall beweist den vollständigen Verzicht auf alle unnötigen Tabellenzugriffe
© PPI AG l
RGB: 226 - 226 - 10
RGB: 242 - 56 - 90
RGB: 181 - 68 - 193
RGB: 255 - 152 - 0
RGB: 100 - 183 - 35
RGB: 37 - 130 - 142
Sekundäre Akzentfarben:
Referenzprojekte
[email protected] DataVault mit virtuellen Datamarts 18
Kunde 1
• Anbindung eines Liefersystems inklusive archivierter
historischer Daten als Pilotprojekt
• nach Abschluss Anbindung weiterer Liefersysteme und
fachlicher Inhalte jeweils inklusive archivierter
historischer Daten
• Aufbau eines einheitlichen DWH für
Industrieversicherungen
• Start mit Schäden und Risiken
• Ausbau um Verträge, Partner, Buchungen
Talanx - oneData
© PPI AG l
RGB: 226 - 226 - 10
RGB: 242 - 56 - 90
RGB: 181 - 68 - 193
RGB: 255 - 152 - 0
RGB: 100 - 183 - 35
RGB: 37 - 130 - 142
Sekundäre Akzentfarben:
[email protected] DataVault mit virtuellen Datamarts 19
04
alles ist flexibel änderbar - nicht nur flexible Ergänzungen
Das DWH der Zukunft
vollständige Virtualisierung
sofortige Produktivnahme von fachlichen Änderungen
stärkere Einbeziehung der Fachabteilung
© PPI AG l
RGB: 226 - 226 - 10
RGB: 242 - 56 - 90
RGB: 181 - 68 - 193
RGB: 255 - 152 - 0
RGB: 100 - 183 - 35
RGB: 37 - 130 - 142
Sekundäre Akzentfarben:
ma
teria
lisie
rt
virtu
ell
Skalierbarkeit und Flexibilität – Erfolgsfaktoren für das DWH der Zukunft
temporäre Landing Zone
permanente Staging Schicht
Raw Vault
Business Vault
Data Marts
Data-Vault-Architektur mit virtualisierten Schichten
Vorteile Data Vault
• entkoppelte Komponenten innerhalb des
Datenmodells
• standardisierte und automatisierte
Datenbewirtschaftungsprozesse
• flexible Erweiterbarkeit
zusätzliche Vorteile Virtualisierung
• sofortige Wirksamkeit neuer Daten und neuer
Regeln
• reduzierter Speicherbedarf
• weniger Datenredundanz
• geringer Migrationsaufwand bei Änderungen
• geringer Aufwand für Regressionstests
• alles ist flexibel änderbar generierte View generierter Prozess
[email protected] DataVault mit virtuellen Datamarts 20
© PPI AG l
RGB: 226 - 226 - 10
RGB: 242 - 56 - 90
RGB: 181 - 68 - 193
RGB: 255 - 152 - 0
RGB: 100 - 183 - 35
RGB: 37 - 130 - 142
Sekundäre Akzentfarben:
Kennen Sie folgende Situation?
[email protected] DataVault mit virtuellen Datamarts 21
IT- Abteilung Fachabteilung
Die IT ist viel
zu langsam
Die Fachabteilung
weiß nicht was sie
will und ändert
ständig die
Anforderungen
PPI Lösung: Einsatz einer Rule Engine
© PPI AG l
RGB: 226 - 226 - 10
RGB: 242 - 56 - 90
RGB: 181 - 68 - 193
RGB: 255 - 152 - 0
RGB: 100 - 183 - 35
RGB: 37 - 130 - 142
Sekundäre Akzentfarben:
ma
teria
lisie
rt
virtu
ell
Skalierbarkeit und Flexibilität – Erfolgsfaktoren für das DWH der Zukunft
Landing Zone
Staging Schicht
Business Vault
Data Marts
Data-Vault-Architektur mit virtualisierten Schichten und Rule-Engine
Rule
Engine
Vorteile Rule Engine
• IT nur initial beteiligt
• Fachabteilung kann Logik im laufenden
Produktionsbetrieb anpassen
• Anpassungen extrem schnell möglich
generierte View generierter Prozess
Raw Vault
[email protected] DataVault mit virtuellen Datamarts 22
© PPI AG l
RGB: 226 - 226 - 10
RGB: 242 - 56 - 90
RGB: 181 - 68 - 193
RGB: 255 - 152 - 0
RGB: 100 - 183 - 35
RGB: 37 - 130 - 142
Sekundäre Akzentfarben:
Prinzip Rule Engine
[email protected] DataVault mit virtuellen Datamarts 23
technische
Programmierung
Rule Engine
fachliche
Festlegung
initiale Regeln
Initialer Test
Entwicklung
Produktion
Anpassung Regeln
Produktivnahme
Freigabe
4-Augen Prinzip
Simulationsrechnung
Vergleich mit vorherigen
Berechnungen
© PPI AG l
RGB: 226 - 226 - 10
RGB: 242 - 56 - 90
RGB: 181 - 68 - 193
RGB: 255 - 152 - 0
RGB: 100 - 183 - 35
RGB: 37 - 130 - 142
Sekundäre Akzentfarben:
Fazit
[email protected] DataVault mit virtuellen Datamarts 24
Wollen Sie diesen innovativen Weg gehen?
Wir helfen Ihnen gern dabei.
© PPI AG l
RGB: 226 - 226 - 10
RGB: 242 - 56 - 90
RGB: 181 - 68 - 193
RGB: 255 - 152 - 0
RGB: 100 - 183 - 35
RGB: 37 - 130 - 142
Sekundäre Akzentfarben:
Kontakt
25
Jörg Stahnke Principal Software Engineer
PPI AG
Moorfurthweg 13
22301 Hamburg
T +49 402227433-1329
M +49 160 3841771
www.ppi.de
[email protected] DataVault mit virtuellen Datamarts 25
