31
© 2010 IBM Corporation IDAA IBM DB2 Analytics Accelerator La Nouvelle Donne BI sur Système Z Guy Delaporte [email protected]
© 2010 IBM Corporation
IDAA
IBM DB2 Analytics Accelerator
La Nouvelle Donne BI surSystème Z
Guy Delaporte
2
DB2 for z/OS – IDAA : La performance et la sécurité
Fondation z : WLM, RLF, PR/SM, Linux for z …
• Extension des limites
•Taille des tablespaces•64 bits
• Partitionnement•Rotation•DPSI
• MQTs
2006ZIIP
2007DB2 V9
2009-2011Solution Edition, ISAS,
zEntreprise, IDAA
• // queries (CPU parallelism)
• DRDA
• Utilitaires
• Extension du •utilisation de zIIP•optimiseur•// queries
• Tablespaces sans logging
• Reopt (AUTO)• Compression des index
•
• Solution Edition – offreconcurrentielle
• IDAA : Netezza“performances inégalées”
• ISAS : “appliance like”DB2 z/OS, InfoSphereWarehouse, Cognos
2004DB2 V8
« The Speed to Revolutionize Business Analytics: IBM DB2 Analytics Accelerator »
3
Architecture technique IDAA
DataManager
BufferManager
IRLMLog
Manager
IBMDB2
AnalyticsAccelerator
Applications DBA Tools, z/OS Console, ...
. . .
Operational Interfaces(e.g. DB2 Commands)
Application Interfaces(standard SQL dialects)
z/OS on System z
Netezza
DB2 for z/OS
Superior availability
reliability, security,
Workload management
Superior
performance on
analytic queries
3
4
4
Query Execution Process Flow
DB2 for z/OS
Optimizer
IDA
A D
RD
A R
equestor
DB2 Analytics Accelerator
Application
ApplicationInterface
Queries executed with DB2 Analytics Accelerator
Queries executed without DB2 Analytics Accelerator
Query execution run-time for queries that cannot be or should
not be off-loaded to IDAA
SPU
CPU FPGA
Memory
SPU
CPU FPGA
Memory
SPU
CPU FPGA
Memory
SPU
CPU FPGA
Memory
SM
P H
ost
5
Performances et économies
Pour accélérer les décisions avec l’accélération du business
Queries run faster
• Save CPU resources
• People time
• Business opportunities
Actual customer results, October 2011
Times Faster
Query
Total Rows
Reviewed
Total Rows
Returned Hours Sec(s) Hours Sec(s)Query 1 2,813,571 853,320 2:39 9,540 0.0 5 1,908Query 2 2,813,571 585,780 2:16 8,220 0.0 5 1,644Query 3 8,260,214 274 1:16 4,560 0.0 6 760Query 4 2,813,571 601,197 1:08 4,080 0.0 5 816Query 5 3,422,765 508 0:57 4,080 0.0 70 58Query 6 4,290,648 165 0:53 3,180 0.0 6 530Query 7 361,521 58,236 0:51 3,120 0.0 4 780Query 8 3,425.29 724 0:44 2,640 0.0 2 1,320Query 9 4,130,107 137 0:42 2,520 0.1 193 13
DB2 Only DB2 with
IDAA
DB2 Analytics Accelerator: “nous l’avons mis en oeuvre en quelques jours et vu des requêtes répondre plus que 1000 foisplus vite ”
DB2 Analytics Accelerator: “nous prévoyons un ROI en moins de 4 mois”
6
IDAA Maintenance du contenu des tables DB2 for z/OS
IDAA Studio
Adm
inistrative Stored
Procedures .
.
.
.
.
.
.
.
.
Table A
Part 1
Part 2
Part m
Table C
Table B
Table D
Part 1
Part 2
Part 3
Unload USS Pipe
Unload
Unload
USS Pipe
USS Pipe
IDAA
SPU
CPU FPGA
Memory
SPU
CPU FPGA
Memory
SPU
CPU FPGA
Memory
SPU
CPU FPGA
Memory
SM
P H
ostExplicit
Invocation (e.g. by
Job Scheduler)
� Des partitions appartenant à la même table peuvent ê tre chargées en parallèle
– degré de parallelisme choisi par l‘utilisateur� Chargements de mise à jour par table ou par partitio n
77
DB2 Analytics Accelerator V2.1Capitaliser sur le meilleur des 2 mondes – System z et Netezza
Quelles différences ?
Volume de données accru
� V1 - 4TB max
� V2 -128TB+
Meilleure exécution des queries
� Context switching
� Exécution de requêtes complètes
Coùt plus faible
� Coùt réduit du stockage
� Plus de mips économisés sur le Systeme z
Extension des types de requêtes
� Nombreuses restrictions suprimées
Quel changement ?L’ IBM DB2 Analytics AcceleratorV2 est un changement de technologie par rapport à la V1 (ISAO), partant d’une base de données en mémoire , la V2 estbasée sur une solution d’accélération avec stockagesur disques . Cette solution continue à êtretransparente pour les applications
Annonce le 12 octobre 2011
8
8
IDAA V2.1 préserve les points clé de la V1�DB2 continue d’être le propriétaire des données ( OLTP et DW)
� Acces aux données mieux sécurisé (autorisations, privileges, …)
� Intégrité et cohérence des données (backup, recovery, …)
� Permet d’étendre la qualité de service du System z au x données décisionnelles
�Les applications accèdent aux données ( OLTP et DW) seulement à travers DB2
� DB2 décide s’il faut exécuter la requête dans DB2 z ou s’il l’envoie à IDAA
� DB2 renvoie les résultats directement à l’ application
� Permet des workloads hétérogènes et une sélection du m eilleur moteur d’exécution(dans DB2 ou dans IDAA) en fonction des types d’acces
�IDAA continue d’être mis en oeuvre en tant que composant de DB2
� DB2 fournit les status de IDAA et les indicateurs de performances ainsi que les interfaces d’administration et de chargement
� Pas d’acces direct à IDAA (log-on)
� Permet une réduction des couts opérationnels à travers l’u tilisation des compétencesexistantes , d’outils et de processus connus
999
Améliorations majeures de la V2
� Extension de l’ accélération à une proportion nettement plus forte de types de requêtes
� Etend la taille des données gérées par l’accélérateur
� Exécution de différentes requêtes en parallèle
� Chargement incrémental par partition
� Supporté par DB2 9 et DB2 10
� Nécessite des z196 ou z114
10
10
Options de connections
Plusieurs DB2 peuvent se connecter à un IDAA
1 systeme DB2 peut se connecter à plusieurs IDAAs
• residing in the same LPAR• residing in different LPARs• residing in different CECs• being independent (non-data sharing)• belonging to the same data sharing group• belonging to different data sharing groups
Multiple DB2 systems can connect to multiple IDAAs
Full flexibility for DB2 systems:
MeilleureMeilleure utilisationutilisation de lde l’’ IDAA IDAA ScalabilityScalabilityHaute Haute disponibilitdisponibilitéé
11
IBM DB2 Analytics Accelerator Studio
12
DB2 for z/OS IDAA
Definition and déploiement des tables dans l’Analytic s Accelerator
IBM Data Studio Client
IDAA StudioIDAA Studio DB2 CatalogDB2 Catalog
IDAA Administrative IDAA Administrative Stored ProceduresStored Procedures Netezza CatalogNetezza Catalog
� Les tables doivent être définies et déployées dans l‘ IDAA avant que les données ne soient chargées et les requêtes SQL envoyées pour y être exécutées .
� Definition::identifier les tables pour lesquelles les queries doivent être accélérées
� Deployment: stocker les metadata des tables dans les catalogues DB2 et Netezza .
� IBM DB2 Analytics Accelerator Studio vous guide dans les étapes de definition et déploiement des tables , ainsi que pour l‘appel des taches administratives
� IBM DB2 Analytics Accelerator Stored Procedures met en oeuvre et exécute les opérations d‘administration telles que le deploiement , le chargement et l‘update des tables et sert d‘interface avec IDAA pour le monde exterieur , y compris pour IDAA studio .
13
IBM DB2 Analytics Accelerator V2 Product Components
10Gb
OSA-Express3
10 GbE
Primary
Backup
CLIENT
Data Studio Foundation
DB2 Analytics Accelerator
Admin Plug-in
zEnterprise
Data Warehouse applicationDB2 for z/OS enabled for IBM
DB2 Analytics Accelerator
IBM DB2 Analytics Acelerator
BladeCenter
NetezzaTechnology
Users/Applications
Network
14
15
The Appliance Connected to a System z
FPGA
Memory
CPU
FPGA
Memory
CPU
FPGA
Memory
CPU
HostsHost
Disk Enclosures S-Blades™
NetworkFabric
Netezza Appliance
16
The Key to the Speed
FPGA Core CPU Core
Uncompress Project Restrict,Visibility
Complex ∑∑∑∑Joins, Aggs, etc.
select DISTRICT,
PRODUCTGRP,
sum(NRX)
from MTHLY_RX_TERR_DATA
where MONTH = '20091201'
and MARKET = 509123
and SPECIALTY = 'GASTRO'
Slice of table
MTHLY_RX_TERR_DATA
(compressed)
Slice of table
MTHLY_RX_TERR_DATA
(compressed)
where MONTH = '20091201'
and MARKET = 509123
and SPECIALTY = 'GASTRO'
where MONTH = '20091201'
and MARKET = 509123
and SPECIALTY = 'GASTRO'
sum(NRX)sum(NRX)
select DISTRICT,
PRODUCTGRP,
sum(NRX)
select DISTRICT,
PRODUCTGRP,
sum(NRX)
17
Netezza – Fonctions d'analyse révolutionnaires
13/04/201217
Data Out
Data In/Out
SQ
L
OD
BC
J
DB
C
OLE
-DB
Extract/Load
DataStageInformatica
Ab-InitioMicrosoftOracleSAS(…)
Analytics
CognosSPSS
MicrosoftBusiness Objects
MicroStrategyOracleSAS
Web Services(…)
� Architecture conçue de bout en bout à des fins d'analyse
� Base de données, serveur et stockage intégrés
� Interfaces standard
� Coût total de possession faible
� Vitesse : 10 à 100 fois plus rapides que les systèmes traditionnels
� Simplicité : tâches minimales d'administration et d'adaptation
� Evolutivité : capacité pétaoctets de données utilisateur
� Gestion intelligente
18
IBM DB2 Analytics Accelerator Capitaliser sur le meilleur des deux mondes – Système z et Netezza
En quoi est il différent ?� Performance: Des temps de réponse
aux analyses, inégalés, pour permettrede suivre le fil de la pensée souventcoupé par des performances médiocres
� Intégration: intégration poussée avec DB2 qui le rend transparent à toutesles applications .
� Un trafic auto-régulé : Les requêtessont exécutées sur la plateforme la plus efficace
� Transparence: Les applications connectées à DB2 ignorent totalementla présence de l’ Accelerateur
� Une administration simplifiée:L’automatisation de l’appliance éliminela plupart des taches habituelles de tuning
C’est quoi ? L’IBM DB2 Analytics Accelerator est une appliance optimisée pour gérer le trafic de requêtes analytiques, qui permet l’intégration des analyses métier dans les processus opérationnels pour appliquer les stratégiesgagnantes.
Il accélère les requêtes en lecture de façonspectaculaire
Une nouvelle Technologie qui ouvre le champ des possib les18
19
IDAA – Intégrer l’architecture Netezza AMPP TM à DB2
Advanced
Analytics
DBA
Legacy Reporting
BI
FPGA
Memory
CPU
FPGA
Memory
CPU
FPGA
Memory
CPU
SMPHost
Disk
EnclosuresS-Blades™Network
Fabric
IBM DB2 Analytics Accelerator
DB2 for z/OS
•V9•V10
AMPP = Asymmetric Massively Parallel Processing:
Garant de performances et de scalabilitéPour requêtes analytiques
Netezza 1000
IBM
DB
2 Analytics A
ccelerator
IBM
DB
2 Analytics A
ccelerator
19
20
Exécution optimisée de requêtes
DB2 for z/OS et DB2 Analytics Accelerator
OLTP-like queryOLTP-like query
Light ODS-query
Light ODS-query
Heavy BI QueryHeavy BI Query
Light BI QueryLight BI Query
ExécutionDB2 classique
ExécutionDB2 classique
User control et A
lgorithmes
DB
2
• Système unique pour des requêtes à profilstrès différents
• Sélection de la plateforme d’exécutionla plus efficace
• Nouveaux algorithmesdans l’optimiseur DB2
• Fusionne les opérations et le data warehouse dans un environnementunique
Exécution accéléréepour les requêtes lourdes
20
21
22
Performances et économies
Pour accélérer les décisions avec l’accélération du business
Queries run faster
• Save CPU resources
• People time
• Business opportunities
Actual customer results, October 2011
Times Faster
Query
Total Rows
Reviewed
Total Rows
Returned Hours Sec(s) Hours Sec(s)Query 1 2,813,571 853,320 2:39 9,540 0.0 5 1,908Query 2 2,813,571 585,780 2:16 8,220 0.0 5 1,644Query 3 8,260,214 274 1:16 4,560 0.0 6 760Query 4 2,813,571 601,197 1:08 4,080 0.0 5 816Query 5 3,422,765 508 0:57 4,080 0.0 70 58Query 6 4,290,648 165 0:53 3,180 0.0 6 530Query 7 361,521 58,236 0:51 3,120 0.0 4 780Query 8 3,425.29 724 0:44 2,640 0.0 2 1,320Query 9 4,130,107 137 0:42 2,520 0.1 193 13
DB2 Only DB2 with
IDAA
DB2 Analytics Accelerator: “nous l’avons mis en oeuvre en quelques jours et vu des requêtes répondre plus que 1000 foisplus vite ”
DB2 Analytics Accelerator: “nous prévoyons un ROI en moins de 4 mois”
23
Agenda
� Business and Technology Drivers
� Key Design and Operational Features
� DB2 Integration
� Powered by Netezza
� Supported Workloads and Workload Applicability Assessment
24
Routing CriteriaA Query can be Routed to IDAA if…
� Query acceleration is enabled
– System parameter ACCEL set to AUTO or COMMAND• If COMMAND, the accelerator must be explicitly started by the START ACCEL command
– System parameter ACCEL_LEVEL set to a value of V2• Applies to DB2 9 only. ACCEL_LEVEL is deprecated in DB2 10
– Special register CURRENT QUERY ACCELERATION set to a value other than NONE• Either explicitly or implicitly by system parameter QUERY_ACCELERATION
– The accelerator is active• Use command START ACCEL unless already started
� The data of all the referenced tables and columns in the query are loaded and reside in the same accelerator
� The SQL query is among the query types that DB2 for z/OS can route
– See the following page
� The SQL functionality required to execute the query is supported by the IDAA
– See the Supported Workloads section later in the presentation
25
Routing Criteria – Query Types� The entire query can be accelerated, i.e. the unit of acceleration is a whole query
– Individual query blocks are no longer units of acceleration
– The whole query will either run in DB2 or in the accelerator
� The associated cursor is not defined as a scrollable or a rowset cursor
� The query is defined as read-only
� The query is dynamic
� The query is a SELECT statement
� The private protocol is not in effect
� Routing to IDAA is considered more efficient for performance than to execute the query in DB2 mainline
– The decision is based on some heuristic rules
26
Routing Criteria� DB2 Optimizer uses a set of rules to determine whether a given query is better off being executed
in DB2 core engine or routed to the accelerator, such as
– In general, typical OLTP access path patterns are not routed to the accelerator, e,g. • Equal unique access
• One fetch access
– If none of these: WHERE, GROUP BY, ORDER BY, aggregate functions is specified (i.e. all rows are to be returned), the query is not routed
– If all the tables referred in the query are “small”, the query is not routed• Value SMALLTABLE_THRESHOLD which is expressed in the number of pages determines what is a “small” table
• SMALLTABLE_THRESHOLD is specified by the DB2 Profile (1) mechanism
• The default value is 50
• If SMALLTABLE_THRESHOLD = -1, this check is ignored, i.e. the table size is not observed when deciding whether to route the query to the accelerator
– If a “large” result set is expected, the query is not routed• Value RESULTSET_THRESHOLD which is expressed in the number of rows determines what is a “large” result set. If the estimated result set is larger
than the value specified in RESULTSET_THRESHOLD, the query is not routed to the accelerator
• RESULTSET_THRESHOLD is specified by the DB2 Profile (1) mechanism
• The default value is -1, which means that this check is ignored, i.e. the result set size is not observed when deciding whether to route the query to the accelerator
� Recommendation: use the default values. If you have to, change them only after rigorous testing!
(1) http://publib.boulder.ibm.com/infocenter/dziche lp/v2r2/index.jsp?topic=/com.ibm.db2z10.doc.perf/sr c/tpc/db2z_profiles.htm
27
Loading & Refreshing IDAA Data Contents
DB2 for z/OS
IDAA Studio
Adm
inistrative Stored
Procedures .
.
.
.
.
.
.
.
.
Table A
Part 1
Part 2
Part m
Table C
Table B
Table D
Part 1
Part 2
Part 3
Unload USS Pipe
Unload
Unload
USS Pipe
USS Pipe
IDAA
SPU
CPU FPGA
Memory
SPU
CPU FPGA
Memory
SPU
CPU FPGA
Memory
SPU
CPU FPGA
Memory
SM
P H
ostExplicit Invocation
(e.g. by Job
Scheduler)
© 2010 IBM Corporation
Conclusion
29
� Plus grande protection des données
– Données sécurisées (contre les risques d’intrusion)
� Gains tres importants sur les temps de réponse
� Economie de CPU ==> ROI rapide
� Rien à changer aux applications décisionnelles exist antes ( sur DB2 z )
� Disponibilité supérieure de la plate forme z
– Sysplex : meilleur taux de disponibilité 99,999 %
– PRA plus fiable qu’avec une multiplicité de serveurs hétérogènes
� TCO
Les raisons de choisir IDAA , l’accélérateur de requê tes DB2 z
30
30
© Copyright IBM Corporation 2008 All rights reserve d. The information contained in these materials is provided for informational purposes only, and is provided AS IS without warranty of any kind, express or implied. IBM shall not be responsible for any damages arising out of the use of, or otherwise related to, these materials. Nothing contained in these materials is intended to, nor shall have the effect of, creating any warranties or representations from IBM or its suppliers or licensors, or altering the terms and conditions of the applicable license agreement governing the use of IBM software. References in these materials to IBM products, programs, or services do not imply that they will be available in all countries in which IBM operates. Product release dates and/or capabilities referenced in these materials may change at any time at IBM’s sole discretion based on market opportunities or other factors, and are not intended to be a commitment to future product or feature availability in any way. IBM, the IBM logo, Cognos, the Cognos logo, and other IBM products and services are trademarks of the International Business Machines Corporation, in the United States, other countries or both. Other company, product, or service names may be trademarks or service marks of others.
31
LEGACY SOURCES
DATAMARTSDATA INTEGRATION
WAREHOUSE
OLAP
REPORTS
MASTER DATA
REFERENCE DATA
‘
Le Z dispose de toutes les briques logiciellespour bâtir un système décisionnel
ENTERPRISE CONTENT DATA
InfoSphereInfoSphere Warehouse Warehouse / / Linux for zLinux for z
InfoSphereInfoSphere MDM ServerMDM Server
InfoSphereInfoSphere Information Server Information Server / / Linux for zLinux for z
IBM IBM CognosCognos 8 BI / 8 BI / Linux for zLinux for z
FileNetFileNet Content ManagementContent Management
DB2 DB2 for z/OSfor z/OS
