Big Data & QlikViewBig Data & QlikView
Juan Gerardo Cabeza ([email protected])
Ferran García ([email protected])
BD 4 BDBD 4 BD
Agenda
• ¿Qué es Big Data?
• Las famosas tres V’s
• ¿Cómo lo hacemos con QlikView?
• Un ejemplo
• Conclusiones
¿Qué es Big Data?
• "Big Data" es un término aplicado a conjuntos de datos que
superan la capacidad del software habitual para ser capturados, gestionados y procesados en un tiempo razonable.
• Las dificultades más habituales en estos casos se centran en la
captura, el almacenado, búsqueda, compartición,
análisis, y visualización.
Big Data
Business Discovery for Big Data
Big Data
Las famosas 3 V’s
Volumen
VariedadVelocidad
VolumenVolumenVolumenVolumenVolumenVolumenVolumenVolumen
Tecnologías Centradas en el Almacenamiento
SistemasRelacionales
El valor del Big Data viene del Contexto y la Relevancia
Data warehouse
Datos de Maquinas, datos web, datos cloud
Big Data cluster
SistemasOperacionales
warehouse
Google BigQuery
Velocidad
AnálisisRecarga
Velocidad de análisis
Hay que adaptar la información a la velocidad del análisis
Lleva un tiempo tomar decisiones
Las famosas 3 V’s
Visualización
AnálisisBúsqueda
Volumen
Integración
Exploración
Relevancia
Contexto
Colaboración
VariedadVelocidad
BD4BD, Business Discovery for Big Data
¿Cómo lo hacemos?
Plataforma BD4BDP
res
en
tació
n
BUSINESS DISCOVERY APPS
Ap
lic
ac
ión
Usuarios de Negocio
QVW & QVD filesQLIKVIEWPUBLISHER
QLIKVIEWSERVER
QLIKVIEW GOVERNANCE DASHBOARD
Ap
lic
ac
ión
QLIKVIEW DEVELOPER
Fuentes de Datos
QLIKVIEW EXPRESSOR DESKTOP
Ac
ce
so
a D
ato
s
QLIKVIEW EXPRESSOR ENGINE
QLIKVIEW EXPRESSOR METADATA
ERP
CRM
DASHBOARD
En memoria
Muchos escenarios de uso de Big Data se pueden tratar en memoria
Dashboard Resumen(10 MM filas)
App Detalle
(500 MM filas)
Drill-to-Detail
Dashboard Resumen(10 MM filas)
App Región Este
(150 MM filas)
Drill-to-Segmented-Detail
Dashboard Resumen
(20 MM filas)
Dashboard Productos
(10 MM filas)
Dashboard
Cross Subject Navigation
(500 MM filas) (150 MM filas)
App Región Oeste(150 MM filas)
App Región Norte(150 MM filas)
App Región Sur(150 MM filas)
Dashboard Cliente
(5 MM filas)
Dashboard Pedidos
(50 MM filas)
Combinamos datos ‘Big Data’ y de orígenes tradicionales
Combina distintas fuentes de datos en memoria
Aggregates / Detail
EDW Data
Data Warehouse
Combinamos datos ‘Big Data’ y de orígenes tradicionales
Combinamos fuentes de datos distintas utilizando Direct Discovery
Direct Discovery
EDW Data
Data Warehouse
Arquitectura de aplicaciones Híbrida
In Memory(Agregado)
Aplicación Direct
In Memory(Agregado)
Aplicación Direct Discovery
Direct Discovery (Agregado) Aplicación Direct
Discovery(Detalle)
Drill-to-Detail Tendencias Históricas Time Sensitive
Algunos escenarios de uso de Big Data pueden tratarse con una
aproximación híbrida
Aplicación Direct Discovery(Detalle)
Aplicación Direct Discovery(Detalle)
In M
em
ory
Da
sh
bo
ard
(De
talle
)
Encadenar Aplicaciones
• Navegar entre Aplicaciones QlikView
• Manteniendo Selecciones / Contexto
1) Los Usuarios RealizanSelecciones en la aplicación 1
3) La aplicación 2 se abre, las selecciones se tranfieren y se aplican
2) Click para saltar a otra aplicación
Arquitectura General
• En memoria
• Arquitectura de datos, QVDs, Agregaciones
• Publisher, Expressor
• Direct Discovery
• Modelo híbrido
In Memory Direct Discovery Hybrid
BD4BD, siempre es QlikView
Selecciones: verdeSelecciones: verde
Asociado: Blanco
Selecciones: verdeSelecciones: verde
No Asociado: grisNo Asociado: gris
BD4BD
Demo
Demo BD4BDP
res
en
tació
n
BUSINESS DISCOVERY APPS
Ap
lic
ac
ión
Usuarios de Negocio
QLIKVIEWPUBLISHER
QLIKVIEWSERVER
QLIKVIEW
Ap
lic
ac
ión
QLIKVIEW DEVELOPER
Fuentes de Datos
Ac
ce
so
a D
ato
s
QLIKVIEW EXPRESSOR ENGINE
ERP
QlikView y Big Data en King.com
• 1.600 millones de registros de datos diarios en Hadoop — 211M de registros diarios extraídos para análisis en QlikView.
• Actividad de navegación de los clientes, interacciones de jugadores con cada juego, muchas más métricas.
• Resultados: ROI en campañas de Marketing conseguido por primera vez (Nº de jugadores, Nº de partidas, tiempo jugado, primera vez (Nº de jugadores, Nº de partidas, tiempo jugado, etc.)
¿Por qué QlikView para Big Data?
• Conectividad con fuentes de datos heterogéneas
– Big Data: Hadoop, MongoB, Aster, Google Big Query...
– Otras fuentes de datos: Operacionales, Social Media, EDW…
– Extraer, Limpiar y Transformar datos
– Modelo de Datos agnóstico
• Arquitectura de Datos Flexible
– Modelo de Datos en Memoria, Direct Discovery, Híbrido
• Datos Frescos
– Recargas periódicas, bajo demanda, Direct Discovery…
• Facilidad de Análisis
– Permite descubrir tendencias y confrontarlas con los datos de detalle
Direct Discovery 2.0
DIRECT QUERY
DIMENSION
CustomerID,
SalesOrderID,
OrderDate,
NATIVE('month([OrderDate])') AS OrderMonth,
NATIVE('year([OrderDate])') AS OrderYear
MEASUREMEASURE
SubTotal,
TaxAmt,
DETAIL
DueDate,
ShipDate,
ModifiedDate
DETACH
SalesOrderID,
AccountNumber
FROM AdventureWorks.Sales.SalesOrderHeader;
QlikView 11.2 SR5