Post on 07-Feb-2016
description
transcript
• SQL Server Team Lead
pablod@plainconcepts.com
http://geeks.ms/blogs/palvarez
@PabloDoval
PABLO DOVAL
• Business Intelligence, OLAP, OLTP…• Data Warehouse, Data Mart, ETL…• SSAS, estructuras multidimensionales, cubos…• Dashboards, Scorecards, KPIs, Data Mining…• Big Data, Hadoop, HDFS, MapReduce, Hive, Pig…
Buzzz…
SATURACIÓNVENGA, SOLO UN MAPREDUCE MASSSZZZZZZZZZ…
Entender el negocio
Identificar y explotar áreas fuertes
Identificar áreas de oportunidad
Entender las consecuencias de las decisiones
Recompensar a la gente que lo esta haciendo bien
Educar al personal que no esta cumpliendo tan bien
Identificar áreas de crecimiento del negocio
Escenario
Escenario
Conjunto de
Informes
Excel
Datos
• Queremos ofrecer al usuario:– Sus informes de toda la vida..– Sus clientes de siempre (Excel, etc…)– Y algo que le permita consultar esta información de un
modo más flexible y automatizado
Escenario
• Permite el análisis interactivo sobre grandes volúmenes de datos– … y con un gran rendimiento
• Permite ir explorando la información a diferentes niveles de granularidad
• No hace falta saber construir informes• No afecta al rendimiento del sistema de
producción
¿Cuáles son los beneficios?
Empezando por lo más básico…
• Datos Operacionales• Controla y ejecuta tareas fundamentales de negocio• Inserciones y Actualizaciones frecuentes• SQL Server Database Engine
OLTP
• Datos Consolidados• Ayuda con la planificación y toma de decisiones• Procesos de carga y actualización periódicos• SQL Server Analysis Services
OLAP
DW / DM
Data Warehouse
Otros Origenes
Oracle/DB2/…
SQL Server
Limpieza
Limpieza
Limpieza
Ventas
Producción
RRHH
Marketing
Modelo de Datos:
• Modelos Altamente Normalizados• Modelos en
Estrella• Modelos de
Copo de Nieve
Procesos:
• Procesos de Carga (SSIS)• Completa• Diferencia
• Procesos de Limpieza y Calidad (DQS, MDS)
Consideraciones:
• Volumen de Datos• Indexación• Estrategias de
Almacenamiento• Estrategias de
Backup• Seguridad
DW / DM
DW / DM
Data Warehouse
Ventas
Producción
RRHH
Marketing
Estructuras Multidimensionales (Cubos)
Buzz: 77785
Estructuras Multidimensionales (Cubos)
Q1: 348 Q2: 18583 Q3: 58854
Estructuras Multidimensionales (Cubos)
0 1 20
0 13658 50355
8 663 1395
0 16 13
340 4245 7071
Q1 Q2 Q3
BlogFacebook
StackExchange
Youtube
0 0 0
0 4070 19164
0 3 3
0 0 2
1 664 2520
0 0 0
0 4070 19164
0 3 3
0 0 2
6 159 523
Estructuras Multidimensionales (Cubos)
0 0 1
0 1941 6813
4 307 299
0 0 3
75 639 556
Q1 Q2 Q3
BlogFacebook
StackExchange
Youtube
PC Client
Mobile
Cluod
Estructuras Multidimensionales (Cubos)
Obtener Buzz y Sentimiento dewww.plainconcepts.com en elAño 2012 en España
08 09 10 11 12
www.google.com
www.microsoft.comwww.plainconcepts.com
geeks.mswww.amazon.com
USA
España
UK
Suecia
Estructuras Multidimensionales (Cubos)
Obtener Buzz y Sentimiento dewww.plainconcepts.com en elAño 2012 en España
08 09 10 11 12
www.google.com
www.microsoft.comwww.plainconcepts.com
geeks.mswww.amazon.com
USA
España
UK
Suecia
Estructuras Multidimensionales (Cubos)
Obtener Buzz y Sentimiento dewww.plainconcepts.com en elAño 2012 en España
08 09 10 11 12
www.google.com
www.microsoft.comwww.plainconcepts.com
geeks.mswww.amazon.com
USA
España
UK
Suecia
Estructuras Multidimensionales (Cubos)
Obtener Buzz y Sentimiento dewww.plainconcepts.com en elAño 2012 en España
08 09 10 11 12
www.google.com
www.microsoft.comwww.plainconcepts.com
geeks.mswww.amazon.com
USA
España
UK
Suecia
Estructuras Multidimensionales (Cubos)
Obtener Buzz y Sentimiento dewww.plainconcepts.com en elAño 2012 en España
08 09 10 11 12
www.google.com
www.microsoft.comwww.plainconcepts.com
geeks.mswww.amazon.com
USA
España
UK
Suecia
Buzz: 1022Sent: 66%
Preparar el DW•Modelos DM•Procesos de Carga
Construir Solución Multidimensional•Medidas•Dimensiones•Cálculos•KPIs•Seguridad
Despliegue HW•Diferentes Entornos•Consideraciones de Procesado
Clientes•Excel•Reporting Services•Performance Point Server•Clientes Personalizados (MDX)
Ok, me gusta.. ¿Qué necesito?
Ejemplo: Escenario de Producción
DataMart
SSAS Multidimensional
(Procesado)
SSAS Multidimensional
(Lectura)
Sincronización
Clientes
SIMPLICIDADLAS RESPUESTAS SIMPLES SUELEN SER LAS MAS INTELIGENTES.
TAMBIÉN SUELEN SER ERRONEAS.
Conceptos Clave
• Es OLAP, pero NO multidimensional• Curva de aprendizaje mas suave
Modelo Tabular:
• Lenguaje de Expresiones, NO de consultas• No sustituye a MDX• Orientado a usuarios de EXCEL
DAX:
CONFIANZAPORQUE ÉL PODRÍA SER EL USUARIO DE TUS CUBOS...
• Similar a SSAS Multidimensional
• Ventana de ProcesadoProcesado
• Entornos de procesado/lecturaSincronización
… ¿y cómo pongo esto en producción?
¿y máquinas?
• xVelocity (vertipaq) es motor columnar en memoria…– … aunque podemos emplear DirectQuery.
• Memoria por encima de otras consideraciones.
Volumen:• Procesar grandes cantidades de datos
Tipo de Datos:• Información heterogenea, no siempre estructurada• Procesos de naturaleza muy diferente
Costes:• Muy caro conseguir disponibilidad en cada aplicación• Almacenamiento barato• Costes de computación muy bajos
Estrategias:• Búsqueda de garantías: escalado lineal• Flexibilidad de Procesos• ¡No tirar nada!
¿POR QUÉ?
• Facebook, Yahoo, ContextWeb. Joost, Last.fm, …Procesado de logs
• Facebook, KloutSistemas de
Recomendaciones
• Facebook, AOL, …Data Warehouse
• New York Times, EyealikeAnálisis de video e
imágenes
• Análisis de Fraude• Predicción de anomalías• Análisis de Textos y Sentimiento
Otros Escenarios
Algunos Escenarios…
SISTEMA TRADICIONAL
OPERATIONAL DATA
NEW USER REGISTRY
NEW PURCHASE
NEW PRODUCT
Excess Data
Logs
ETL Some Data
Data Warehouse
¿Qué NO es Hadoop?
• Hadoop no es:– Un datawarehouse– Competencia a sistemas OLAP– Sistema Interactivo– Un producto
RDMS vs HADOOP
ECOSISTEMA HADOOP
HDFS
MAP-REDUCE
Microsoft y Big Data
Power ViewExcel with PowerPivot Embedded BIPredictive Analytics
APPsLOBCRMERP
Microsoft EDW
SSAS SSRS
Devices CrawlersSensors Bots
Hadoop On Windows Server
Hadoop On Windows Azure
¡MUCHAS GRACIAS!