Curso introduccion microsoft_sql_server_business_intelligence

transcript

BI en SQL server 2005

Salvador Ramos

MVP SQL Server

MCP / MCTS SQL Server

Columnista de dotNetManía

Mi web: www.helpdna.net webmaster@helpdna.net

Agenda

Tecnologías OLTP vs OLAP

Business Intelligence

Diseño de Datawarehouse y soluciones OLAP

Introducción a Data Mining

Introducción al lenguaje MDX y herramientras cliente OLAP

Novedades de OLAP y DTS (->SSIS) en SQL Server 2005

Agenda

Novedades de OLAP y DTS en SQL Server 2005

OnLine Transaction Processing

Sistemas transaccionales, enfocados a gestionar un gran número de transacciones concurrentes

Permiten insertar, actualizar, borrar y consultar una pequeña cantidad de registros

OnLine Analytical Processing

Enfocados al análisis de grandes cantidades de datos

Proporcionan respuestas rápidas y complejas

Orientado a lo operativo (procesos)

Predomina la actualización

Se accede a pocos registros

Datos altamente normalizados

Estructura relacional

Rápidos tiempos de respuesta.

Estructura estática

Orientado a temas

Predomina la consulta. Datos históricos

Procesos masivos, se accede a muchos registros

Datos Denormalizados

Estructura multidimensional

Respuesta masiva, no inmediata

Estructura dinámica, abundantes cambios

Agenda

“Conjunto de herramientas y servicios destinado a la gestión eficiente del conocimiento y la información en empresas y organizaciones”

Nos permite:

Convertir los datos en información

Tomar mejores decisiones rápidamente

Utilizar un método razonable para la gestión empresarial

Solución Microsoft BI

Agenda

Sistemas transaccionales

Informes de

la aplicación

Sistemas OLAP

E.T.C.L.

(SSIS)

Warehouse

(relacional)

Informes de usuario

Informes analíticos

Sharepoint

BI Portal,

Business Scorecard Manager,

Performance Point 2007

Otros…

(SSAS)

Otros CRM

Componentes DW

E.T.C.L.

(SSIS)

Warehouse

(relacional)

Area Intermedia 1

Area Intermedia 2

E.T.C.L.

(SSIS)

E.T.C.L.

(SSIS)

Datawarehouse

Almacén de datos procedentes de los sistemas OLTP. Repositorio colectivo

Almacén de datos centralizado

Datos organizados en grupos temáticos

Los datos son:

Consistentes

Depurados

Históricos (no volátiles)

Suministra datos rápida y eficientemente

Datamarts

DTS herramienta ETL

Conjunto de servicios para ETL (Extract, Transform and Load)

Modelo de objetos e interfaces gráficos

Pueden ser utilizados desde entornos de desarrollo que soporten COM

Incluyen asistentes que facilitan las tareas

Diseñador de paquetes

DTS herramienta ETL

Permiten operar con los datos:

Importación

Exportación

Transporte

Transformación

Los datos pueden proceder de

Cualquier fuente Ole Db

Cualquier fuente ODBC

Ficheros planos

Herramientas de DTS

Asistente para la importación o exportación

Diseñador DTS

DTSRun

DTSRunUI (interfaz gráfica)

SQLAgent

El diseñador de paquetes

Conexiones

Proveedor OLE DB para SQL Server

Data Link

Controlador ODBC para Oracle (MS)

dBase 5

Microsoft Access

Archivo HTML (origen)

Microsoft Excel

Paradox 5.x

Conexiones

Archivo de texto (origen)

Archivo de texto (destino)

Otras conexiones

Tareas

Transformar datos

Consulta controlada por datos

Inserción masiva

Ejecutar SQL

Copia de objetos de SQL Server

Transferencia de base de datos

Transferencia de mensajes de error

Transferencia de Inicios de sesión

Transferencia de trabajos

Transferencia de proced. almacenados

Tareas

Secuencia de comandos ActiveX

Propiedades dinámicas

Ejecutar paquete

Ejecutar proceso (.exe o .bat)

Cola de mensajes

Enviar correo

Procesar Analysis Services

Extracción de datos (consultas de predicción)

Demo 1

Utilizando los asistentes

Utilizando el diseñador de paquetes

Diseño de un DW

Definir objetivos y requerimientos Revisar los informes actuales

Investigar todas las posibles fuentes de información que alimentarán el DW

Diseño y modelado Definir las tablas del área intermedia, que

alimentarán dimensiones y tablas de hechos

Realizar los precálculos necesarios

Crear índices y vistas

Elegir el esquema más adecuado: Estrella (star)

Copo de nieve (snowflacke)

Diseño de un DW

Estrategia de extracción y transformación

Decidir en cada caso si se realizará una extracción completa o incremental

Diseño del sistema de extracción incremental

Utilizar triggers, replicación u otras técnicas

Transformación de los datos

Asegurar la validez, integridad y utilidad de los datos

Comprobar que todas las claves externas encuentren valores, y evitar claves nulas

(ej: sustituirlas por 0 -> „Sin familia‟)

Diseño de un DW

Ejercicios

Supongamos que vamos a gestionar las ventas, teniendo en cuenta los vendedores que las han realizado, los clientes, y la zona geográfica a la que pertenecen.

Diseñar un sistema en el que los datos históricos permanezcan inalterables ante los cambios de residencia de los clientes

Diseño de un DW a fondo

Ralph Kimball

Slowly Changing Dimensions

Type 1: overwrite

Type 2: partitioning history

Type 3: alternate realities

Hybrid

Inferred members (miembros inferidos)

Diseño de un DW

Demo 2

Procesos ETL con SSIS (entorno)

BBDD Multidimensionales

Son contenedores de cubos relacionados y objetos que comparten

La unidad de almacenamiento es el cubo (en los SGDBR es la tabla)

SSAS cubos

SSAS CUBOS

Opciones de almacenamiento

Almacenamiento en estructura multidimensional de Analysis Services

Mayor rapidez de respuesta

Almacenamiento en base de datos relacional

Para grandes volúmenes de datos

Híbrido

Respuesta rápida y gran cantidad de datos en origen

Elementos de la base de datos

Origenes de datos

Dimensiones compartidas

Modelos de minería de datos

Funciones de base de datos (seguridad)

Sólo autenticación windows

Tabla de Hechos

Claves externas

Medidas

Dimensiones

Producto

Nombre

Tamaño

Cliente

Nombre

Provincia

Tiempo

Tabla de

Hechos

Producto1

Producto2

Producto 3

Producto1

Producto2

Producto 3

Dimensiones

Jerarquías y niveles Tiempo (año, trim, mes, dia)

Geografía (país, prov, poblac)

Artículo (fam, grupo, art)

Agregaciones

Son sumas precalculadas de los datos para acelerar el tiempo de respuesta

Miembros

Producto1

Producto2

Producto 3

Tipos de dimensiones

Regulares

Virtuales (a partir de propiedades)

Padre-Hijo o Primario-Secundario

Según su ámbito

Privadas

Compartidas

Medidas y Miembros calculados

Medidas

Conjunto de valores de una columna de la tabla de hechos del cubo

Miembros calculados

Medidas calculadas mediante una fórmula MDX

Tipos de cubos

Normales

Vinculados

Apuntan a un cubo de otro servidor

Virtuales

Se crean a partir de varios cubos existentes

(‘equivalentes a vistas en SGDBR’)

Analysis Manager

Analysis Services

Demo 3

Analysis Manager

BIDS proyecto Analysis Services

http://blogs.msdn.com/jbartual/archive/2006/12/12/minidemo-3-overview-de-analysis-services-2005.aspx

Agenda

Data Mining

Uso de métodos automatizados para obtener tendencias y pautas a partir de los datos del DW

Se componen de

Escenarios (entidades a analizar)

Ej: un cliente y sus ventas

Atributos (información sobre los escenarios)

Ej: edad, número de hijos, total ventas, …

Una vez elegidos los escenarios y atributos, procesamos el modelo

Data Mining

En Analysis Services disponemos de dos proveedores, diseñados para obtener agrupaciones eficazmente

Microsoft Decision Trees

Arbol de clasificación, con diversas ramificaciones

Microsoft Cluster

Agrupación de escenarios

Agenda

El lenguaje MDX

MultiDimensional eXpressions (Lenguaje de expresiones multidimensionales)

Es el equivalente a SQL para bases de datos multidimensionales

También tiene una instrucción SELECT

SELECT <espec-eje>, <espec-eje> …

FROM <espec-cubo>

WHERE <espec-rebanador>

Nos permite crear Miembros calculados y Conjuntos con nombre

Dispone de múltiples funciones avanzadas

El lenguaje MDX

Demo 5

Aplicación de ejemplo MDX

Conectividad

PivotTable Service (PTS)

Es el cliente de los servicios OLAP

Proporciona la interfaz para conectarnos desde las aplicaciones

ADO MD (ActiveX Data Objects MultiDimensional)

ADO MD .Net

Herramientas cliente OLAP

SQL Server Reporting Services

Microsoft Excel

Microsoft Data Analyzer

Herramientas desarrolladas por nosotros

AddIn para Excel

Aplicaciones asp o asp.net

Webparts para Sharepoint

Herramientas de terceros

Microsoft Excel

Consultas ad-hoc

Para mostrar datos utiliza

Tablas dinámicas

Gráficos dinámicos

Necesita MS Query instalado

Se puede publicar en web (OWC)

Microsoft Excel

Demo 6

Agenda

Novedades de OLAP y DTS (SSIS) en SQL Server 2005

Novedades SSIS (antes DTS)

DTS, ahora „Integration Services‟

Se ha reescrito todo el código

Servicio windows independiente

Incrementa su potencia y funcionalidad

Incrementa su rendimiento

Nuevo entorno de desarrollo MS Development Environment

Integrados con la plataforma .Net

Novedades SSIS

Nuevo entorno de desarrollo, en vez de crear un paquete, se crean proyectos

„Data Transformation Project‟

MS Development Environment

Ejemplo agregación

Novedades Analysis Services

Nuevas herramientas

Enterprise Manager

Query Analyzer

Analysis Manager

Report Manager

BI Development Studio (BIDS)

Orientado a Soluciones y Proyectos (vs.net)

Incluye un Debugger

SQL Server Management Studio

Mejoras para el modelado de datos

Data Source Views

Tenemos una capa más de abstracción

Podemos trabajar de forma desconectada

Podemos renombrar entidades

Intellicube, nos facilita la construcción de cubos

el Repository (por defecto en Access), se sustituye por metadatos en XML

Deployment Wizard (facil despliegue)

UDM – Unified Dimensional Model

Se integran todos los tipos de Data Sources

Combina las mejores características de los modelos relacionales y OLAP

Querys interactivas con mejor rendimiento

Alto rendimiento gracias a Proactive Caching

BI hoy

Datamart

Modelos

Reporting

Tool (3)

Reporting

Tool (2)

Herramientas Datos

Browser (2)

Browser (1)

Reporting

Tool (1)

Analysis

Services

Datamart

Modelos Herramientas Datos

Dashboards

Informes ricos

Frontales de BI

Datamart Informes Ad-Hoc

Hojas de cálculo

KPI Framework

Nuevos tipos de dimensiones

Nuevos algoritmos de Data Mining (8)

MDX Scripts (servidor) y MDX Debugging

BI Development Studio

Preguntas y dudas

www.helpdna.net

webmaster@helpdna.net

microsoft.public.es.sqlserver microsoft.public.espanol.sqlserver.administracion

microsoft.public.espanol.sqlserver.olap

Curso introduccion microsoft_sql_server_business_intelligence

Technology