Alphorm.com Formation Microsoft SQL Server 2016 Business Intelligence (SSIS)

transcript

Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©

Site : http://www.alphorm.comBlog : http://www.alphorm.com/blog

FormatoionSQL Server Integration

Services (SSIS) 2016

Noureddine DRISSI Expert consultant bases de données

Plan• Présentation du formateur

• Mes formations sur Alphorm

• Connaissances préalables

• A propos de ce cours (objectifs)

• Publics concernés

• Plan du cours

• Les autres formations à suivre

Le formateur

• Noureddine DRISSI

• Expertise dans le domaine des bases de données

• 16 années d’expérience sur tous les SGBD du marché (SQL Server, BI, Mysql, Oracle, Postgresql, DB2, MongoDB, Apache Cassandra, CouchBase)

• Issue de l’environnement bancaire

• contact@ordb.fr

• Mon profil sur Alphorm : http://www.alphorm.com/auteur/noureddine-drissi

Mes formations sur alphorm.com

MySQL, Administration (1Z0-883)

MongoDB, administration

Oracle Database 11g DBA 1 (1Z0-052)

Administration SQL Server 2012 (70-462)

Le langage SQL

Administration PostgreSQLPostgreSQL,

la haute disponibilité

Le langage PL/SQL

Connaissances préalables

• Connaissances en administration de SQL Server

• Connaissances en base de données relationnelle

• Avoir suivi le cours administration SQL Server 2012

• http://www.alphorm.com/formation/formation-administration-sql-server-2012-70-462

Administration SQL Server 2012 (70-462)

A propos de ce cours

• Objectifs :

• Comprendre les principes fondamentaux de la Business Intelligence;

• Comprendre et utiliser le composant SSIS de la suite Microsoft SQL Server 2016;

• Mettre en œuvre les outils et fonctionnalités de la technologie SSIS;

• Maîtriser, administrer et configurer SSIS.

Publics concernés

• Chef de projet BI, développeurs et analyste, architectes et toute personnes souhaitant apprendre à mettre en œuvre les techniques de l’informatique décisionnelle ou de BI (Business Intelligence) avec les outils de la suite Microsoft (SSIS, SSAS, SSRS).

Plan du cours• Module 01 : Présentation de la

formation

• Module 02 : Introduction à la Business Intelligence

• Module 03 : Introduction à SSIS 2016

• Module 04 : Travailler avec SSIS

• Module 05 : Travailler avec les flux de contrôle

• Module 06 : Travailler avec les flux de données

• Module 07 : Travailler avec les packages dynamiques

• Module 08 : ETL cas d'usage

• Module 09 : Travailler avec les conteneurs

• Module 10 : Configuration des packages

• Module 11 : Résolution de problèmes

• Module 12 : Administrer SSIS 2016

• Module 13 : Chargement d’un entrepôt de donnée

• Module 14 : Conclusion

Les formations à suivre après SSIS

SQL Server Analysis Services

SQL Server Reporting Services

Le language MDX

Ce qu’on a couvert• Présentation de la formation

L’environnement

Objectifs

• Configurer l’environnement de travail

• Vérifier et configurer les pré-requis (système, matériel, logiciel)

• Installer le SGBDR SQL Server 2016 CTP 3.2

• Installer SSIS (SQL Server Integration Services)

• Installer SQL Server Management Studio

• Se connecter au moteur de base de données SQL Server

• Création de la base de données fact (script fact.sql)

• Se connecter au moteur SSIS

• Installer SSDT (SQL Server Data Tools)

Les prérequis matériel• Mémoire

• Minimum :

• Éditions SQL Server 2016 CTP 3.2 : 2024 MO

• Processeur• Minimum :

• Processeur x86 : 1,0 GHz, Processeur x64 : 1,4 GHz

• Recommandé : 2,0 GHz ou plus

• Disque• Minimum :

• 30 GB disponible

Les prérequis logiciel

• OS

• Windows Server 2012 DataCenter ;

• .NET Framework 3.5.

• Les logiciels

• SQL Server 2016 CTP 3.2;

• SQL Server Management Studio;

• SSIS (SQL Server Integration Services);

• SSDT (SQL Server Data Tools).

Ce qu’il faut télécharger• SQL Server 2016 Community Technology Preview 3.2

• https://www.microsoft.com/fr-fr/evalcenter/evaluate-sql-server-2016

• SQL Server Data Tools - Business Intelligence for Visual Studio 2015

• https://msdn.microsoft.com/fr-fr/mt186501

Architecture de l’environnement

MSSQL01IP: 192.168.1.101

OS: Windows Server 2012C:\ (30 GB)

Rôle: serveur source OLTP

Réseau privé

MSSQL02IP: 192.168.1.102

Rôle: serveur ETL (SSIS+DQS)

MSSQL03IP: 192.168.1.103

Rôle: serveur cible DW (entrepôt)

- Moteur SQL SERVER 2016 CTP 3.2

- SSIS (SQL Server Integration Services)

- SSMS (SQL Server Management Studio)

- SSDT (SQL Server Data Tools)

- SSIS (SQL Server Integration Services)

- SSDT (SQL Server Data Tools)

- Moteur SQL SERVER 2016 CTP 3.2

Logiciels à installer

gateway:192.168.1.1

Atelier: mise en place de l’environnement

Ce qu’on a couvert

• Identification et installation des pré-requis

• Système, matériel et logiciel

• Installation des composants Microsoft

• MSSQL Server, SSIS, SSMS et SSDT

• Création de la base de données de travail fact

• Vérification de l’environnement

• MSSQL Server, SSIS, SSMS et SSDT

Introduction à la Business Intelligence

Objectifs

• Présenter les différents composants et terminologie d’une architecture de BI

• Comprendre les raisons de la mise en place d’une solution de BI

• Comprendre la fonctionnalité de SSIS dans une architecture de BI

Pourquoi la Business Intelligence ?• Les systèmes transactionnels ne sont pas adaptés

• Répondre aux questions des décideurs

• Comprendre et analyser les données stockées

• Centralisation et normalisation des données

• Source unique d’information pour les décideurs

• Disposer de données déjà consolidées pour prendre des décisions

• Mesurer le résultat d’une activité ou d’une prise de décision

• Mettre à disposition des utilisateurs finaux des données facilement exploitables

Les composants de la Business Intelligence • SGBDR

• OLTP (OnLine Transaction Processing)

• LMD (INSERT, UPDATE, DELETE)

• OLAP ( Online Analytical Processing)

• SELECT, Language MDX, FONCTIONS ANALYTIQUES, CUBES, TABLEAUX

SSIS SSAS SSRS

Architecture de Business Intelligence

SGBDR OLTP

Back-End

Transactions LMD

Transactions LMD DW: Data Warehouse

Entrepôt de données DW: Data WarehouseEntrepôt de données

Données consolidées normalisées/dénormalisées

Front-End

SSISSSIS

Production

Clients SGBDR OLAP

Rapports SSRSRapports SSRS

Utilisateurs finauxUtilisateurs finaux

SGBDR OLTP

Cube multidimensionnel SSASCube multidimensionnel SSAS

1011000110

SQL Server Data Quality Services

Microsoft PowerPivot

Microsoft Excel• Data Mining Add-In• PowerPivot Add-In• MDS Add-In

• Une introduction à la Business Intelligence

Présentation et architecture SSIS

Introduction à SSIS 2016

Objectifs

• Décrire les principales fonctionnalités de SSIS

• Présenter les principaux outils SSIS

• Réplication

• Utilitaire bcp

• Transact-SQL

• Assistant import/export de données

• Microsoft SQL Server Integration Services

Les outils de conception d’un ETL

Qu’est-ce que SSIS ?

• Transfert et transformation des données

• SSIS contient un moteur de flux de données chargé de transférer et de transformer vers ou depuis diverses sources de données

• Outils et assistants

• SSIS intègre des assistants et des outils graphiques avec lesquels vous pouvez créer un système d’extraction, de transformation et de chargement

Fonctions SSIS• Extraction de données à partir de la source

• BDD, Excel, Fichier plat, Access

• Transformation des données

• format des données, agrégation, validation,…

• Chargement des données vers une destination

• BDD, Excel, Fichier plat, Access

Source

Transformation

Source

Transformation

Cible Cible

Terminologie SSIS

• Les packages• unités de travail à exécuter

• Les tâches• se chargent du travail dans les packages

• Les conteneurs• objets qui fournissent la structure des packages

Tâche 1

Tâche 2

Tâche 3

Tâche 4

Fonctionnement de SSIS

• Flux de contrôle• Conteneurs

• Tâches

• Contraintes de précédences

• Flux de données• Sources

• Transformations

• Destinations

Tâche 1

Tâche 2

Source 1

Transformation 1

Cible 1

Architecture SSIS

Les outils SSIS• Assistants

• Assistant d’import export SSIS

• Assistant de migration des packages

• Assistant d’exécution de package

• Assistant de déploiement de projet SSIS

• Concepteur SSDT (SQL Server Data Tools)

• Utilitaires en mode ligne de commande

• Dtexec ( permet d’exécute un package en mode ligne de commande)

• Dtutil ( permet de gérer les packages existants en mode ligne de commande)

Atelier: présentation des outils

• Le fonctionnement de SSIS

• La terminologie SSIS

• Présentation des principaux outils SSIS

Assistant d’import et d’export de données

Objectifs

• Comprendre le fonctionnement de l’assistant

• Savoir créer un package SSIS d’exportation et d’importation de données

Assistant SSIS

• Fonctions (simplet et rapide)

• Créer un package d’import/export de données

• Exporter des données à partir de

• BDD SQL Server, fichier plat, Access, feuille excel, fournisseurs OLE DB et ADO.NET

• Importer des données

• BDD SQL Server, fichier plat, Access, feuille excel, fournisseurs OLE DB et ADO.NET

Assistant SSIS• Fonctions

• Extraction/chargement simple de données (exemple: table vers Excel)

Atelier: Utilisation de l’assistant SSIS

• L’assistant d’import export SSIS

L'outil de développement SQL

Server Data Tools (SSDT)

Objectifs

• Savoir créer un projet avec SSDT

• Présentation et exploration de l’architecture de développement SSDT

Présentation de SSDT• Concepteur graphique pour la création de packages

• Permet de créer un flux de contrôle

• Permet de créer un flux de données

• Permet d’ajouter des gestionnaire d’événements

• Permet de gérer les connexions source et destination

• Afficher le contenu d’un package

• Exécution et le suivi de la progression de l’exécution d’un package

• Configuration des packages

• Déploiement des packages SSIS

Les points forts de SSDT

• Développement rapide de scripts d’import / export

• Richesse des outils (tâches, connecteurs, transformateurs…)

• Visualisation des flux de données et utilisation de points d’arrêts lors de l’exécution dans Visual Studio facilitant la phase de Debug

• Facilité de déploiement et d’utilisation.

Assistant SSIS (SSDT)

Zone d’édition du package

Flux de données

L’explorateur de solution

Les propriétésdes objets

Le gestionnaire de connecteurs

La Boîte à outils SSIS

Paramètres de niveaupackage

Gestionnaire d’événements

Explorateur de Package

Variables

Flux de contrôle

Atelier: Présentation de SSDT

• Création d’un projet SSIS avec SSDT

• Présentation et exploration de l’architecture de développement SSDT

Création d’un package SSIS

avec SSDT

Travailler avec SSIS

Objectifs

• Comprendre et décrire un package SSIS

• Savoir créer et exécuter un package SSIS

Un package c’est quoi ?

• Description• Constitue une unité de travail à exécuter

• Un package est constitué de tâches qui se chargent du travail

• Un package est structuré en conteneur

• Tâche : Les tâches se chargent du travail dans les packages. SSIS comprend plusieurs tâches à l’aide desquelles on peut exécuter diverses fonctions

• Conteneur: Les conteneurs sont les objets qui fournissent la structure des packages. Ils prennent en charge les flux de contrôle répétitifs dans les packages et permettent de regrouper des tâches et d’autres conteneurs en unités de travail significatives.

Atelier: Création et exécution d’un package

• Création et exécution d’un package SSIS

Mise à niveau de packages vers SSIS

Travailler avec SSIS

Objectifs

• Connaître les possibilités de mise à niveau des packages SSIS

• Savoir mettre à jour un package avec une version antérieure vers SSIS 2016

Mise à niveau de packages vers SSIS 2016• Assistant Mise à niveau de package SSIS

• Dans Outils de données SQL Server (SSDT)

• Dans SQL Server Management Studio

• À l'invite de commandes, en exécutant le fichier SSISUpgrade.exe

Sauvegarde des packages d’origine

Les mises à niveau possibles• Pour les packages DTS SQL Server 2000:

• Pas de mise à niveau direct

• Pour les packages SSIS SQL Server 2005, 2008, 2012 ou 2014:

• En migrant vers le format SQL Server 2016

• Scripts:

• Migration automatique des scripts VSA vers VSTA

• Les scripts Microsoft ActiveX ne sont plus supportés et doivent êtres remplacés

SQL Server 2005 ou 2008 Integration Services

Assistant de migration de package

SQL Server 2000Package DTS

SQL Server 2005, 2008, 2012 ou 2014

Package SSIS

SQL Server 2016 Integration Services

Assistant de migration de package

SQL Server 2016Package SSIS

ActiveX Script Task (VBScript)

Script Task (VSTA)Script Task (VSA)

Atelier : Mise à niveau d’un package

• La mise à niveau de package vers SSIS 2016

Présentation de l'architecture des

objets d'une solution SSIS

Travailler avec les flux de contrôle

Objectif

• Comprendre et décrire la hiérarchie entre les objets d’une solution SSIS

• Projets

• Packages

• Flux de contrôle

• Tâches / Conteneurs / Contraintes de précédence

• Gestionnaire de connexion

Solution SSIS avec SSDT

Projet 1

Package Package

Paramètres de niveau projet

Paramètres de niveau package Paramètres de niveau package

Déploiement

Catalogue SSIS

Modèle de déploiement

Gestionnaire connexion niveau projet

Gestionnaire de connexion niveau package

Projet 2

Projet N

Hiérarchie des objets SSISProjet

Package 1

Gestionnaire de connexion de niveau package

Tâches

ConteneursConteneursContraintes de précédence

Paramètres de niveau package

Paramètres de niveau projet

Package 2…

Flux de contrôle

• Présentation et description de la hiérarchie entre les objets d’une solution SSIS

• Projets

• Packages

• Flux de contrôle

• Tâches / Conteneurs / Contraintes de précédence

Qu'est-ce qu'un flux de contrôle de

package ?

Objectif

• Expliquer et décrire comment SSIS contrôle les tâches dans les packages au moyen d’un flux de contrôle de package

Un flux de contrôle c’est quoi ?

• Tâches

• Les tâches se chargent du travail dans les packages. La tâche de flux de données est la tâche la plus importante.

• Contraintes de précédences

• Les contraintes de précédence permettent de relier les tâches entre elles

• Conteneurs

• Les conteneurs permettent de regrouper ou d’appliquer en boucle les tâches

Ce qu’on a couvert• Expliquer et décrire comment SSIS contrôle les tâches dans les packages

au moyen d’un flux de contrôle de package

Mise en œuvre d'un flux de contrôle SSIS

avec SSDT

Objectif

• Créer et lier des tâches et des conteneurs avec les contraintes de précédences dans un flux de contrôle de package SSIS

Exemple de flux de contrôle de package

Tp_flux_controle.dtsx

Export de la table CLIENTS dans un fichier c:\Export_Import\table_clients.txtExport de la table CLIENTS dans un fichier c:\Export_Import\table_clients.txt

Affichage du message « Tâche 1 OK »Affichage du message « Tâche 1 OK »

Affichage du message « Tâche 1 dans le conteneur de sequence »Affichage du message « Tâche 1 dans le conteneur de sequence »

Affichage du message « Tâche 2 dans le conteneur de séquence »Affichage du message « Tâche 2 dans le conteneur de séquence »

Export de la table FOURNISSEURS dans le fichier c:\Export_Import\table_fournisseurs.txtExport de la table FOURNISSEURS dans le fichier c:\Export_Import\table_fournisseurs.txt

Affichage du message « Tâches du package « TP_flux_de_contrôle » terminée »Affichage du message « Tâches du package « TP_flux_de_contrôle » terminée »

Contraintes de précédence

Flux de contrôle

Package ( tp_flux_controle.dtsx )Tâche de flux de données

Tâche de script

Conteneur de séquence

Atelier: Mise en œuvre d’un flux de contrôle

• Création d’un flux de contrôle de package SSIS avec des tâches, un conteneur et des contraintes de précédences

Les tâches de flux de contrôle

Objectif

• Présenter et décrire les principales tâche SSIS dans un flux de contrôle

Les tâches d’un flux de contrôle

Tâche flux de données Tâches de bases de donnéesTâches de système de fichieret Internet

• Tâche de flux de données • Data Profiling• Bulk Insert• Execute SQL• Execute T-SQL• CDC Control

• File System• FTP• XML• Web Service• Send Mail

Tâches d’exécution de package et de processus Tâches WMI Tâches de script personnalissé

• Execute Package• Execute Process

• WMI Data Reader• WMI Event Watcher

• Script• Custom Tasks

Tâches de transfert de baseTâches AnalysisServices

Tâches de maintenance de basesde données

• Transfer Database• Transfer Error Messages• Transfer Jobs• Transfer Logins• Transfer Master Stored Procedures• Transfer SQL Server Objects

• Analysis Services Execute DDL• Analysis Services Processing• Data Mining Query

• Back Up Database• Check Database Integrity• History Cleanup• Maintenance Cleanup• Notify Operator• Rebuild Index• Reorganize Index• Shrink Database• Update Statistics

La plus importante

Ce qu’on a couvert• Présentation et description des principales tâches SSIS dans un flux de

contrôle

Les contraintes de précédence

Objectifs

• Comprendre et décrire la notion de contrainte de précédence

• Comprendre et utiliser les différents types de contraintes de précédence entre les tâches dans un package

Les contraintes de précédence• Séquençage des tâches

• Trois résultats possibles

• Succès

• Echec

• Dernière étape

• Plusieurs contraintes

• AND logique

• OR logique

Tâche 1

Tâche 3Tâche 2

Succes

Dernière étape

Tâche 4

Atelier: Utilisation des contraintes de précédences

• L’utilisation des contraintes de précédences dans un package SSIS

Utiliser un conteneur de séquence pour

organiser un package

Travailler avec les conteneurs

Objectif

• Décrire, comprendre et utiliser le conteneur de séquence dans une tâche de flux de contrôle.

Les différents conteneurs

• Conteneur de séquence

• Conteneur de boucle For

• Conteneur de boucle Foreach

Le conteneur de séquence

• Fonctionnement

• Permet d’organiser les tâches dans un flux de contrôle.

• Ne modifie pas la trame du package.

Le conteneur de séquence

Conteneur de séquence

TâchesTâchesTâchesTâches

Atelier : Travailler avec le conteneur de séquence

• L’utilisation du conteneur de séquence pour organiser les tâches d’un flux de contrôle.

Utiliser les conteneurs de boucle For pour répéter

des tâches de flux de contrôle

Objectif

• Décrire, comprendre et utiliser le conteneur de boucle For dans un package SSIS

Le conteneur de boucles For

• Fonctionnement

• Exécute une partie des tâches de flux de contrôle de façon répétitive en testant une condition.

• Proche d’une boucle en C# ou en C.

Le conteneur de boucle For

Conteneur de boucle For

TâchesTâches

Atelier : Travailler avec le conteneur de boucle For

• L’utilisation du conteneur de boucle For dans SSDT

Utiliser les conteneurs de boucle Foreach

Objectif

• Décrire, comprendre et utiliser le conteneur de boucle Foreach pour effectuer une boucle dans une collection d’objet

Le conteneur de boucle Foreach

• Fonctionnement

• Exécute un flux de contrôle de façon répétitive à l'aide d'un énumérateur.

• Utilise un système d’itération pour chaque item d’une collection.

• Les collections

• Chaque fichier dans un dossier donné correspondant à un type de fichier spécifié.

• Chaque ligne de la première table dans un recordset ADO ou un Dataset ADO.NET.

• Chaque ligne de toutes les tables dans un dataset ADO.NET.

• Chaque élément d’une variable contenant une collection.

• Chaque nœud (node) dans une liste de nœud (nodelist) XML.

• Chaque objet dans une collection SMO (SQL Server Management Objects).

Conteneur de boucle ForeachConteneur de

boucle Foreach

TâcheTâche

Atelier : Travailler avec le conteneur de boucle Foreach

• L’utilisation du conteneur de boucle Foreach pour effectuer une boucle dans une collection d’objet.

Extraction de données à partir d’une source

Travailler avec les flux de données

Objectifs

• Comprendre et décrire un flux de données

• Utiliser une tâche de flux de données pour extraire une source

Qu’est-ce qu’une tâche de flux de données ?

• Source

• Connexion à une source de données à partir de laquelle vous avez chargé des données (BDD, fichier plat, Excel, Access, …)

• Transformation

• Il peut s’agir d’un simple mappage de colonnes ou d’une opération de modification et de nettoyage complexe

• Destination

• Connexion à la destination de données dans laquelle vous avez chargé les données

Les sources de données

• Les sources de données dans un flux de données:

• Tables, vues, ou requête (la clause where est supportée)

• ADO.NET

• OLE DB

• CDC Source

• SQL Server

• Excel

• Fichier plat

• XML

• Raw file

• Personnalisé

Bases Fichier Autre ?

Atelier: Extraction de données à partir d’une source

• L’extraction de données à partir d’une source dans un flux de données

Chargement de données vers une

destination

Objectifs

• Comprendre et décrire un flux de données de chargement

• Utiliser une tâche de flux de données pour charger des données

Rappel: tâche de flux de données

• Source

• Connexion à une source de données à partir de laquelle vous avez chargé des données (BDD, fichier plat, Excel, Access, …)

• Transformation

• Il peut s’agir d’un simple mappage de colonnes ou d’une opération de modification et de nettoyage complexe

• Destination

• Connexion à la destination de données dans laquelle vous avez chargé les données

Destination des données• Destination pour un flux de données:

• Gestionnaire de connexion:

• Table

• Vue • ADO.NET

• OLE DB

• SQL Server

• SQL Server Compact

• Excel

• Fichier plat

• Raw file

• Personnalisé

Base Fichier Autre ?

• Data mining model training

• Dimension processing

• Partition processing

SSAS• DataReader

• Recordset

Rowset

Atelier: Chargement de données vers une destination

• Le chargement de données vers une destination dans un flux de données

Changer le type de données avec la

conversion de données

Objectifs

• Décrire les opérations de transformations de lignes

• Utiliser un flux de données avec la transformation conversion de données

Transformation de lignes

Les tâches de transformation de lignes

• Conversion de données• Table de caractères• Copie de colonnes• Colonne dérivée• Exportation de colonne• Importation de colonne• Commande OLE DB

Atelier: Changer le type de données

• Changement du type dans un flux de données

Création et remplacement de colonnes avec la transformation de colonnes dérivée

Objectifs

• Décrire les opérations de transformations de lignes

• Utiliser un flux de données avec la transformation de colonnes dérivée

• Colonne dérivée• Conversion de données (vu)• Table de caractères• Copie de colonnes• Exportation de colonne• Importation de colonne• Commande OLE DB

Atelier: Colonne dérivée

• Utiliser un flux de données avec la transformation de colonnes dérivée

Travailler avec la transformation de

commande OLE DB

Objectifs

• Décrire la transformation de commande OLE DB

• Utiliser un flux de données avec la transformation de commande OLE DB

• Colonne dérivée (vu)• Conversion de données (vu)• Table de caractères• Copie de colonnes• Exportation de colonne• Importation de colonne• Commande OLE DB

Transformation de commande OLE DB

• La transformation de commande OLE DB exécute une instruction SQL pour chaque ligne d'un flux de données. Par exemple, vous pouvez exécuter une instruction SQL qui insère, met à jour ou supprime des lignes d'une table de base de données.

• Cette transformation est en général utilisée pour l'exécution de requêtes paramétrables.

•Atelier: Transformation de commande OLE DB

• L’utilisation de la transformation de commande OLE DB dans un flux de données

Travailler avec la transformation de copie de colonnes et table de

caractères

Objectifs

• Décrire la transformation de copie de colonnes et table de caractères

• Utiliser un flux de données avec la transformation de copie de colonnes et table de caractères

• Colonne dérivée (vu)• Conversion de données (vu)• Table de caractères• Copie de colonnes• Exportation de colonne• Importation de colonne• Commande OLE DB (vu)

Transformation de copie de colonnes

• La tâche de transformation de copie de colonne crée de nouvelles colonnes en copiant des colonnes existantes. Ces copies peuvent ensuite êtres utilisées pour d’autres tâches de transformation.

Transformation de table de caractères

• La tâche de transformation de la table de caractères permet d’effectuer des modifications sur les colonnes contenant des chaînes de caractères. La colonne modifiée peut soit remplacé celle utilisé avant la transformation soit être ajoutée en tant que nouvelle colonne.

•Atelier: Transformation de copie de colonnes et table de caractères

• Utilisation de la transformation de copie de colonnes et table de caractères

Travailler avec la transformation

d’agrégation et de tri

Objectifs

• Décrire la transformation d’agrégation et de tri

• Utiliser un flux de données avec la transformation d’agrégation et de tri

Transformations d’ensemble de lignes

• Agrégation• Tri• Tableau croisé dynamique• Echantillonnage du pourcentage• Echantillonnage de lignes• Pivot• Unpivot

Transformation d’agrégation

• La transformation d'agrégation applique des fonctions d'agrégation, comme Average, aux valeurs des colonnes et copie les résultats dans la sortie de la transformation.

• Les opérations d’agrégation

� AVG, GROUP BY, MIN, MAX, COUNT, COUNT DISTINCT et SUM

Transformations de tri pour ordonner les données

• Un des composants les plus couramment utilisé.

• Permet d’effectuer des tri sur les données en entrée

Atelier: Travailler avec la transformation d’agrégation et de tri

• L’utilisation de la transformation d’agrégation et de tri

Travailler avec la transformation

échantillonnage du pourcentage et de lignes

Objectifs

• Décrire la transformation échantillonnage du pourcentage et de lignes

• Utiliser un flux de données avec la transformation échantillonnage du pourcentage et de lignes

• Agrégation (vu)• Tri (vu)• Tableau croisé dynamique• Echantillonnage du pourcentage• Echantillonnage de lignes• Pivot• Unpivot

Transformation échantillonnage du pourcentage

• La tâche de transformation de l’échantillonnage du pourcentage permet de créer un échantillon d’un flux de données.

Transformation échantillonnage de lignes

• Similaire à la tâche de l’échantillonnage du pourcentage.

• Pour définir la taille du flux de données à échantillonné, on détermine un nombre de lignes.

Atelier: Travailler avec la transformation échantillonnage du pourcentage et de lignes

• Utilisation de la transformation échantillonnage du pourcentage et de lignes dans un flux de données

Les autres tâches de transformation d’ensemble

de lignes

Objectif

• Décrire les autres tâches de transformation d’ensemble de lignes

• Agrégation (vu)• Tri (vu)• Tableau croisé dynamique• Echantillonnage du pourcentage (vu)• Echantillonnage de lignes (vu)• Pivot • Unpivot

• Décrire les autres tâches de transformation d’ensemble de lignes

Auditer les données avec la transformation de calcul

du nombre de lignes

Objectifs

• Décrire la transformation de calcul du nombre de lignes

• Utiliser un flux de données avec la transformation du nombre de lignes

Transformations d’audit

La transformation des données

• Nombre de lignes• Audit

Transformation de calcul du nombre de lignes

• La transformation de calcul du nombre de lignes compte les lignes à mesure qu'elles passent par un flux de données et stocke le nombre final dans une variable.

• Précisions:

• Stocke la valeur de nombre de lignes dans la variable uniquement après que la dernière ligne est passée par la transformation

• Ne prend pas en charge de sortie d'erreur

Atelier: Travailler avec Transformation de calcul du nombre de lignes

• Utilisation de la transformation de calcul du nombre de lignes dans un flux de données

Auditer les données avec la transformation

d’audit

Objectifs

• Décrire la transformation d’audit

• Utiliser un flux de données avec la transformation d’audit

• Nombre de lignes (vu)• Audit

Transformation d’audit

• La tâche de transformation d’audit permet d’ajouter des colonnes contenant des informations sur l’exécution du package au flux de données.

• Stockage des informations d’audit

• Table avec des colonnes d’audit ou fichier (plat/excel)

Atelier: Travailler avec Transformation d’audit

• Utilisation de la transformation d’audit dans un flux de données

Séparer des données avec la transformation de

fractionnement conditionnel

Objectifs

• Décrire la transformation de fractionnement conditionnel

• Utiliser un flux de données avec la transformation de fractionnement conditionnel

Transformations de fractionnementet de jointure

• Fractionnement conditionnel• Recherche• Union totale• De fusion• De jointure de fusion• Multidiffusion• Cache• …

Transformation de fractionnement conditionnel

• La transformation de fractionnement conditionnel peut aiguiller les lignes de données vers différentes sorties, suivant le contenu des données.

•Atelier: Transformation de fractionnement conditionnel

• L’utilisation de la transformation de fractionnement dans un flux de données

Joindre les données avec la transformation de

recherche

Objectifs

• Décrire la transformation de recherche

• Utiliser un flux de données avec la transformation de recherche

• Fractionnement conditionnel (vu)• Recherche• Union totale• De fusion• De jointure de fusion• Multidiffusion• Cache• …

Transformation de recherche

• La transformation de recherche effectue des recherches en joignant des données de colonnes d'entrée à des colonnes d'un dataset de référence.

Atelier: Travailler avec la transformation de recherche

• L’utilisation de la transformation de recherche dans un flux de données

Combiner des données d’entrées multiples avec

la transformation d’union totale

Objectifs

• Décrire la transformation d’union totale

• Utiliser un flux de données avec la transformation d’union totale

• Fractionnement conditionnel (vu)• Recherche (vu)• Union totale• De fusion• De jointure de fusion• Multidiffusion• Cache• …

Transformation d’union totale

• La transformation d’union totale permet de fusionner autant de flux de données que l’on souhaite.

• Les données non pas besoin d’être triées.

Atelier: Travailler avec la transformation d’union totale

• L’utilisation de la transformation d’union totale dans un flux de données

Travailler avec les transformations de fusion et jointure de

fusionNoureddine DRISSI Expert consultant bases de données

Objectifs

• Décrire les transformations de fusion et jointure de fusion

• Utiliser un flux de données avec les transformations de fusion et jointure de fusion

• Fractionnement conditionnel (vu)• Recherche (vu)• Union totale (vu)• De fusion• De jointure de fusion• Multidiffusion• Cache• …

Transformation de fusion

• La transformation de fusion permet la fusion de deux flux de données.

• Les flux de données doivent être triées de la même manière.

Transformation de jointure de fusion

• La transformation de jointure de fusion permet la fusion de deux flux de données ensemble en exécutant une jointure INNER, LEFT ou FULL.

• Les flux de données doivent être triées de la même manière.

Atelier: Travailler avec les transformations de fusion et jointure de fusion

• L’utilisation des transformations de fusion et jointure de fusion

Travailler avec la transformation multidiffusion

Objectifs

• Décrire la transformation multidiffusion

• Utiliser un flux de données avec la transformation multidiffusion

• Fractionnement conditionnel (vu)• Recherche (vu)• Union totale (vu)• De fusion (vu)• De jointure de fusion (vu)• Multidiffusion• Cache• …

Transformation multidiffusion

• La transformation multidiffusion permet d’utiliser un unique flux de données et de l’utiliser comme source pour de nombreux autres flux de données.

• Copie les données et l’envoi vers plusieurs directions.

Atelier: Travailler avec la transformation multidiffusion

• L’utilisation de la transformation multidiffusion

Les autres groupes de transformation de

données et les tâches associées

Objectif

• Présenter les autres groupes de transformation de données et les tâches associées

Transformations d’ensemble de ligne

Transformations Business Intelligence

Transformations personnalisées

• Audit

• Nombre de lignes

• Agrégation

• Tri

• Echantillonage du pourcentage

• Echantillonage de lignes

• Tableau dynamique croisé

• Pivot

• Unpivot

• Table caractère

• Copie de colonnes

• Conversion de données

• Colonne dérivée

• Exportation de colonne

• Importation de colonne

• Commande OLE DB

• De dimension à variation lente

• De regroupement probable

• De recherche floue

• D’extraction à terme

• De recherche à terme

• De requête d’exploration de données

• Nettoyage de données

• Composant script

• Composant personnalisé

• Fractionnement conditionnel

• Recherche

• Union totale

• De fusion

• De jointure de fusion

• Multidiffusion

• Cache

• CDC

• Présentation des autres groupes de transformation de données et les tâches associées