Alphorm.com Formation Microsoft SQL Server 2016 Business Intelligence (SSIS)

Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©

Site : http://www.alphorm.comBlog : http://www.alphorm.com/blog

FormatoionSQL Server Integration

Services (SSIS) 2016

Noureddine DRISSI Expert consultant bases de données


Plan• Présentation du formateur

• Mes formations sur Alphorm

• Connaissances préalables

• A propos de ce cours (objectifs)

• Publics concernés

• Plan du cours

• Les autres formations à suivre


Le formateur

• Noureddine DRISSI

• Expertise dans le domaine des bases de données

• 16 années d’expérience sur tous les SGBD du marché (SQL Server, BI, Mysql, Oracle, Postgresql, DB2, MongoDB, Apache Cassandra, CouchBase)

• Issue de l’environnement bancaire

• [email protected]

• Mon profil sur Alphorm : http://www.alphorm.com/auteur/noureddine-drissi


Mes formations sur alphorm.com

MySQL, Administration (1Z0-883)

MongoDB, administration

Oracle Database 11g DBA 1 (1Z0-052)

Administration SQL Server 2012 (70-462)

Le langage SQL

Administration PostgreSQLPostgreSQL,

la haute disponibilité

Le langage PL/SQL


Connaissances préalables

• Connaissances en administration de SQL Server

• Connaissances en base de données relationnelle

• Avoir suivi le cours administration SQL Server 2012

• http://www.alphorm.com/formation/formation-administration-sql-server-2012-70-462

Administration SQL Server 2012 (70-462)


A propos de ce cours

• Objectifs :

• Comprendre les principes fondamentaux de la Business Intelligence;

• Comprendre et utiliser le composant SSIS de la suite Microsoft SQL Server 2016;

• Mettre en œuvre les outils et fonctionnalités de la technologie SSIS;

• Maîtriser, administrer et configurer SSIS.


Publics concernés

• Chef de projet BI, développeurs et analyste, architectes et toute personnes souhaitant apprendre à mettre en œuvre les techniques de l’informatique décisionnelle ou de BI (Business Intelligence) avec les outils de la suite Microsoft (SSIS, SSAS, SSRS).


Plan du cours• Module 01 : Présentation de la

formation

• Module 02 : Introduction à la Business Intelligence

• Module 03 : Introduction à SSIS 2016

• Module 04 : Travailler avec SSIS

• Module 05 : Travailler avec les flux de contrôle

• Module 06 : Travailler avec les flux de données

• Module 07 : Travailler avec les packages dynamiques

• Module 08 : ETL cas d'usage

• Module 09 : Travailler avec les conteneurs

• Module 10 : Configuration des packages

• Module 11 : Résolution de problèmes

• Module 12 : Administrer SSIS 2016

• Module 13 : Chargement d’un entrepôt de donnée

• Module 14 : Conclusion


Les formations à suivre après SSIS

SQL Server Analysis Services

SQL Server Reporting Services

Le language MDX


Ce qu’on a couvert• Présentation de la formation


GO



L’environnement



Objectifs

• Configurer l’environnement de travail

• Vérifier et configurer les pré-requis (système, matériel, logiciel)

• Installer le SGBDR SQL Server 2016 CTP 3.2

• Installer SSIS (SQL Server Integration Services)

• Installer SQL Server Management Studio

• Se connecter au moteur de base de données SQL Server

• Création de la base de données fact (script fact.sql)

• Se connecter au moteur SSIS

• Installer SSDT (SQL Server Data Tools)


Les prérequis matériel• Mémoire

• Minimum :

• Éditions SQL Server 2016 CTP 3.2 : 2024 MO

• Processeur• Minimum :

• Processeur x86 : 1,0 GHz, Processeur x64 : 1,4 GHz

• Recommandé : 2,0 GHz ou plus

• Disque• Minimum :

• 30 GB disponible


Les prérequis logiciel

• OS

• Windows Server 2012 DataCenter ;

• .NET Framework 3.5.

• Les logiciels

• SQL Server 2016 CTP 3.2;

• SQL Server Management Studio;

• SSIS (SQL Server Integration Services);

• SSDT (SQL Server Data Tools).


Ce qu’il faut télécharger• SQL Server 2016 Community Technology Preview 3.2

• https://www.microsoft.com/fr-fr/evalcenter/evaluate-sql-server-2016

• SQL Server Data Tools - Business Intelligence for Visual Studio 2015

• https://msdn.microsoft.com/fr-fr/mt186501


Architecture de l’environnement

MSSQL01IP: 192.168.1.101

OS: Windows Server 2012C:\ (30 GB)

Rôle: serveur source OLTP

Réseau privé

MSSQL02IP: 192.168.1.102


Rôle: serveur ETL (SSIS+DQS)

MSSQL03IP: 192.168.1.103


Rôle: serveur cible DW (entrepôt)

- Moteur SQL SERVER 2016 CTP 3.2

- SSIS (SQL Server Integration Services)

- SSMS (SQL Server Management Studio)

- SSDT (SQL Server Data Tools)

- SSIS (SQL Server Integration Services)


- SSDT (SQL Server Data Tools)

- Moteur SQL SERVER 2016 CTP 3.2


Logiciels à installer

Logiciels à installer

gateway:192.168.1.1


Atelier: mise en place de l’environnement


Ce qu’on a couvert

• Identification et installation des pré-requis

• Système, matériel et logiciel

• Installation des composants Microsoft

• MSSQL Server, SSIS, SSMS et SSDT

• Création de la base de données de travail fact

• Vérification de l’environnement

• MSSQL Server, SSIS, SSMS et SSDT



Introduction à la Business Intelligence



Objectifs

• Présenter les différents composants et terminologie d’une architecture de BI

• Comprendre les raisons de la mise en place d’une solution de BI

• Comprendre la fonctionnalité de SSIS dans une architecture de BI


Pourquoi la Business Intelligence ?• Les systèmes transactionnels ne sont pas adaptés

• Répondre aux questions des décideurs

• Comprendre et analyser les données stockées

• Centralisation et normalisation des données

• Source unique d’information pour les décideurs

• Disposer de données déjà consolidées pour prendre des décisions

• Mesurer le résultat d’une activité ou d’une prise de décision

• Mettre à disposition des utilisateurs finaux des données facilement exploitables


Les composants de la Business Intelligence • SGBDR

• OLTP (OnLine Transaction Processing)

• LMD (INSERT, UPDATE, DELETE)

• OLAP ( Online Analytical Processing)

• SELECT, Language MDX, FONCTIONS ANALYTIQUES, CUBES, TABLEAUX

SSIS SSAS SSRS


Architecture de Business Intelligence

SGBDR OLTP

ETL

Back-End

Transactions LMD

Transactions LMD DW: Data Warehouse

Entrepôt de données DW: Data WarehouseEntrepôt de données

Données consolidées normalisées/dénormalisées

Données consolidées normalisées/dénormalisées

Front-End

SSISSSIS

Production

Clients SGBDR OLAP

Rapports SSRSRapports SSRS

Utilisateurs finauxUtilisateurs finaux

SGBDR OLTP

SGBDR OLTP

Cube multidimensionnel SSASCube multidimensionnel SSAS

1011000110

SQL Server Data Quality Services

Microsoft PowerPivot

Microsoft Excel• Data Mining Add-In• PowerPivot Add-In• MDS Add-In



• Une introduction à la Business Intelligence



Présentation et architecture SSIS

Introduction à SSIS 2016



Objectifs

• Décrire les principales fonctionnalités de SSIS

• Présenter les principaux outils SSIS


• Réplication

• Utilitaire bcp

• Transact-SQL

• Assistant import/export de données

• Microsoft SQL Server Integration Services

Les outils de conception d’un ETL


Qu’est-ce que SSIS ?

• Transfert et transformation des données

• SSIS contient un moteur de flux de données chargé de transférer et de transformer vers ou depuis diverses sources de données

• Outils et assistants

• SSIS intègre des assistants et des outils graphiques avec lesquels vous pouvez créer un système d’extraction, de transformation et de chargement


Fonctions SSIS• Extraction de données à partir de la source

• BDD, Excel, Fichier plat, Access

• Transformation des données

• format des données, agrégation, validation,…

• Chargement des données vers une destination

• BDD, Excel, Fichier plat, Access

Source

Transformation

Source

Transformation

Cible Cible


Terminologie SSIS

• Les packages• unités de travail à exécuter

• Les tâches• se chargent du travail dans les packages

• Les conteneurs• objets qui fournissent la structure des packages

Tâche 1

Tâche 2

Tâche 3

Tâche 4


Fonctionnement de SSIS

• Flux de contrôle• Conteneurs

• Tâches

• Contraintes de précédences

• Flux de données• Sources

• Transformations

• Destinations

Tâche 1

Tâche 2

Source 1

Transformation 1

Cible 1


Architecture SSIS


Les outils SSIS• Assistants

• Assistant d’import export SSIS

• Assistant de migration des packages

• Assistant d’exécution de package

• Assistant de déploiement de projet SSIS

• Concepteur SSDT (SQL Server Data Tools)

• Utilitaires en mode ligne de commande

• Dtexec ( permet d’exécute un package en mode ligne de commande)

• Dtutil ( permet de gérer les packages existants en mode ligne de commande)


Atelier: présentation des outils



• Le fonctionnement de SSIS

• La terminologie SSIS

• Présentation des principaux outils SSIS



Assistant d’import et d’export de données




Objectifs

• Comprendre le fonctionnement de l’assistant

• Savoir créer un package SSIS d’exportation et d’importation de données


Assistant SSIS

• Fonctions (simplet et rapide)

• Créer un package d’import/export de données

• Exporter des données à partir de

• BDD SQL Server, fichier plat, Access, feuille excel, fournisseurs OLE DB et ADO.NET

• Importer des données

• BDD SQL Server, fichier plat, Access, feuille excel, fournisseurs OLE DB et ADO.NET


Assistant SSIS• Fonctions

• Extraction/chargement simple de données (exemple: table vers Excel)


Atelier: Utilisation de l’assistant SSIS



• L’assistant d’import export SSIS



L'outil de développement SQL

Server Data Tools (SSDT)




Objectifs

• Savoir créer un projet avec SSDT

• Présentation et exploration de l’architecture de développement SSDT


Présentation de SSDT• Concepteur graphique pour la création de packages

• Permet de créer un flux de contrôle

• Permet de créer un flux de données

• Permet d’ajouter des gestionnaire d’événements

• Permet de gérer les connexions source et destination

• Afficher le contenu d’un package

• Exécution et le suivi de la progression de l’exécution d’un package

• Configuration des packages

• Déploiement des packages SSIS


Les points forts de SSDT

• Développement rapide de scripts d’import / export

• Richesse des outils (tâches, connecteurs, transformateurs…)

• Visualisation des flux de données et utilisation de points d’arrêts lors de l’exécution dans Visual Studio facilitant la phase de Debug

• Facilité de déploiement et d’utilisation.


Assistant SSIS (SSDT)

Zone d’édition du package

Flux de données

L’explorateur de solution

Les propriétésdes objets

Le gestionnaire de connecteurs

La Boîte à outils SSIS

Paramètres de niveaupackage

Gestionnaire d’événements

Explorateur de Package

Variables

Flux de contrôle


Atelier: Présentation de SSDT



• Création d’un projet SSIS avec SSDT

• Présentation et exploration de l’architecture de développement SSDT



Création d’un package SSIS

avec SSDT

Travailler avec SSIS



Objectifs

• Comprendre et décrire un package SSIS

• Savoir créer et exécuter un package SSIS


Un package c’est quoi ?

• Description• Constitue une unité de travail à exécuter

• Un package est constitué de tâches qui se chargent du travail

• Un package est structuré en conteneur

• Tâche : Les tâches se chargent du travail dans les packages. SSIS comprend plusieurs tâches à l’aide desquelles on peut exécuter diverses fonctions

• Conteneur: Les conteneurs sont les objets qui fournissent la structure des packages. Ils prennent en charge les flux de contrôle répétitifs dans les packages et permettent de regrouper des tâches et d’autres conteneurs en unités de travail significatives.


Atelier: Création et exécution d’un package



• Création et exécution d’un package SSIS



Mise à niveau de packages vers SSIS

2016

Travailler avec SSIS



Objectifs

• Connaître les possibilités de mise à niveau des packages SSIS

• Savoir mettre à jour un package avec une version antérieure vers SSIS 2016


Mise à niveau de packages vers SSIS 2016• Assistant Mise à niveau de package SSIS

• Dans Outils de données SQL Server (SSDT)

• Dans SQL Server Management Studio

• À l'invite de commandes, en exécutant le fichier SSISUpgrade.exe

Sauvegarde des packages d’origine


Les mises à niveau possibles• Pour les packages DTS SQL Server 2000:

• Pas de mise à niveau direct

• Pour les packages SSIS SQL Server 2005, 2008, 2012 ou 2014:

• En migrant vers le format SQL Server 2016

• Scripts:

• Migration automatique des scripts VSA vers VSTA

• Les scripts Microsoft ActiveX ne sont plus supportés et doivent êtres remplacés

SQL Server 2005 ou 2008 Integration Services

Assistant de migration de package

SQL Server 2000Package DTS

SQL Server 2005, 2008, 2012 ou 2014

Package SSIS

SQL Server 2016 Integration Services

Assistant de migration de package

SQL Server 2016Package SSIS

ActiveX Script Task (VBScript)

Script Task (VSTA)Script Task (VSA)


Atelier : Mise à niveau d’un package



• La mise à niveau de package vers SSIS 2016



Présentation de l'architecture des

objets d'une solution SSIS

Travailler avec les flux de contrôle



Objectif

• Comprendre et décrire la hiérarchie entre les objets d’une solution SSIS

• Projets

• Packages

• Flux de contrôle

• Tâches / Conteneurs / Contraintes de précédence

• Gestionnaire de connexion


Solution SSIS avec SSDT

Projet 1

Package Package

Paramètres de niveau projet

Paramètres de niveau package Paramètres de niveau package

Déploiement

Déploiement

Catalogue SSIS

Modèle de déploiement

Gestionnaire connexion niveau projet

Gestionnaire de connexion niveau package

Gestionnaire de connexion niveau package

Projet 2

Projet N


Hiérarchie des objets SSISProjet

Package 1


Gestionnaire de connexion de niveau package

Tâches

ConteneursConteneursContraintes de précédence


Paramètres de niveau package

Paramètres de niveau projet

Package 2…

Flux de contrôle



• Présentation et description de la hiérarchie entre les objets d’une solution SSIS

• Projets

• Packages

• Flux de contrôle

• Tâches / Conteneurs / Contraintes de précédence




Qu'est-ce qu'un flux de contrôle de

package ?




Objectif

• Expliquer et décrire comment SSIS contrôle les tâches dans les packages au moyen d’un flux de contrôle de package


Un flux de contrôle c’est quoi ?

• Tâches

• Les tâches se chargent du travail dans les packages. La tâche de flux de données est la tâche la plus importante.

• Contraintes de précédences

• Les contraintes de précédence permettent de relier les tâches entre elles

• Conteneurs

• Les conteneurs permettent de regrouper ou d’appliquer en boucle les tâches


Ce qu’on a couvert• Expliquer et décrire comment SSIS contrôle les tâches dans les packages

au moyen d’un flux de contrôle de package



Mise en œuvre d'un flux de contrôle SSIS

avec SSDT




Objectif

• Créer et lier des tâches et des conteneurs avec les contraintes de précédences dans un flux de contrôle de package SSIS


Exemple de flux de contrôle de package

Tp_flux_controle.dtsx

Export de la table CLIENTS dans un fichier c:\Export_Import\table_clients.txtExport de la table CLIENTS dans un fichier c:\Export_Import\table_clients.txt

Affichage du message « Tâche 1 OK »Affichage du message « Tâche 1 OK »

Affichage du message « Tâche 1 dans le conteneur de sequence »Affichage du message « Tâche 1 dans le conteneur de sequence »

Affichage du message « Tâche 2 dans le conteneur de séquence »Affichage du message « Tâche 2 dans le conteneur de séquence »

Export de la table FOURNISSEURS dans le fichier c:\Export_Import\table_fournisseurs.txtExport de la table FOURNISSEURS dans le fichier c:\Export_Import\table_fournisseurs.txt

Affichage du message « Tâches du package « TP_flux_de_contrôle » terminée »Affichage du message « Tâches du package « TP_flux_de_contrôle » terminée »

Contraintes de précédence

Flux de contrôle

Package ( tp_flux_controle.dtsx )Tâche de flux de données

Tâche de script

Conteneur de séquence

1

2

3

1

2

4

5


Atelier: Mise en œuvre d’un flux de contrôle



• Création d’un flux de contrôle de package SSIS avec des tâches, un conteneur et des contraintes de précédences



Les tâches de flux de contrôle




Objectif

• Présenter et décrire les principales tâche SSIS dans un flux de contrôle


Les tâches d’un flux de contrôle

Tâche flux de données Tâches de bases de donnéesTâches de système de fichieret Internet

• Tâche de flux de données • Data Profiling• Bulk Insert• Execute SQL• Execute T-SQL• CDC Control

• File System• FTP• XML• Web Service• Send Mail

Tâches d’exécution de package et de processus Tâches WMI Tâches de script personnalissé

• Execute Package• Execute Process

• WMI Data Reader• WMI Event Watcher

• Script• Custom Tasks

Tâches de transfert de baseTâches AnalysisServices

Tâches de maintenance de basesde données

• Transfer Database• Transfer Error Messages• Transfer Jobs• Transfer Logins• Transfer Master Stored Procedures• Transfer SQL Server Objects

• Analysis Services Execute DDL• Analysis Services Processing• Data Mining Query

• Back Up Database• Check Database Integrity• History Cleanup• Maintenance Cleanup• Notify Operator• Rebuild Index• Reorganize Index• Shrink Database• Update Statistics

La plus importante


Ce qu’on a couvert• Présentation et description des principales tâches SSIS dans un flux de

contrôle



Les contraintes de précédence




Objectifs

• Comprendre et décrire la notion de contrainte de précédence

• Comprendre et utiliser les différents types de contraintes de précédence entre les tâches dans un package


Les contraintes de précédence• Séquençage des tâches

• Trois résultats possibles

• Succès

• Echec

• Dernière étape

• Plusieurs contraintes

• AND logique

• OR logique

Tâche 1

Tâche 3Tâche 2

Succes

Echec

Dernière étape

Tâche 4


Atelier: Utilisation des contraintes de précédences



• L’utilisation des contraintes de précédences dans un package SSIS



Utiliser un conteneur de séquence pour

organiser un package


Travailler avec les conteneurs


Objectif

• Décrire, comprendre et utiliser le conteneur de séquence dans une tâche de flux de contrôle.


Les différents conteneurs

• Conteneur de séquence

• Conteneur de boucle For

• Conteneur de boucle Foreach


Le conteneur de séquence

• Fonctionnement

• Permet d’organiser les tâches dans un flux de contrôle.

• Ne modifie pas la trame du package.


Le conteneur de séquence



TâchesTâchesTâchesTâches


Atelier : Travailler avec le conteneur de séquence



• L’utilisation du conteneur de séquence pour organiser les tâches d’un flux de contrôle.



Utiliser les conteneurs de boucle For pour répéter

des tâches de flux de contrôle




Objectif

• Décrire, comprendre et utiliser le conteneur de boucle For dans un package SSIS


Le conteneur de boucles For

• Fonctionnement

• Exécute une partie des tâches de flux de contrôle de façon répétitive en testant une condition.

• Proche d’une boucle en C# ou en C.


Le conteneur de boucle For

Conteneur de boucle For

Conteneur de boucle For

TâchesTâches


Atelier : Travailler avec le conteneur de boucle For



• L’utilisation du conteneur de boucle For dans SSDT



Utiliser les conteneurs de boucle Foreach




Objectif

• Décrire, comprendre et utiliser le conteneur de boucle Foreach pour effectuer une boucle dans une collection d’objet


Le conteneur de boucle Foreach

• Fonctionnement

• Exécute un flux de contrôle de façon répétitive à l'aide d'un énumérateur.

• Utilise un système d’itération pour chaque item d’une collection.



• Les collections

• Chaque fichier dans un dossier donné correspondant à un type de fichier spécifié.

• Chaque ligne de la première table dans un recordset ADO ou un Dataset ADO.NET.

• Chaque ligne de toutes les tables dans un dataset ADO.NET.

• Chaque élément d’une variable contenant une collection.

• Chaque nœud (node) dans une liste de nœud (nodelist) XML.

• Chaque objet dans une collection SMO (SQL Server Management Objects).



Conteneur de boucle ForeachConteneur de

boucle Foreach

TâcheTâche


Atelier : Travailler avec le conteneur de boucle Foreach



• L’utilisation du conteneur de boucle Foreach pour effectuer une boucle dans une collection d’objet.



Extraction de données à partir d’une source


Travailler avec les flux de données


Objectifs

• Comprendre et décrire un flux de données

• Utiliser une tâche de flux de données pour extraire une source


Qu’est-ce qu’une tâche de flux de données ?

• Source

• Connexion à une source de données à partir de laquelle vous avez chargé des données (BDD, fichier plat, Excel, Access, …)

• Transformation

• Il peut s’agir d’un simple mappage de colonnes ou d’une opération de modification et de nettoyage complexe

• Destination

• Connexion à la destination de données dans laquelle vous avez chargé les données


Les sources de données

• Les sources de données dans un flux de données:


• Tables, vues, ou requête (la clause where est supportée)

• ADO.NET

• OLE DB

• CDC Source

• SQL Server

• Excel

• Fichier plat

• XML

• Raw file

• Personnalisé

Bases Fichier Autre ?


Atelier: Extraction de données à partir d’une source



• L’extraction de données à partir d’une source dans un flux de données



Chargement de données vers une

destination




Objectifs

• Comprendre et décrire un flux de données de chargement

• Utiliser une tâche de flux de données pour charger des données


Rappel: tâche de flux de données

• Source

• Connexion à une source de données à partir de laquelle vous avez chargé des données (BDD, fichier plat, Excel, Access, …)

• Transformation

• Il peut s’agir d’un simple mappage de colonnes ou d’une opération de modification et de nettoyage complexe

• Destination

• Connexion à la destination de données dans laquelle vous avez chargé les données


Destination des données• Destination pour un flux de données:

• Gestionnaire de connexion:

• Table

• Vue • ADO.NET

• OLE DB

• SQL Server

• SQL Server Compact

• Excel

• Fichier plat

• Raw file

• Personnalisé

Base Fichier Autre ?

• Data mining model training

• Dimension processing

• Partition processing

SSAS• DataReader

• Recordset

Rowset


Atelier: Chargement de données vers une destination



• Le chargement de données vers une destination dans un flux de données



Changer le type de données avec la

conversion de données




Objectifs

• Décrire les opérations de transformations de lignes

• Utiliser un flux de données avec la transformation conversion de données


Transformation de lignes

Les tâches de transformation de lignes

• Conversion de données• Table de caractères• Copie de colonnes• Colonne dérivée• Exportation de colonne• Importation de colonne• Commande OLE DB


Atelier: Changer le type de données



• Changement du type dans un flux de données



Création et remplacement de colonnes avec la transformation de colonnes dérivée




Objectifs

• Décrire les opérations de transformations de lignes

• Utiliser un flux de données avec la transformation de colonnes dérivée




• Colonne dérivée• Conversion de données (vu)• Table de caractères• Copie de colonnes• Exportation de colonne• Importation de colonne• Commande OLE DB


Atelier: Colonne dérivée



• Utiliser un flux de données avec la transformation de colonnes dérivée



Travailler avec la transformation de

commande OLE DB




Objectifs

• Décrire la transformation de commande OLE DB

• Utiliser un flux de données avec la transformation de commande OLE DB




• Colonne dérivée (vu)• Conversion de données (vu)• Table de caractères• Copie de colonnes• Exportation de colonne• Importation de colonne• Commande OLE DB


Transformation de commande OLE DB

• La transformation de commande OLE DB exécute une instruction SQL pour chaque ligne d'un flux de données. Par exemple, vous pouvez exécuter une instruction SQL qui insère, met à jour ou supprime des lignes d'une table de base de données.

• Cette transformation est en général utilisée pour l'exécution de requêtes paramétrables.


•Atelier: Transformation de commande OLE DB



• L’utilisation de la transformation de commande OLE DB dans un flux de données



Travailler avec la transformation de copie de colonnes et table de

caractères




Objectifs

• Décrire la transformation de copie de colonnes et table de caractères

• Utiliser un flux de données avec la transformation de copie de colonnes et table de caractères




• Colonne dérivée (vu)• Conversion de données (vu)• Table de caractères• Copie de colonnes• Exportation de colonne• Importation de colonne• Commande OLE DB (vu)


Transformation de copie de colonnes

• La tâche de transformation de copie de colonne crée de nouvelles colonnes en copiant des colonnes existantes. Ces copies peuvent ensuite êtres utilisées pour d’autres tâches de transformation.


Transformation de table de caractères

• La tâche de transformation de la table de caractères permet d’effectuer des modifications sur les colonnes contenant des chaînes de caractères. La colonne modifiée peut soit remplacé celle utilisé avant la transformation soit être ajoutée en tant que nouvelle colonne.


•Atelier: Transformation de copie de colonnes et table de caractères



• Utilisation de la transformation de copie de colonnes et table de caractères



Travailler avec la transformation

d’agrégation et de tri




Objectifs

• Décrire la transformation d’agrégation et de tri

• Utiliser un flux de données avec la transformation d’agrégation et de tri


Transformations d’ensemble de lignes


• Agrégation• Tri• Tableau croisé dynamique• Echantillonnage du pourcentage• Echantillonnage de lignes• Pivot• Unpivot


Transformation d’agrégation

• La transformation d'agrégation applique des fonctions d'agrégation, comme Average, aux valeurs des colonnes et copie les résultats dans la sortie de la transformation.

• Les opérations d’agrégation

� AVG, GROUP BY, MIN, MAX, COUNT, COUNT DISTINCT et SUM


Transformations de tri pour ordonner les données

• Un des composants les plus couramment utilisé.

• Permet d’effectuer des tri sur les données en entrée


Atelier: Travailler avec la transformation d’agrégation et de tri



• L’utilisation de la transformation d’agrégation et de tri



Travailler avec la transformation

échantillonnage du pourcentage et de lignes




Objectifs

• Décrire la transformation échantillonnage du pourcentage et de lignes

• Utiliser un flux de données avec la transformation échantillonnage du pourcentage et de lignes




• Agrégation (vu)• Tri (vu)• Tableau croisé dynamique• Echantillonnage du pourcentage• Echantillonnage de lignes• Pivot• Unpivot


Transformation échantillonnage du pourcentage

• La tâche de transformation de l’échantillonnage du pourcentage permet de créer un échantillon d’un flux de données.


Transformation échantillonnage de lignes

• Similaire à la tâche de l’échantillonnage du pourcentage.

• Pour définir la taille du flux de données à échantillonné, on détermine un nombre de lignes.


Atelier: Travailler avec la transformation échantillonnage du pourcentage et de lignes



• Utilisation de la transformation échantillonnage du pourcentage et de lignes dans un flux de données



Les autres tâches de transformation d’ensemble

de lignes




Objectif

• Décrire les autres tâches de transformation d’ensemble de lignes




• Agrégation (vu)• Tri (vu)• Tableau croisé dynamique• Echantillonnage du pourcentage (vu)• Echantillonnage de lignes (vu)• Pivot • Unpivot



• Décrire les autres tâches de transformation d’ensemble de lignes



Auditer les données avec la transformation de calcul

du nombre de lignes




Objectifs

• Décrire la transformation de calcul du nombre de lignes

• Utiliser un flux de données avec la transformation du nombre de lignes


Transformations d’audit

La transformation des données

• Nombre de lignes• Audit


Transformation de calcul du nombre de lignes

• La transformation de calcul du nombre de lignes compte les lignes à mesure qu'elles passent par un flux de données et stocke le nombre final dans une variable.

• Précisions:

• Stocke la valeur de nombre de lignes dans la variable uniquement après que la dernière ligne est passée par la transformation

• Ne prend pas en charge de sortie d'erreur


Atelier: Travailler avec Transformation de calcul du nombre de lignes



• Utilisation de la transformation de calcul du nombre de lignes dans un flux de données



Auditer les données avec la transformation

d’audit




Objectifs

• Décrire la transformation d’audit

• Utiliser un flux de données avec la transformation d’audit




• Nombre de lignes (vu)• Audit


Transformation d’audit

• La tâche de transformation d’audit permet d’ajouter des colonnes contenant des informations sur l’exécution du package au flux de données.

• Stockage des informations d’audit

• Table avec des colonnes d’audit ou fichier (plat/excel)


Atelier: Travailler avec Transformation d’audit



• Utilisation de la transformation d’audit dans un flux de données



Séparer des données avec la transformation de

fractionnement conditionnel




Objectifs

• Décrire la transformation de fractionnement conditionnel

• Utiliser un flux de données avec la transformation de fractionnement conditionnel


Transformations de fractionnementet de jointure


• Fractionnement conditionnel• Recherche• Union totale• De fusion• De jointure de fusion• Multidiffusion• Cache• …


Transformation de fractionnement conditionnel

• La transformation de fractionnement conditionnel peut aiguiller les lignes de données vers différentes sorties, suivant le contenu des données.


•Atelier: Transformation de fractionnement conditionnel



• L’utilisation de la transformation de fractionnement dans un flux de données



Joindre les données avec la transformation de

recherche




Objectifs

• Décrire la transformation de recherche

• Utiliser un flux de données avec la transformation de recherche




• Fractionnement conditionnel (vu)• Recherche• Union totale• De fusion• De jointure de fusion• Multidiffusion• Cache• …


Transformation de recherche

• La transformation de recherche effectue des recherches en joignant des données de colonnes d'entrée à des colonnes d'un dataset de référence.


Atelier: Travailler avec la transformation de recherche



• L’utilisation de la transformation de recherche dans un flux de données



Combiner des données d’entrées multiples avec

la transformation d’union totale




Objectifs

• Décrire la transformation d’union totale

• Utiliser un flux de données avec la transformation d’union totale




• Fractionnement conditionnel (vu)• Recherche (vu)• Union totale• De fusion• De jointure de fusion• Multidiffusion• Cache• …


Transformation d’union totale

• La transformation d’union totale permet de fusionner autant de flux de données que l’on souhaite.

• Les données non pas besoin d’être triées.


Atelier: Travailler avec la transformation d’union totale



• L’utilisation de la transformation d’union totale dans un flux de données



Travailler avec les transformations de fusion et jointure de

fusionNoureddine DRISSI Expert consultant bases de données



Objectifs

• Décrire les transformations de fusion et jointure de fusion

• Utiliser un flux de données avec les transformations de fusion et jointure de fusion




• Fractionnement conditionnel (vu)• Recherche (vu)• Union totale (vu)• De fusion• De jointure de fusion• Multidiffusion• Cache• …


Transformation de fusion

• La transformation de fusion permet la fusion de deux flux de données.

• Les flux de données doivent être triées de la même manière.


Transformation de jointure de fusion

• La transformation de jointure de fusion permet la fusion de deux flux de données ensemble en exécutant une jointure INNER, LEFT ou FULL.

• Les flux de données doivent être triées de la même manière.


Atelier: Travailler avec les transformations de fusion et jointure de fusion



• L’utilisation des transformations de fusion et jointure de fusion



Travailler avec la transformation multidiffusion




Objectifs

• Décrire la transformation multidiffusion

• Utiliser un flux de données avec la transformation multidiffusion




• Fractionnement conditionnel (vu)• Recherche (vu)• Union totale (vu)• De fusion (vu)• De jointure de fusion (vu)• Multidiffusion• Cache• …


Transformation multidiffusion

• La transformation multidiffusion permet d’utiliser un unique flux de données et de l’utiliser comme source pour de nombreux autres flux de données.

• Copie les données et l’envoi vers plusieurs directions.


Atelier: Travailler avec la transformation multidiffusion



• L’utilisation de la transformation multidiffusion



Les autres groupes de transformation de

données et les tâches associées




Objectif

• Présenter les autres groupes de transformation de données et les tâches associées



Transformations d’ensemble de ligne


Transformations Business Intelligence

Transformations personnalisées


• Audit

• Nombre de lignes

• Agrégation

• Tri

• Echantillonage du pourcentage

• Echantillonage de lignes

• Tableau dynamique croisé

• Pivot

• Unpivot

• Table caractère

• Copie de colonnes

• Conversion de données

• Colonne dérivée

• Exportation de colonne

• Importation de colonne

• Commande OLE DB

• De dimension à variation lente

• De regroupement probable

• De recherche floue

• D’extraction à terme

• De recherche à terme

• De requête d’exploration de données

• Nettoyage de données

• Composant script

• Composant personnalisé


• Fractionnement conditionnel

• Recherche

• Union totale

• De fusion

• De jointure de fusion

• Multidiffusion

• Cache

• CDC



• Présentation des autres groupes de transformation de données et les tâches associées

Date post:	08-Apr-2017
Category:	Technology
Upload:	alphorm
View:	1,394 times
Download:	47 times