1 Data Mining 3 - Présentation de l’outil KXEN Azzedine Boumghar [email protected]Master MI2 Pro EID - Université Paris 13 Data mining et Business Intelligence FDON KXEN-Confidential 2 1. 1. ACCUEIL ACCUEIL 2. 2. INTRODUCTION INTRODUCTION 3. 3. LE DATA MINING PAR KXEN LE DATA MINING PAR KXEN 4. 4. KXEN ANALYTIC FRAMEWORK KXEN ANALYTIC FRAMEWORK AGENDA AGENDA AGENDA KXEN-Confidential 3 Agents: Australie, Asie, Chine Représentation mondiale de KXEN Filiales : France, UK, USA Distributeurs: Europe, Moyen-Orient, Afrique, Amérique Latine KXEN-Confidential 4 Stratégie de Kxen La Société ■ Entreprise fondée en Juillet 1998, Aux USA, état du Delaware Investisseurs actifs ■ Sofinnova France & USA, Innovacom, XAnge Capital, Motorola Investment funds Comité scientifique reconnu ■ Vladimir Vapnik, Gregory Piatetsky-Shapiro, Gilbert Saporta, Isabelle Guyon, Bernhard Schölkopf, Leon Bottou, etc Programme Universitaire ■ Apprentissage de KXEN dans les Universités et les grandes Ecoles dont Centrale Paris, CNAM, UTC, Lille, Montpellier, Ensai Programme de certification KXEN-Confidential 5 Quelques Clients KXEN-Confidential 6 De nombreux partenaires Partenaires Technologiques Partenaires Conseil et Intégration
Data Mining pour vous et moi� Pas de connaissances statistiques poussées exigées pour créer et déployer des
modèles. � Le procédé de préparation de données et de découvert e de la connaissance est
automatisé. � Compréhension par des graphiques significatifs et d es indicateurs de performance
Data Data MiningMining pour vous et moipour vous et moi�� Pas de connaissances statistiques poussPas de connaissances statistiques pouss éées exiges exig éées pour cres pour cr ééer et der et d ééployer des ployer des
modmod èèles. les. �� Le procLe proc ééddéé de prde pr ééparation de donnparation de donn éées et de des et de d éécouverte de la connaissance est couverte de la connaissance est
automatisautomatis éé. . �� ComprCompr ééhension par des graphiques significatifs et des ind icateurs de phension par des graphiques significatifs et des ind icateurs de p erformanceerformance
C’est rapide� Construisez des modèles analytiques en quelques sec ondes ou minutes au lieu de
jours et de semaines. � Appliquez-les plus souvent et en temps réel pour pr endre de meilleures décisions
CC’’est rapideest rapide�� Construisez des modConstruisez des mod èèles analytiques en quelques secondes ou minutes au lieu de les analytiques en quelques secondes ou minutes au lieu de
jours et de semaines. jours et de semaines. �� AppliquezAppliquez --les plus souvent et en temps rles plus souvent et en temps r ééel pour prendre de meilleures del pour prendre de meilleures d éécisionscisions
Conçu pour être Intégré� Architecture standard, DCOM, CORBA, PMML, XML� Une API bien documentée intégrable facilement dans des applications existantes et des
processus
ConCon ççu pour être Intu pour être Int éégrgr éé�� Architecture standard, DCOM, CORBA, PMML, XMLArchitecture standard, DCOM, CORBA, PMML, XML�� Une API bien documentUne API bien document éée inte int éégrable facilement dans des applications existantes et des grable facilement dans des applications existantes et des
processusprocessus
KXEN-Confidential 9
Que fait KXEN
KXEN permet de réaliser� Des modèles descriptifs
■ Exploration des données du passé■ … pour expliquer le passé■ Information descriptive sur les variables et leurs
relations
� Des modèles prédictifs■ Exploitation des données du passé■ … pour prévoir et expliquer le futur■ Information prédictive sur la future valeur de la
variable cible
KXEN-Confidential 10
x
t
y
Que fait KXEN
1. Expliquer / comprendre■ Le modèle est une description / simplification du phénomène■ Il permet de répondre à des questions comme :
� Quelles sont les variables significatives
� Quel est l’impact d’une variation de l’une des variables …
2. Prévoir■ Le modèle donne une estimation de la classe ou de la valeur■ Des modèles différents donnent des prévisions différentes
� Quelle est la “bonne” prévision ?
� Existe-t-il un moyen de garantir qu’on obtient une bonne prévision ?
� Questions■ Comment coder les variables ?■ Comment faire avec des centaines
de variables ?■ Comment choisir le « bon » modèle
?
� Réponse KXEN■ Automatisation
KXEN-Confidential 11
La mission KXEN
KXEN fournit une technologie de modélisation prédictive et descriptive des données,
… permettant aux statisticiens et aux utilisateurs métier,
… de transformer rapidement et facilement les données en informations puis en connaissances afin d’aider à la prise de décision.
KXEN-Confidential 12
Méthodologie KXEN
� Gain en productivité■ Automatisation
� Codage, pas de recherche d’algorithme, test intégré, débriefing intégré
Constructiondu modèle Test du ModèleTest du ModèleManipulation
de donnéesManipulation Manipulation de donnde donnééeses
Construit automatiquement des modèles afin de prévoir une variable binaire ou
continue et répondre à une question métier
Construit automatiquement des modConstruit automatiquement des modèèles les afin de afin de prpréévoirvoir une variable binaire ou une variable binaire ou
continue et rcontinue et réépondre pondre àà une question mune question méétiertier
KXEN-Confidential 21
KXEN Régression Robuste
� K2R utilise un algorithme de régression et de codage des données qui :■ Construit automatiquement et rapidement des modèles
prédictifs■ Manipule sans risque des centaines de variables■ Fournit des indicateurs pour évaluer la qualité et la robustesse
d’un modèle.■ Détermine et classe les variables clés expliquant une question
donnée.■ Simule en temps réel de nouveaux cas.■ Détecte les individus atypiques
KXEN-Confidential 22
Des rapports compréhensibles
� Informations concises sur les modèles construits ■ Indicateurs Ki et Kr■ Courbes de profits
� Rapports détaillés■ Variables : Ki individuel, % de valeurs manquantes, et valeurs
de remplacements■ Détail des variables posant problème■ Contributions des variables
� Carte de score complète
KXEN-Confidential 23
KXEN Process de modélisation
Débrief du modèleDébrief du modèle
Déploiement du modèleDéploiement du modèle
Construction d’un modèleConstruction d’un modèleConstruction d’un modèleConstruction d’un modèle
Exécuter le modèleExécuter le modèle
Description des variableset définition des rôles
Description des variableset définition des rôles
Sélection de la source de données
Sélection de la source de données
Sélection du type d’analyseSélection du type d’analyse
KXEN-Confidential 24
Débrief du modèleDébrief du modèle
Déploiement du modèleDéploiement du modèle
Construction d’un modèleConstruction d’un modèle
Débrief du modèleDébrief du modèle
Analyse descriptive Analyse descriptive
Evaluation du Modèle(Qualité / Robustesse)Evaluation du Modèle(Qualité / Robustesse)
Modèle généréModèle généré
KXEN Process de modélisation
5
KXEN-Confidential 25
Model DeploymentModel DeploymentDéploiement du modèleDéploiement du modèle
Débrief du modèleDébrief du modèle
Construction d’un modèleConstruction d’un modèle
KXEN Process de modélisation
KXEN-Confidential 26
Déploiement
Back testingBack testing
Génération des codes sourcesGénération des codes sources Appliquer le modèle
Appliquer le modèle
Update du modèle
Update du modèle
Batch / Temps réelBatch / Temps réel
RDBMS(UDF, SQL, PMML)
RDBMS(UDF, SQL, PMML)
Outside RDBMS(C, HTML SAS…)
Outside RDBMS(C, HTML SAS…)
DéploiementDéploiementDéploiementDéploiement
KXEN Robust RegressionK2R
informations complémentaires
KXEN-Confidential 28
Le processus de modélisation
� Et deux indicateurs ■ Précision : KI■ Robustesse : KR
KXEN-Confidential 29
Matrice Ki/Kr
Utilisable en production
Besoin de plus d’exemples(lignes)
Elevé
Besoin de plus de variables(colonnes)
Besoin de plus de données (des
lignes et/ou des colonnes)
Faible
ElevéFaible
Kr (Robustesse)
KI (Q
ualité)
KXEN-Confidential 30
Cible
Wizard
Aléatoire
Validation
Test
Légende
5015
100
100
50
Kr ≈≈≈≈ 1- B/(A+B+C)
A
KiValid ≈≈≈≈ (B+C)/(A+B+C)
BC
Population
Ki & Kr : Indicateurs de performance
6
KXEN Smart SegmenterK2S
KXEN-Confidential 32
K2S
� Création de segments homogènes à partir d’un grand nombre de variables
� K2S utilise la technique des K-means (centroïdes)� La segmentation peut-être supervisée ce qui la rend
très opérationnelle.� L’utilisateur doit spécifier le nombre de classes� Classe les variables importantes par segment. Cela
permet d’identifier facilement les variables structurantes (Kullback – Leibler)
� Des expressions logiques (type SQL) permettent un débriefing très puissant de chacun des segments.
KXEN-Confidential 33
Choisir le type de segmentation
� Contraintes opérationnelles■ Le choix du nombre de segments est toujours limité par votre
capacité à les utiliser.
� Signification métier■ Interprétation des résultats : Une segmentation n’est
pertinente que si elle est utilisable et facile à expliquer
� Ki et Kr■ A Ki et Kr équivalent, un nombre de segments plus petit est
préférable.
KXEN-Confidential 34
Applications de K2S
� Adapter la stratégie d’entreprise avec les résultats d’une segmentation robuste et traiter les clients différemment selon leur segment d’appartenance
� Connaître l’étape du cycle de vie d’un client permet d’adapter l’offre commerciale
� Contacter un groupe clé de clients ayant un grand nombre de ressemblances peut augmenter l’efficacitéd’une campagne.
KXEN-Confidential 35
Paramétrages de K2S
� Sélection du jeu de données description■ Fichier plat, Table, etc.
■ Table d’analyse – KEL, KSC, SQL, capacités de manipulation des données
� Définir éventuellement une cible■ Par défaut la dernière variable
dans la description
■ Continue ou binaire
� Choisir un nombre de segments■ Par défaut 10
� Variables exclues (facultatif)■ Par défaut : aucune
� Identifier la variable de poids (facultatif)■ Par défaut : aucune
� Définition de la catégorie cible (facultatif) ■ Par défaut : la moins fréquente
� Calcul des expressions SQL (facultatif)■ Activé par défaut
KXEN-Confidential 36
Statistiques Croisées
� Segment Nom: nom du segment � Fréquences: pourcentage de la population dans le segment� % de ‘étiquettes': Dans le cas binaire : pourcentage de la catégorie cible. Dans le cas continu : moyenne de la cible
� Segment Nom: nom du segment � Fréquences: pourcentage de la population dans le segment� % de ‘étiquettes': Dans le cas Dans le cas binaire : pourcentage de la catbinaire : pourcentage de la catéégorie gorie cible. Dans le cas continu : moyenne cible. Dans le cas continu : moyenne de la ciblede la cible
� Étant donné un segment, parcourir chaque variable pour détecter les profils se différenciant de la population totale.
� Étant donné un segment, parcourir chaque variable pour détecter les profils se différenciant de la population totale.
7
KXEN-Confidential 37
Description des segments
� Le choix de calculer les expressions SQL vous permet de voir, dans le compte rendu du modèle, les expressions SQL définissant chaque segment généré.
� Le choix de calculer les expressions SQL vous permet de voir, dans le compte rendu du modèle, les expressions SQL définissant chaque segment généré.
� KAR manipule les données pour construire une table analysable en utilisant toutes les transactions d’une session
� KAR détecte les règles d’association contenues dans la table de transaction
Construction du modèle
Construction du Construction du modmod èèlele
Test du modèle
Test du Test du modmod èèlele
Manipulationde données
Manipulationde données
Préparation desdonnées
PrPrééparationparation desdesdonndonn ééeses
KXEN-Confidential 42
Généralités sur les règles d’associations
� Un grand nombre de tickets de caisses contiennent :■ un blouson ■ un T-shirt■ un pull
� SI un client achète un blouson ET un T-shirt, ALORS il achète aussi un pull.
■ Blouson & T-shirt => pull
8
KXEN-Confidential 43
Généralités sur les règles d’association Pourquoi ?
� Ventes au détail et marketing de masse: compréhension des comportements d'achats :■ Optimiser l'organisation de la surface de ventes■ Mettre en avant les offres spéciales appropriées ■ Gérer les stocks■ …
Généralités sur les règles d’associationPour quoi ?
� KXEN Association Rules (KAR) génère les règles d’association. Elles fournissent des résultats clairs et utiles, par exemple pour l’analyse de panier.
� Elles mettent en lumière des rapports entre des produits
� ou des services et suggèrent immédiatement des actions appropriées.
� Les règles d'association sont utilisées dans l'exploration de données catégoriques, aussi appeléitems.
KXEN-Confidential 45
Comment fonctionne KAR?Les forces de KAR
� Produit des résultats clairs et compréhensibles, � Permet un processus de modélisation non supervisé
(pas de variable cible), � Explore de grands jeux de données grâce à sa
capacité à produire d'abord des règles sur plusieurs petites parties du fichier avant de les agréger (exploration par chunks),
� Permet de générer seulement les règles les plus appropriées (aussi appelé règles primaires).
KXEN-Confidential 46
KAR : L’analyse du panier
Transaction 2Transaction 2
Transaction 1Transaction 1
Transaction 3Transaction 3
SESSIONSESSION
KXEN-Confidential 47
� ANTECEDENT� ANTECEDENT
=>(ce qui implique)
�CONSEQUENT�CONSEQUENT
Définitions
� Paniers� Paniers
KXEN-Confidential 48
Comment fonctionne KAR?
� L'historique des données permet de construire des règles d'association.
� Deux études de fichiers de données :1: Fichier des Références 2: Fichier des Transactions (table des Transactions)
9
KXEN-Confidential 49
Comment fonctionne KAR?
………
Tee-shirt
24
Veste23
Tee-shirt
12
Veste11
ItemId caddieClé
……
M. Ferrero2
M. Smith1
Nom du client
Id caddie
Table CaddieTable Caddie
Table des transactionsTable des transactions
KXEN-Confidential 50
Comprendre les résultats KAR Support, Confiance et KI
� Création des règles d' association � 3 Indicateurs Clés sont utilisés pour qualifier une
= Pourcentage des sessions vérifiant le conséquent de la règle parmi ceux vérifiant l'antécédent de la règle.
Prob[ Pull-over | Veste & Tee-Shirt ]
Confiance
= Pourcentage des sessions contenant tous les items d’une règle.
Prob[ Veste & Tee-Shirt & Pull-over]Support
Veste, Tee-Shirt => Pull-overIndicateur
KXEN-Confidential 51
Comprendre les résultats KAR Support
34% des clients ont acheté une veste ET un tee-shirt ET un pull-over.
Veste ET Tee-Shirt ET Pull-overVeste ET Veste ET TeeTee--ShirtShirt ET PullET Pull --overover
Base de données des AchatsBase de donnBase de donn éées des Achatses des Achats
KXEN-Confidential 52
Comprendre les résultats KAR Confiance
75% des clients, qui ont acheté une veste et un tee-shirt, ont aussi acheté un pull-over.
ATTENTION ! La relation n’est pas réciproque : un client ayant acheté un pull-over n’achète pas
obligatoirement une veste et un tee-shirt.
Base de données des AchatsBase de donnBase de donn éées des Achatses des Achats
Pull-overPullPull --overoverVeste ET Tee-shirtVesteVeste ET TeeET Tee--shirtshirt
75%75%
KXEN-Confidential 53
Comprendre les résultats KAR KI
100%Sessions
Parfait
Aléatoire
Training
Antecedent = A
100%Conséquent
60%= Prob [A | B])
Conséquent = B
Règle du Support
Confiance = Règle du Support / Antecedent Support
30% [ ][ ] ( )1
1−×
−= Lift
BobPr
AobPrKI
KXEN Association RulesDémo avec KAR
10
KXEN-Confidential 55
=>(implique ?)
KAR : Détection de combinaisons d’achat
� Objectifs de KAR :■ Adapter les méthodes de
ventes � Recommandations, placement des
produits
■ Adapter la politique tarifaire ■ Orienter le comportement
d’achat des clients
� Résultats de KAR :■ Détections de règles
KXEN Time seriesKTS
KXEN-Confidential 57
Séries temporelles
Prévision d’un signal évoluant avec le temps
� Objectifs de KTS :■ Prévision des ventes d’un produit ■ Prévision de l’évolution d’un chiffre d’affaire■ Prévisions boursières (analyse des cours)■ Prévisions des flux d’appels ■ …
KXEN-Confidential 58
Séries temporelles
Prévision d’un signal évoluant avec le temps
� Résultats de KTS ■ Prévision du signal prenant en compte:
� cycles (périodique, saisonnier)
� tendance
� les fluctuations
� les variables exogènes
KXEN-Confidential 59
Facilité d’utilisation � Possibilité de créer et déployer des modèles sans ex pertise technique� Préparation des données et processus d’extraction de la connaissance automatisés� Meilleure compréhension grâce à des graphiques perti nents et
des indicateurs de performance
FacilitFacilit éé dd’’utilisation utilisation �� PossibilitPossibilit éé de crde cr ééer et der et d ééployer des modployer des mod èèles sans expertise techniqueles sans expertise technique�� PrPrééparation des donnparation des donn éées et processus des et processus d ’’extraction de la connaissance automatisextraction de la connaissance automatis ééss�� Meilleure comprMeilleure compr ééhension grâce hension grâce àà des graphiques pertinents et des graphiques pertinents et
des indicateurs de performancedes indicateurs de performance
Vitesse� Construction de modèles analytiques complexes en mi nutes au lieu d’heures ou jours� Utilisation plus fréquente, en temps réel pour pren dre de meilleures décisions
VitesseVitesse�� Construction de modConstruction de mod èèles analytiques complexes en minutes au lieu dles analytiques complexes en minutes au lieu d ’’heures ou joursheures ou jours�� Utilisation plus frUtilisation plus fr ééquente, en temps rquente, en temps r ééel pour prendre de meilleures del pour prendre de meilleures d éécisionscisions
Mise en production aisée : Intégration� Architecture standard de composants, DCOM, CORBA, P MML, XML� API documentées pour une intégration facile dans le s applications et process existants
Mise en production aisMise en production ais éée : Inte : Int éégrationgration�� Architecture standard de composants, DCOM, CORBA, P MML, XMLArchitecture standard de composants, DCOM, CORBA, P MML, XML�� API documentAPI document éées pour une intes pour une int éégration facile dans les applications et gration facile dans les applications et processprocess existantsexistants
Les différentiateurs KXEN
KXEN change les règles du jeu en mettant des techni quesavancées d’analyse prédictive à la portée des non-sp écialistes
KXEN change les rKXEN change les r èègles du jeu en mettant des techniquesgles du jeu en mettant des techniquesavancavanc éées des d ’’analyse pranalyse pr éédictive dictive àà la portla port éée des none des non --spsp éécialistescialistes
