Discrimination de courbes par SVM

SVM & FDA

Toulouse,24 nov. 2005

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Bibliographie

Discrimination de courbes par SVM

Nathalie Villa-Vialaneix

Équipe GRIMM, Université Toulouse Le [email protected]

ENAC, 24 nov. 2005

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Sommaire

1 Analyse des données fonctionnelles

2 Principe des SVM

3 Noyaux pour FDAApproche par projectionApproche par splines d’interpolationApproche par régression inverse

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Sommaire


2 Principe des SVM


SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Les données fonctionnelles : Définition

Données classiques : chaque observation est un vecteurde RD ;

Données fonctionnelles : chaque observation est unefonction d’un espace de dimension infinie (L2

τ , parexemple ; espace de Hilbert, en général).

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Les données fonctionnelles : Définition

Données classiques : chaque observation est un vecteurde RD ;

Données fonctionnelles : chaque observation est unefonction d’un espace de dimension infinie (L2

τ , parexemple ; espace de Hilbert, en général).

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Exemples

Représentation temporelle (reconnaissance vocale 1)

0 2000 4000 6000 8000

−1.0

−0.5

0.00.5

1.0

Temps (ms)

Freq

uenc

es

BoatGoat

But : Reconnaître le mot. . .1Données disponibles sur

http ://www.math.univ-montp2.fr/˜biau/bbwdata.tgz

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Exemples

Représentation fréquentielle (reconnaissance vocale 1)

0 50 100 150 200 250

05

1015

2025

Frequences

Log−

perio

dogra

mme

[aa][ao]

But : Reconnaître le son. . .1TIMIT database disponible sur

http ://www-stat.stanford.edu/˜tibs/ElemStatLearn/datasets/phoneme.data

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Exemples

Courbe de réponse (chimiométrie 1)

0 20 40 60 80 100

23

45

Longueur d’onde

Abso

rbanc

e

But : Déterminer le taux de graisse. . .1Tecator database disponible sur

http ://lib.stat.cmu.edu/datasets/tecator

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Exemple de problèmes en FDA (1)

Problèmes d’inversion d’opérateurs

ΓX = E(X ⊗ X) − E(X) ⊗ E(X) est de Hilbert-Schmidt⇒ Γ−1X est

non borné (ce n’est pas un opérateur continu de L2τ ) ! !

Conséquence au niveau de l’estimation

ΓnX =

1n∑n

i=1 xi ⊗ xi − X ⊗ X est mal conditionné⇒ nécessité depénalisation ou de régularisation.Exemple : Régression inverse fonctionnelle[Ferré & Villa, 2005]

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie


Problèmes d’inversion d’opérateurs

ΓX = E(X ⊗ X) − E(X) ⊗ E(X) est de Hilbert-Schmidt⇒ Γ−1X est

non borné (ce n’est pas un opérateur continu de L2τ ) ! !

Conséquence au niveau de l’estimation

ΓnX =

1n∑n

i=1 xi ⊗ xi − X ⊗ X est mal conditionné⇒ nécessité depénalisation ou de régularisation.Exemple : Régression inverse fonctionnelle[Ferré & Villa, 2005]

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Les données fonctionnelles en pratique

Soit X une variable aléatoire fonctionnelle,

on ne connaît jamais complètement les observations(xi)i=1,...,n de X !

on dispose de xi(t i1), . . . , xi(t i

D) ;

dans le pire cas, le nombre et la place des points dediscrétisation dépendent de l’observation.

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Les données fonctionnelles en pratique

Soit X une variable aléatoire fonctionnelle,

on ne connaît jamais complètement les observations(xi)i=1,...,n de X !

on dispose de xi(t i1), . . . , xi(t i

D) ;

dans le pire cas, le nombre et la place des points dediscrétisation dépendent de l’observation.

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie


D’un point de vue pratique...

représenter les fonctions observées et les fonctionsparamètres ;

n < D, les observations pour un même individu sontfortement corrélées (fonction sous-jacente)⇒ problèmesmal posés, méthodes usuelles souvent inapplicablesdirectement.

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie


D’un point de vue pratique...

représenter les fonctions observées et les fonctionsparamètres ;

n < D, les observations pour un même individu sontfortement corrélées (fonction sous-jacente)⇒ problèmesmal posés, méthodes usuelles souvent inapplicablesdirectement.

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Apports de notre travail en FDA

Mise au point d’une méthode de régression inversefonctionnelle, FIR, régularisée par pénalisation ;

Extension des perceptrons multi-couches pour letraitement de données fonctionnelles : approche parFIR ;

Généralisation des SVM au traitement de donnéesfonctionnelles.

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie





SVM & FDA


Nathalie V


Principe desSVM




Bibliographie





SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Sommaire


2 Principe des SVM


SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Rappel sur le principe SVM

Le problème

Soit X ∈ H et Y ∈ {−1; 1}.On cherche à déterminer la valeur de Y connaissant la variableX .

Les donnéesOn dispose de n réalisations indépendantes de (X ,Y ) :(x1, y1), . . . , (xn, yn).

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Rappel sur le principe SVM

Le problème

Soit X ∈ H et Y ∈ {−1; 1}.On cherche à déterminer la valeur de Y connaissant la variableX .

Les donnéesOn dispose de n réalisations indépendantes de (X ,Y ) :(x1, y1), . . . , (xn, yn).

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Discrimination linéaire à marge optimale

On cherche w tel que :

minw,b〈w,w〉,sous les contraintes : yi(〈w, xi〉 + b) ≥ 1, 1 ≤ i ≤ n.

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie




SVM & FDA


Nathalie V


Principe desSVM




Bibliographie


w

marge : 1‖w‖2

Vecteur Support



SVM & FDA


Nathalie V


Principe desSVM




Bibliographie


w

marge : 1‖w‖2

Vecteur Support



SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Discrimination linéaire à marge souple


minw,b ,ξ〈w,w〉 + C∑n

i=1 ξi ,

sous les contraintes : yi(〈w, xi〉 + b) ≥ 1 − ξi , 1 ≤ i ≤ n,ξi ≥ 0, 1 ≤ i ≤ n.

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie




i=1 ξi ,


SVM & FDA


Nathalie V


Principe desSVM




Bibliographie


w

marge : 1‖w‖2

Vecteur Support



i=1 ξi ,


SVM & FDA


Nathalie V


Principe desSVM




Bibliographie


w

marge : 1‖w‖2

Vecteur Support



i=1 ξi ,


SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Envoyer les données dans un espace de grandedimension

Espace initial H


(PC ,X) minw,b ,ξ〈w,w〉 + C∑n

i=1 ξi ,

sous les contraintes : yi(〈w,Φ(xi)〉 + b) ≥ 1 − ξi , 1 ≤ i ≤ n,ξi ≥ 0, 1 ≤ i ≤ n.

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie


Espace initial H Espace image X

Φ (non linéaire)



i=1 ξi ,


SVM & FDA


Nathalie V


Principe desSVM




Bibliographie



Φ (non linéaire)



i=1 ξi ,


SVM & FDA


Nathalie V


Principe desSVM




Bibliographie



Φ (non linéaire)



i=1 ξi ,


SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Intérêt du non linéaire

Formulation régularisation : (PC ,X)⇔

(Rλ,X) minf∈X

1n

n∑i=1

max(0, 1 − yi f (xi)) + λ〈f , f〉X.

Formulation duale : (PC ,X)⇔

(DC ,X) maxα∑n

i=1 αi −∑n

i=1∑n

j=1 αiαjyiyj〈Φ(xi),Φ(xj)〉X,avec

∑Ni=1 αiyi = 0,

0 ≤ αi ≤ C , 1 ≤ i ≤ n.

Produit scalaire dans X :∀ u, v ∈ H , K (u, v) = 〈Φ(u),Φ(v)〉X

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie



(Rλ,X) minf∈X

1n

n∑i=1

max(0, 1 − yi f (xi)) + λ〈f , f〉X.


(DC ,X) maxα∑n

i=1 αi −∑n

i=1∑n


∑Ni=1 αiyi = 0,

0 ≤ αi ≤ C , 1 ≤ i ≤ n.


SVM & FDA


Nathalie V


Principe desSVM




Bibliographie



(Rλ,X) minf∈X

1n

n∑i=1

max(0, 1 − yi f (xi)) + λ〈f , f〉X.


(DC ,X) maxα∑n

i=1 αi −∑n

i=1∑n


∑Ni=1 αiyi = 0,

0 ≤ αi ≤ C , 1 ≤ i ≤ n.


SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Sommaire


2 Principe des SVM


SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Présentation des travaux

En collaboration avec Fabrice Rossi

Support vector machine for functional dataclassification (2005), paru dans ESANN proceedings.


Classification in Hilbert spaces with support vectormachines (2005), paru dans ASMDA proceedings


Support vector machine for functional dataclassification (2005), à paraître dans Neurocomputing.

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Noyaux pour FDA

Forme générale

Prétraitement : P : H → D

∀ u, v ∈ H ,Q(u, v) = K (P(u),P(v)).

1 Projections : pour VD = Vect{ψ1, . . . , ψD},

P(x) =D∑

j=1

〈x, ψj〉ψj .

2 Transformations fonctionnelles : P(x) = Dqx,. . .3 FIR. . .

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Noyaux pour FDA

Forme générale


∀ u, v ∈ H ,Q(u, v) = K (P(u),P(v)).


P(x) =D∑

j=1

〈x, ψj〉ψj .


SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Noyaux pour FDA

Forme générale


∀ u, v ∈ H ,Q(u, v) = K (P(u),P(v)).


P(x) =D∑

j=1

〈x, ψj〉ψj .

2 Transformations fonctionnelles : P(x) = Dqx,. . .

3 FIR. . .

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Noyaux pour FDA

Forme générale


∀ u, v ∈ H ,Q(u, v) = K (P(u),P(v)).


P(x) =D∑

j=1

〈x, ψj〉ψj .


SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Sommaire


2 Principe des SVM


SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Une approche consistante

Approche par projection1 (ψj)j base Hilbertienne de H : projection sur (ψj)j=1,...,d ;

2 Choix des paramètres : a ≡ d ∈ N, K ∈ Jd , C ∈ [0;Cd]

partage des données : B1 = (x1, y1), . . . , (xl , yl) etB2 = (xl+1, yl+1), . . . , (xn, yn) ;construction du SVM sur B1 : fa ;choix du paramètre optimal sur B2 :

a∗ = argmina Ln−l fa +λd√

n − l

avec Ln−l fa = 1n−l

∑ni=l+1 I{fa (xi ),yi }.

⇒ On obtient un SVM fn.

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie


Approche par projection1 (ψj)j base Hilbertienne de H : projection sur (ψj)j=1,...,d ;2 Choix des paramètres : a ≡ d ∈ N, K ∈ Jd , C ∈ [0;Cd]



n − l




SVM & FDA


Nathalie V


Principe desSVM




Bibliographie



partage des données : B1 = (x1, y1), . . . , (xl , yl) etB2 = (xl+1, yl+1), . . . , (xn, yn) ;

construction du SVM sur B1 : fa ;choix du paramètre optimal sur B2 :


n − l




SVM & FDA


Nathalie V


Principe desSVM




Bibliographie



partage des données : B1 = (x1, y1), . . . , (xl , yl) etB2 = (xl+1, yl+1), . . . , (xn, yn) ;construction du SVM sur B1 : fa ;

choix du paramètre optimal sur B2 :


n − l




SVM & FDA


Nathalie V


Principe desSVM




Bibliographie





n − l




SVM & FDA


Nathalie V


Principe desSVM




Bibliographie





n − l




SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Hypothèses

Hypothèses sur la distribution de X

(H1) X prend ses valeurs dans un borné de H .

Hypothèses sur les paramètres : ∀ d ≥ 1,

(H2) Jd est un ensemble fini ;(H3) ∃Kd ∈ Jd tel que : Kd est universel et∃νd > 0 : N(Kd , ε) = O(ε−νd ) ;(H4) Cd > 1 ;(H5)

∑d≥1 |Jd |e−2λ2

d < +∞.

Hypothèses sur la validation

(H6) limn→+∞ l = +∞ ;(H7) limn→+∞ n − l = +∞ ;(H8) limn→+∞

l log(n−l)n−l = 0.

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Hypothèses





∑d≥1 |Jd |e−2λ2

d < +∞.




SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Hypothèses





∑d≥1 |Jd |e−2λ2

d < +∞.




SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Convergence par procédure de validation

Théorème 1 Consistance universelleSous les hypothèses (H1)-(H8), fn est consistant :

Lfnn→+∞−−−−−→ L∗,

où Lfn = P(fn(X) , Y ) et L ∗ = P(f ∗(X) , Y ) avec

f ∗(x) ={

1 si P(Y = 1|X = x) > 1/2,−1 sinon.

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Application : reconnaissance vocale

Description des données et méthodes

3 problèmes et pour chaque problème, 100enregistrements discrétisés en 8 192 points ;

Mise en œuvre de la procédure consistante :Projection sur une base trigonométrique ;Partage de la base de données en 50 spectres(apprentissage) / 49 (validation) ;Performances déterminées par leave-one-out.

Résultats

Prob. k -nn QDA SVM gau. SVM lin. SVM lin.(proj) (proj) (direct)

yes/no 10% 7% 10% 19% 58%boat/goat 21% 35% 8% 29% 46%

sh/ao 16% 19% 12% 25% 47%

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie



3 problèmes et pour chaque problème, 100enregistrements discrétisés en 8 192 points ;Mise en œuvre de la procédure consistante :

Projection sur une base trigonométrique ;Partage de la base de données en 50 spectres(apprentissage) / 49 (validation) ;Performances déterminées par leave-one-out.

Résultats


yes/no 10% 7% 10% 19% 58%boat/goat 21% 35% 8% 29% 46%

sh/ao 16% 19% 12% 25% 47%

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie



3 problèmes et pour chaque problème, 100enregistrements discrétisés en 8 192 points ;Mise en œuvre de la procédure consistante :

Projection sur une base trigonométrique ;Partage de la base de données en 50 spectres(apprentissage) / 49 (validation) ;Performances déterminées par leave-one-out.

Résultats


yes/no 10% 7% 10% 19% 58%boat/goat 21% 35% 8% 29% 46%

sh/ao 16% 19% 12% 25% 47%

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Application : Tecator data Set


215 spectres discrétisés en 100 points ; 2 classes : taux degraisse >20% et <20%.

Procédure :Projection sur une base de splines cubiques (déterminéepar leave-one-out) ;Partage aléatoire de la base de données en 60 spectres(apprentissage) / 60 spectres (validation) ;Performances déterminées sur un échantillon de testaléatoire de 95 spectres.

Résultats (Moyenne pour 250 répétitions)

Noyau Erreur moyenne (test)Linéaire 3.38%Linéaire sur D2X 3.28%Gaussien 7.5%Gaussien sur D2X 2.6%

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie



215 spectres discrétisés en 100 points ; 2 classes : taux degraisse >20% et <20%.Procédure :

Projection sur une base de splines cubiques (déterminéepar leave-one-out) ;Partage aléatoire de la base de données en 60 spectres(apprentissage) / 60 spectres (validation) ;Performances déterminées sur un échantillon de testaléatoire de 95 spectres.



SVM & FDA


Nathalie V


Principe desSVM




Bibliographie



215 spectres discrétisés en 100 points ; 2 classes : taux degraisse >20% et <20%.Procédure :

Projection sur une base de splines cubiques (déterminéepar leave-one-out) ;Partage aléatoire de la base de données en 60 spectres(apprentissage) / 60 spectres (validation) ;Performances déterminées sur un échantillon de testaléatoire de 95 spectres.



SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Sommaire


2 Principe des SVM


SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Approche directe pour SVM sur dérivées

X est régulière : X ∈ H = Hm = {x : [0; 1]→ R :Dmx existe et Dmx ∈ L2 + conditions aux limites} ;

Produit scalaire : H est muni du produit scalaire

〈f , g〉H = 〈Lf , Lg〉L2 =

∫[0;1]

Lf (t)Lg(t)dt

où Lx =∑m

j=1 ajD jx avec am , 0 et les conditions auxlimites qui impliquent Lx , 0 si x , 0.

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Approche directe pour SVM sur dérivées

X est régulière : X ∈ H = Hm = {x : [0; 1]→ R :Dmx existe et Dmx ∈ L2 + conditions aux limites} ;

Produit scalaire : H est muni du produit scalaire

〈f , g〉H = 〈Lf , Lg〉L2 =

∫[0;1]

Lf (t)Lg(t)dt

où Lx =∑m

j=1 ajD jx avec am , 0 et les conditions auxlimites qui impliquent Lx , 0 si x , 0.

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Exemples d’espaces de Sobolev

H1 avec L = I + D et x(0) = 0 (Lx = 0⇒ x = ae−t etx(0) = a) ;

H2 avec L = I + D2 et x(0) = Dx(0) = 0 ;

Hm (m ≥ 1) avec L = Dm et D jx(0) = 0, ∀ j = 1, . . . ,m − 1.

Pour d’autres exemples, voir [Besse & Ramsay, 1986] et[Berlinet & Thomas-Agnan, 2004].

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie



H2 avec L = I + D2 et x(0) = Dx(0) = 0 ;



SVM & FDA


Nathalie V


Principe desSVM




Bibliographie



H2 avec L = I + D2 et x(0) = Dx(0) = 0 ;



SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

RKHS

H peut être un RKHS

Un RKHS est un espace de fonctions tel que ∃K : R ×R → H :

∀ x ∈ H , 〈x,K (t , .)〉H = x(t).

H1 avec L = I + D et x(0) = 0 est un RKHS de noyau

K (s, t) = e−max(s,t) sinh(min(s, t));

H2 avec L = I + D2 et x(0) = Dx(0) = 0 est un RKHS denoyau

K (s, t) = (min(s, t) cos(s − t) − cos(s) cos(t))/2

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

RKHS



∀ x ∈ H , 〈x,K (t , .)〉H = x(t).





SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

RKHS



∀ x ∈ H , 〈x,K (t , .)〉H = x(t).





SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

SVM fonctionnels par interpolation spline

[Besse & Ramsay, 1986]

Si H est un RKHS de noyau K alors, ∀ x ∈ H , connue auxpoints (tk )k=1,...,d , spline d’interpolationh = PVect{K (tk ,.),k=1,...,d}(x).

Application aux SVM

SVM sur (Lhn)n avec noyau G∞γ dans L2[0;1]

⇔

SVM sur (xn)n avec noyau Gdγ ◦ K

−1/2 dans Rd .

où xn = (xn(t1), . . . , xn(td)) et K = (K (ti , tj))i,j .

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

SVM fonctionnels par interpolation spline

[Besse & Ramsay, 1986]

Si H est un RKHS de noyau K alors, ∀ x ∈ H , connue auxpoints (tk )k=1,...,d , spline d’interpolationh = PVect{K (tk ,.),k=1,...,d}(x).

Application aux SVM

SVM sur (Lhn)n avec noyau G∞γ dans L2[0;1]

⇔

SVM sur (xn)n avec noyau Gdγ ◦ K

−1/2 dans Rd .

où xn = (xn(t1), . . . , xn(td)) et K = (K (ti , tj))i,j .

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Consistance directe

Théorème 2 Consistance universelleSoit (tk )k=1,...,d des points de discrétisation dans [0; 1] tels queK = (K (ti , tj))i,j=1,...,d soit inversible. Alors,

il existe une suite de points de discrétisation (τD)D≥1 telleque

τd = (tk )k=1,...,d ,∀D ≥ 1, τD ⊂ τD+1 et KD = (K (ti , tj))i,j=1,...,D est inversible,Vect{K (t , .), t ∈ ∪D≥1τD} est dense dans H ;

le SVM construit à partir de la spline d’interpolation avecune suite de régularisation (CD

n )n = O(n1−βD ),0 < βD < 1/D est universellement consistant :

limn→+∞

limD→+∞

Lfn,D = L∗

où L∗ est l’erreur de Bayes.

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Consistance directe






limn→+∞

limD→+∞

Lfn,D = L∗


SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Consistance directe






limn→+∞

limD→+∞

Lfn,D = L∗


SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Sommaire


2 Principe des SVM


SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Régression inverse fonctionnelle

Modèle ([Ferré & Yao, 2003], [Ferré & Villa, 2005])

Y = f (〈a1,X〉 . . . 〈aq,X〉, ε),

où ε y X , E(ε) = 0, f inconnue, {a1, . . . , aq} linéairementindependants.EDR = Vect{a1, . . . aq}

Caractérisation de l’espace EDR

Si, pour A = (〈X , a1〉, . . . , 〈X , aq〉),

Condition de Li ∀ u ∈ H , ∃v ∈ Rq : E(〈u,X〉|A ) = vT A ,

alors E(X |Y ) ∈ ΓX (EDR).

⇒ On choisit d’estimer a1, . . . , aq, vecteurs propres deΓ−1

X ΓE(X |Y ).

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie



Y = f (〈a1,X〉 . . . 〈aq,X〉, ε),



Si, pour A = (〈X , a1〉, . . . , 〈X , aq〉),


alors E(X |Y ) ∈ ΓX (EDR).

⇒ On choisit d’estimer a1, . . . , aq, vecteurs propres deΓ−1

X ΓE(X |Y ).

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie



Y = f (〈a1,X〉 . . . 〈aq,X〉, ε),



Si, pour A = (〈X , a1〉, . . . , 〈X , aq〉),


alors E(X |Y ) ∈ ΓX (EDR).⇒ On choisit d’estimer a1, . . . , aq, vecteurs propres deΓ−1

X ΓE(X |Y ).

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

SVM par FIR

Estimation de EDR : [Ferré & Yao, 2003],[Ferré & Villa, 2005] proposent des approchesconsistantes de l’estimation de l’espace EDR, EDR ;

Estimation de f par SVM : SVM sur PEDR(X) ;

Résultat de consistance universelle pour ce SVM : ? ? ?

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

SVM par FIR




SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

SVM par FIR




SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Simulations

Données simulées Waveform

2 4 6 8 10 12 14 16 18 20−4

−2

0

2

4

6

8

Classe 1

2 4 6 8 10 12 14 16 18 20−4

−2

0

2

4

6

8

10

Classe 2

2 4 6 8 10 12 14 16 18 20−4

−2

0

2

4

6

8

Classe 3

300 courbes (apprentissage) / 500 courbes (validation) ;

erreur calculée sur un échantillon de 500 courbes ;

10 répétitions.

RésultatsFIR-SVM SVM R-PDA FIR-N

Moyenne (test) 13,70 15,46 15,62 14,16Ecart type (test) 2,25 3,04 2,05 2,01Minimum (test) 10,20 12,20 12,60 12,00Moyenne (apprentissage) 11,73 10,17 12,47 12,37

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Simulations

Données simulées Waveform

2 4 6 8 10 12 14 16 18 20−4

−2

0

2

4

6

8

Classe 1

2 4 6 8 10 12 14 16 18 20−4

−2

0

2

4

6

8

10

Classe 2

2 4 6 8 10 12 14 16 18 20−4

−2

0

2

4

6

8

Classe 3

300 courbes (apprentissage) / 500 courbes (validation) ;

erreur calculée sur un échantillon de 500 courbes ;

10 répétitions.

RésultatsFIR-SVM SVM R-PDA FIR-N

Moyenne (test) 13,70 15,46 15,62 14,16Ecart type (test) 2,25 3,04 2,05 2,01Minimum (test) 10,20 12,20 12,60 12,00Moyenne (apprentissage) 11,73 10,17 12,47 12,37

SVM & FDA


Nathalie V


Principe desSVM




Bibliographie

Berlinet, A. & Thomas-Agnan, C. (2004).Reproducing kernel Hilbert spaces in probability and statistics.Kluwer Academic Publisher.

Besse, P. & Ramsay, J. (1986).Principal component analysis of sampled curves.Psychometrica, 51, 285–311.

Ferré, L. & Villa, N. (2005).Discrimination de courbes par régression inverse fonctionnelle.Revue de Statistique Appliquée, LIII(1), 39–57.

Ferré, L. & Yao, A. (2003).Functional sliced inverse regression analysis.Statistics, 37, 475–488.

Date post:	24-May-2015
Category:	Science
Upload:	tuxette
View:	90 times
Download:	1 times

Discrimination de courbes par SVM

Science