1
Sur l’´ equivalence entre la R´ egression Logistique ` a base de Splines et l’Apprentissage Profond Marie Guyomard 1 , Cyprien Gilet 1 , Susana Barbosa 2 , Lionel Fillatre 1 1 Universit´ eCˆ ote d’Azur, CNRS, I3S 2 Universit´ eCˆ ote d’Azur, CNRS, IPMC Contacts: [email protected] CJC-MA ´ Ecole Polytechnique Paris, France 27-29 Octobre 2021 1 OBJECTIFS • Probl` eme de classification • Capter des effets non lin´ eaires • Discr´ etiser les variables descriptives Y Y X Y Classe 1 Classe 2 Règle de décision Régression Logistique Classique Régression Logistique Segmentée Régression Logistique Splines a b a b Noeuds ⇒ Automatisation de la discr´ etisation par Deep Learning 2 R ´ EGRESSION LOGISTIQUE D´ efinition : Probl` eme de classification Y = f (X ) (1) avec Y les ´ etiquettes ({1,...,K }) et X les variables explicatives (X =(X 1 ,...,X p )). Mod` ele : P (Y =1|X )= σ (f θ (X )) = 1 1 + exp (-f θ (X )) , (2) o` u la fonction σ : R → [0, 1] est la fonction sigmo¨ ıde σ (t)= 1 1+e -t , (3) et o ` u la fonction f θ (X ) est d´ efinie par f θ (X ) := θ 0 + θ 1 X 1 + ··· + θ d X d . 3 M ´ ETHODES Splines P 0 ( X )=1 P 1 ( X )= X P 2 ( X )= X 2 P 3 ( X )= X 3 P 6 ( X )=( X - ) + P 7 ( X )=( X - ) 2 + Soit h j (X j )=[P 0 (X j ),P 1 (X j ),...,P d (X j )]. la base de splines ` a d +1 degr´ es de libert´ es de X j • Cas Univari´ e: f θ (X )= θ 0 + h 1 (X 1 ) T θ 1 + ··· + h p (X p ) T θ p • Cas Multivari´ e (p=2): f θ (X 1 ,X 2 )= ∑ d j =1 ∑ d k=1 θ j,k P j (X 1 )P k (X 2 ) R´ eseaux de Neurones Entrées X 1 X p−1 X p Couches cachées Transformations non-linéaires Sortie σ Classification D´ efinition : R´ eseau de neurones Ψ: X -→ ˆ Y X -→ σ ◦ f (L-1) θ (L-1) ◦···◦ f (1) θ (1) . avec σ d´ efinie par (2). D´ efinition : Couche du r´ eseau f (l ) θ (l ) = ρ A (l ) f (l -1) θ (l -1) + B (l ) . avec ρ une fonction d’activation. 4 APPROXIMATION SPLINES Id´ ees : • Partitionner x ∈ R p en un espace Ω en R r´ egions : Ω= {ω 1 ,...,ω R }. • Utiliser des fonctions continues et affines par morceau. D´ efinition : Splines affines multivari´ ees s[a, b, Ω](x)= R X r =1 ([a] r,· x T +[b] r )1 {x∈ω r } . (4) avec a ∈ R R×p la matrice des pentes et b ∈ R p+1 la matrice de biais. D´ efinition : Fonction Max Affine Spline (MAS) S [A, B, Ω](x)= max r =1,...,R [A] r,· x T +[B ] r (5) D´ efinition : Op´ erateurs Max Affine Spline (MASO) M [A, B ](x)= max r =1,...,R [A 1 ] r,· x T +[B 1 ] r . . . max r =1,...,R [A q ] r,· x T +[B q ] r avec A = {A 1 ,...,A q } tel que A k ∈ R R×p B = {B 1 ,...,B q } tel que B k ∈ R R . (6) Propri´ et´ e : les MASO sont toujours affines par morceau et globalement convexes. 5 R ´ ESEAUX DE NEURONES MASO Proposition : Couche MASO Pr´ eciser composition de q mas Une couche d’un r´ eseau de neurones construite ` a partir d’une compo- sition d’op´ erateurs d’activation ReLU est un MASO S [A (l ) ,B (l ) , Ω] tel que : f (l ) (z (l -1) (x)) = A (l ) [x]z (l -1) (x)+ B (l ) [x] avec A[x]=[A] r,· quand x ∈ ω r (7) Th´ eor` emes : • Ce r´ eseau de neurones est une composition de MASO et donc par cons´ equent un op´ erateur glob- alement affine spline. • Ce r´ eseau de neurones est globalement convexe respectivement ` a chacune de ses dimensions de sortie, si les poids des couches ReLU l =2,...,L sont non-n´ egatifs. 6 REPR ´ ESENTATION PARTITION La partition de l’espace d’entr´ ee de chaque couche MASO est un dia- gramme de Laguerre-Voronoi (power diagram), avec μ r le centro¨ ıde et rad r le radius : P (x) = arg min r =1,...,R kx - [μ] r,· k 2 - [rad] r . Th´ eor` eme : Partition du k e neurone MAS [μ] r,· =[A k ] r,· et [rad] r = 2[B k ] r + k[A k ] r,· k 2 2 . Th´ eor` eme : Partition d’une couche MASO μ r = ∑ q k =1 [A k ] [I -1 (r )] k ,· et rad r =2 ∑ q k =1 [B k ] [I -1 (r 0 )] k + kμ r k 2 . avec I (r )= ∑ q k =1 R k ([r ] k - 1). et [r ] k = arg max r =1,...,R [A k ] r,· x T +[B k ] r . Source : Max-Affine Splines Insights Into Deep Learning, R. Balestriero, 2021. 7 EXP ´ ERIENCES Fronti` eres des d´ ecisions : LR classique, LR Univari´ ees, LR Multivari´ ees, NN. LR Lin´ eaire LR Univari´ ee LR Multivari´ ee DN Accuracy 0.64 0.77 0.77 0.92 Accuracy 1 0.55 0.61 0.61 0.88 Accuracy 2 0.71 0.93 0.93 0.96 Couches du R´ eseau de Neurones : Couche 1, Couche 2, Couche 3. 8 R ´ EF ´ ERENCES • Hastie, Trevor and Tibshirani, Robert and Friedman, Jerome (2009).The elements of statistical learning: data mining, inference, and prediction. Springer Sci- ence & Business Media. • Balestriero, R. (2018). A spline theory of deep learn- ing. In International Conference on Machine Learning (pp. 374-383). PMLR. • Balestriero, R., Paris, S., & Baraniuk, R. (2020). Max- affine spline insights into deep generative networks. arXiv preprint arXiv:2002.11912. This work has been supported by the French government, through the UCA DS4H Investments in the Future project managed by the National Research Agency (ANR) with the reference number ANR-17-EURE-0004.
