+ All Categories
Home > Documents > Biologically plausible regularization mechanisms · HAL Id: inria-00071960

Biologically plausible regularization mechanisms · HAL Id: inria-00071960

Date post: 25-Mar-2020
Category:
Upload: others
View: 9 times
Download: 0 times
Share this document with a friend
45
ISSN 0249-6399 ISRN INRIA/RR--4625--FR+ENG apport de recherche THÈME 3 INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE Biologically plausible regularization mechanisms T. Viéville N° 4625 Novembre 2002
Transcript
Page 1: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

ISS

N 0

249-

6399

ISR

N IN

RIA

/RR

--46

25--

FR

+E

NG

ap por t de r ech er ch e

THÈME 3

INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE

Biologically plausible regularization mechanisms

T. Viéville

N° 4625

Novembre 2002

Page 2: Biologically plausible regularization mechanisms · HAL Id: inria-00071960
Page 3: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

Unité de recherche INRIA Sophia Antipolis2004, route des Lucioles, BP 93, 06902 Sophia Antipolis Cedex (France)

Téléphone : +33 4 92 38 77 77 — Télécopie : +33 4 92 38 77 65

�������������������� ������������������������������������� �!����" # �$&%���"�����# �

')(�*�+-,/.!+-0-021

3�465�798:�; <>=/?@8�A@BDC�?@EGFH=I46FD7J798LK>7JBDCM46EG=68DNEG7JBDOH8�P�NRQ6FH=S=6T�8�P�NUC�FH=S=RBDEGPVP@BW=6C�8�P

XYAZFW[\8�?^]_QS`aPVPZ8�8bcBDdSdeFHA\?�Q68�AV8�CM468�AZCM468f=Ug�h/i/jDkl; mcFonH8�7p6AZ8qjDrHrHj�; h/jqd6BDOH8�P

sut�v�wyx{z6|Dw/} 3�4SE~P�PZ?@�SQS`�BDE~79P�BW?�dSAVFHd�FHPVEG=6O�BD=�EG79d6�~8�798�=/?MBW?VE~FD=�FD�_AZ8�OH�6�~BDAZE~��B{K?@EGFH=97J8�CM4RBD=6EGPV79P�C�FH79dRB{?@EGp6�~8��$E�?@49p6EGFH�GFHOHEGCyBD�6FDde8�A@BW?VFHAVP��&�)FHAZ8�d6AV8�C�EGPV8��G`DNSC�FDAZ?@EGCyBW�7�BWd6P C�FaQ68�nH8�C�?VFHAVE~BD��dRBWA@BD798�?VAVEGCq���RBD=/?@E�?@EG8�P�N!C�FH79d6�S?V8�Q�p�`I=68�?>��FHAZ�lFD��=68��SAVFH=6P��<>=C�FD7JdS�S?@8�A�naE~PZE~FD=�NHPVEG79E~�~BDA!���RBD=/?@E�?@EG8�P&BWAV8�8��JC�EG8�=/?@��`�C�FH79d6�S?V8�Q��SPVEG=6O_EG7JdS�~8�7J8�=�K?MBW?VE~FH=SPFD��dRBDA\?@E~BD��Q6EG�e8�AZ8�=/?@E~BD��8����RBW?@EGFH=6P��$46E~CM4�Q68��R=68�AZ8�OH�6�~BDAZE~��BW?@EGFH=�d6AZF�C�8�PVPZ8�PBD�~�GFo�$E~=SOJ?VFJFDpS?MBDEG=���8��~� K>QS8��R=68�Ql8�P\?@EG7JBW?@EGFH=6P�FD�!?@468�PV8��a�6BD=/?@E�?@EG8�P��]_=68�FD�R?@468�PV8�798�?V46FaQ6P�EGP�pRBDPZ8�QqFH=9BD=E~=/?@8�OHA@BW�6BDd6dSAVFy¡�E~7JBW?VE~FH=qFW�R?@468�QSEG�e�6PVEGFH=

FHde8�A@BW?VFHA��6PV8�Q¢EG=�AV8�OH�6�~BDAVEG�yB{?@EGFH=¢798�CM4RBW=6E~PZ79P��)£UFD�~�GFo�$E~=6O�?@46EGP��¤FDAV7�S�¥BW?VE~FD=�N!?V468d6AV8�PV8�=/?�Q68�nD8��GFHd6798�=/?�Q68��R=68�PuB¦PVFH798�4SF§�¨FDdS?@EG7JBD��E~79d6�G8�798�=�?@BW?@EGFH=©FW�_PV�SCM4�BD=E~=/?@8�OHA@BW�ªFHde8�A@BW?VFHA��$E�?@4�?>��FJE~=/?V8�AV8�PZ?VE~=6O�d6AVFDde8�AZ?@EG8�P�«

¬ E¥­Y�$4S8�=��6PV8�Q�FH=�P@BD79d6�G8�Q�QRB{?MB�PV�SCM4)BWP�E~7JBDOD8_d6E ¡S8��~P�FDA�:H®¯QRBW?@B�nHFy¡�8��GP�NUE�?d6AVFonaE~QS8�PcBD=��6=�p6E¥BWPV8�QIQ6E~PZC�AZ8�?@8�EG7JdS�~8�7J8�=/?MBW?VE~FH=)FD��PV�6CM4IBD=)FDde8�A@BW?VFHA�°

¬ E~E¥­��$468�=��6PV8�Q�BWP�BI79FaQ68���FD�$p6EGFH�~FDOHE~C�BD��dS�¥BD�SPVEGp6�~8�7J8�CM4RBD=6EGPV79P�N�E�?�C�FDAVAV8LKPVd�FH=6Q6P$?@F�BJPZE~79d6�G8��GF�C�BD���¤8�8�Q6pRBDCM��Q68��6=68�QlFonD8�A_B9PV7JBD�G�!peFH�S=6Q68�Q)AV8�OHE~FD=IFD��BD=/`PV4RBDd�8�E~=SPVEGQ68�?V468�dRBDAVBD798�?@AZE~C�PZdRBDC�8W�± P_PV�SCM4²EG? 7JBy`)pe8��~EG=6�D8�Q²?@F��$4RB{?_EGP_d6AVFaC�8�PVPZ8�Q¦E~=lB�C�FHA\?@EGCyBD��C�FH�G�679=²FD��?V468

p6A@BDEG=�BD=6Q�d6AVFonaE~QS8�P�BD=uEG=/?@8�AZ8�P\?@EG=6O97JFaQ68��³FD��OH8�=68�AVBD�³FDde8�A@BW?VFHAVP�C�FHAVAZ8�PZdeFH=SQ6E~=SO�?@FPV�6CM4IB9=S8��6AZFH=RBD�ªP\?@AV�SC�?@�SAV8D�3�4S8d6AZ8�PV8�=/?_Q68�nH8��GFHd6798�=�?�EGP�E~�G�~�SPZ?@AVBW?@8�Qlp/`�PVFH798�8�¡�de8�AVEG798�=/?@P_FW��naE~PZ�RBD��79FWK

?@EGFH=�8�PZ?VE~7JBW?VE~FD=��´)µ/¶³·Z¸�¹ x{º�vD} b�8�OH�6�~BDAVEG�yBW?VE~FD=)798�?V46FaQ6P�NU®^E��e�6PVEGFH=IFDde8�A@BW?VFHA�NR»�E~FH�GFHOHEGCyBW��79F�Q68��

Page 4: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

� �$���"�����# �$����� ������������������ �!����" ��������������J���$# �$"9��)���������������$�

�� v� � � }�� 8�?V?V8IT�?V�6Q68�d6AVFDdeFHPZ8)�S=68)EG79d6�GT�798�=/?MB{?@EGFH=©Q68�79T�CyBW=6E~PZ798�PuQ68�AVTLKOH�6�~BDAVEGP@BW?VE~FD= C�FH79dRBW?VE~p6�G8�P�BynH8�C)Q68�P9FHdeT�A@BW?V8��6AZP9p6E~FD�~FHODE~���68�P���XY�G�6P9d6AZT�C�EGPVT�798�=/?yN�~8�PJC�BDAZ?V8�PJC�FHA\?@EGCyBD�G8�P9Q6� C�8�AZnD8yBD��8�=6C�F�Q68�=/?�Q68�P����RBW=�?VEG?VT�P9nH8�C�?@FDAVEG8��G�~8�P�CyBW�~C��6�~T�8�PdRBDA��~8�AVT�PV8yBW�lQ68�Pc=68��SAVFH=68�P����&=InaE~PZE~FH=IdRBDA�FHAVQ6EG=RBW?V8��6A�NUQ68�P_���RBW=�?VEG?VT�PcPVEG7JEG�~BDE~AZ8�PPVFH=/?�C�BD�GC��6�GT�8�Pq8��JCyBDC�8�798�=/?98�=¢E~79d6�GT�798�=�?@BD=/?9Q68�P�T����RBW?VE~FD=6PqBD��¡ Q6T�AVE�nHT�8�PqdRBDA K?@EG8��G�~8�P��a�SE³Q6T��R=6EGPVPV8�=/?^Q68�P�d6AZF�C�8�PVPZ�6P$Q68_AZT�OH�6�~BDAZE~PVBW?@EGFH=�d�8�AV798�?V?MBW=�?�Q�� FDpS?@8�=6E~A�QS8�P8�PZ?VE~7JBW?VE~FD=6PcpSE~8�=)Q6T��R=6EG8�P�Q68�C�8�Pc���RBD=/?VEG?VT�P����� �6=68�Q68 C�8�P$79T�?@4SF�Q68�P�NREG=/?@AVFaQ6�6E�?@8�dRBWA$bcBynaE¥B{?$d6�6EGP�Q6T�nD8��GFHd6d�T�8�dRBDA$®^8�OHFH=6Q

8�?��IBDP\K���BW�~�GE~CWNS8�PZ?�p6BDPVT�8^PV�SA��6=68^BDd6d6AZFy¡SEG7JBW?@EGFH=�EG=/?@T�ODA@BD�G8^Q68c��� FHd�T�AVBW?@8��6A�QS8^Q6E�� K�¤�6PVEGFH=q�S?VE~�GE~PZT�dRBDA��~8�79T�CyBD=6EGPV798$Q68�AZT�OH�S�¥BDAZE~PVBW?@EGFH=����&=JPZ�6E�nDBW=�?�C�8�?Z?@8��¤FHAZ7�6�~BW?VE~FH=³N�~8$d6AZT�PV8�=/?�Q6T�nH8��~FHdSde8�7J8�=/?�Q6T��6=6EU�6=68$E~79d6�GT�798�=�?@BW?@EGFH=u8�=����68��~���68cPVFHA\?@8$FHdS?VE~7JBD�G8Q�� �S=�?V8��ªFHd�T�AVBW?@8��6A�E~=/?VT�OHAVBD��By`/BD=/?cQ68���¡�d6AVFHdSAVEGT�?@T�PcEG=/?@T�AV8�PZP@BD=/?V8�P�«

¬ E¥­cQRBW=6P_�G8qCyBDP_QS8qQ6FH=6=6T�8�P T�CM4RBD=/?@EG�~�GFH=6=ST�8�P ¬ dSE�¡�8��GP�Q�� �6=68qEG7�BWOH8�FH�lnDFo¡�8��~PQ�� �S=68cEG7JBDOH8$nHFH�G�679EG�a�S8o­�N�C�8�d6AVFaC�T�Q6T�de8�AV798�?�Q�� FHpS?@8�=6EGA��6=S8^EG7JdS�~T�7J8�=/?MBW?VE~FH=�Q6E~P KC�AV5�?@8�=6FH=�p6E~BDEGPVT�8�Q68���� FHd�T�AVBW?@8��6A�N

¬ EGE¥­�QRBW=6P��G8JCyBDP�Q68J�¥B�79F�Q6T��~EGP@B{?@EGFH=¢Q68J79T�CyBW=6E~PZ798�P�p6EGFH�GFHOHEG���68�798�=/?d6�¥BW��KPVEGp6�~8�P�N�C�8��¥B_C�FHAVAZ8�PZdeFH=SQJPZE~79d6�G8�798�=�?��^�S=JC�BD�GC��6��EG?VT�A@B{?@E��e�GFaCyBD�aQ6T��6=6E6QRBD=SP&�6=qde8�?@E�?nHFHEGPVEG=RBDOH8�Q68 �¤FHAZ7J8 ���68��~C�FH=6���68��9��� E~=/?@T�AVEG8��6A�Q68���� 8�PVdRBDC�8Q68�P$dRBDA@BW7J5�?@AZ8�P�NC�8��a�SE�8�= ?@BD=/?J�a�S8�?V8��-N�d�8��S?\K���?@AV8�AZ8��GE~T �²C�8��a�SE�8�PZ?�CyBW�~C��6�~T�BD� PV8�E~=�Q�� �6=68

C�FH�GFH=6=68�C�FHAZ?VE~C�BD�G8�Q6�qC�8�AZnH8�BD��N��¤FH�6AZ=6E~PZP@BD=/?Y�!�_�6=979F�Q65��~8�EG=/?@T�AV8�PZP@BD=/?�Q�� FHd�T�A@B{?@8��SAVPBDPVPZ8���OHT�=6T�A@BD�a¡�8�?�C�FDAVAV8�PVd�FH=6QRBW=�?��9�6=68�PZ?VAV�6C�?@�6AZ8�=S8��6AZFH=RBD�G8D��ª8ldSAVT�PZ8�=/?�79T�C�BD=6EGPV798²8�P\?�E~�G�G�6PZ?VAVT²dRBDA����68��G���68�P�8�¡�d�T�AZE~8�=6C�8�P�Q"� 8�PZ?@EG7JBW?@EGFH=

n�EGPV�S8��G�~8�Q6��7JFD�SnH8�7J8�=/?y�# ¹ w§v · |%$ � v�} �)T�?V46FaQ68)QS8IAVT�OH�6�~BDAVEGP@B{?@EGFH=�N�]_deT�A@BW?V8��6AJQ68)Q6EG�e�6PZE~FH=³N��)F�QS5��G8�Pp6E~FD�~FHODE~���68�P

Page 5: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

������������� ��������������������������� �!��"�����#��$%��&!����')(*� � +,��'-����(.� :

/ 0 "9���!� ������!����"

1 ¹ xow32-|Hz $ ��z54�vX�8�AZC�8�dS?@�RBW��d6AZF�C�8�PVPZ8�P�N�EG=¢C�FH79d6�S?@8�A�FHA�p6EGFH�~FDOHE~C�BD�Yn�EGPVEGFH=�N&AZ8����6EGAV8�?V468�C�FH79d6�S?@B{K?@EGFH=�FD�76 7JBDdSP98^FD�����RBD=/?@E�?MBW?VEGnD8 nDBW�~�68�P��&3�468 AZ8�?VE~=RBW�³EG7�BWOH8_E�?@PV8��G��EGP�B:6 AZ8�?@EG=6FD?VFHd6EGC7�BWd;8M«��¤FHA&8yBWCM4�C�8��G�RFD�U?@468$AV8�?@EG=RB FHA&8yBWCM4JdSE�¡�8��UFD�U?V468$E~7JBDOH8�?V468�AZ8$E~P&4RBynD8^B^nWBD�G�68C�FHAZAV8�PZdeFD=6Q6EG=6O�?@F?V468_EG7JBDOH8_EG=/?@8�=SPVE�?>`�BW?�?V46EGP��~FaCyB{?@EGFH=��&3�46EGP�nWBD�G�68_EGP$B�nH8�C�?@FDAVE~BD�nDBW�~�68��¤FHA^C�FH�~FDA^EG7�BWOH8�P�� ± PZ?V8�dl�¤�6A\?@468�A�N�EG=²8yBDAZ�G`/K n�EGPVEGFH=�Ne?@468�AZ8�?VE~=RBW��EG7�BWOH8�C�FD=�K?@A@BWPZ? EGP_C�FD7JdS�S?@8�Q B{? 8yBDCM4²�GFaCyBW?VE~FH=³NªBD�G�~Fo�$EG=6Ou?@F�Q68�?@8�C�?�EG7�BWOH8�8�QSOH8�P AZ8��~BW?@8�Ql?@FpeFH�S=6QRBDAZE~8�Pp�8�?>��8�8�=�EG7JBDOH8�BDAV8�BDP���3�468�AZ8�BDAZ8�8�QSOH8�Q68�?@8�C�?@FDAVP�EG=�p�FD?@4¢BDAZ?VEG�RC�E¥BW�n�EGPV�6BD��P\`aPZ?@8�79P ¬ PZ8�8�8W� O6�=<?>orA@��¤FHA�BJOH8�=68�A@BD�!EG=�?VAVFaQ6�6C�?@EGFH=U­$BD=6QlEG=)?V468�pSA@BDEG=l=68���KAVFH=RBW��P\?@AZ�6C�?V�6AV8�P�E~=/nDFH�GnD8�Q�EG=�naE~PZE~FD=�de8�AVC�8�dS?@EGFH= ¬ 8D� O6��<?>yhA@��¤FHA�BPVEG79d6�G8^FonH8�AZnaE~8��c­��<>=�peFD?V4uCyBWPV8�P�N6PV�SCM4�7JBDdSP�8�=6C�F�Q68^=6FD?�FD=6�G`J?@4S8_C�FH=/?VA@BDP\?$7�BWOH=6E�?@�6Q68WNSp6��?�PV8�nH8�AVBD�FD?@468�A_C��S8�P�«^C�FH=/?@AVBDPZ?_FHAVEG8�=/?MB{?@EGFH=²AV8��¥BW?V8�Q²?@F�8�Q6OH8�FDAVEG8�=/?MBW?VE~FD=�N�PV46BDde8qC��6AZnWBW?V�6AV8WNp6E~=SF�C��6�¥BWA�QSE~PZdRBDAVE�?>`�AV8��¥BW?V8�Q�?@F9?@468 naE~PZ�RBD�!Q68�d�?@4�NUC�FD�~FHA$C��68�P�N�?V8�79deFDA@BD�ªQ6EGPVd6BDAVE�?>`pe8�?>��8�8�=�?>��FqC�FH=6PZ8�C���?@E�nH8�E~7JBDOD8�P�EG=�AV8��¥BW?VE~FD=��$EG?V4unaE~PZ�RBD��79FD?VE~FH=�Q68�?V8�C�?VE~FD=�N68�?VCD�G�B �6CM4�7JBDd6P�BDAV8c=6FD?�FH=6��`�dRBWA@BD798�?V8�AZE~��8�Q�p/`�AZ8�?VE~=6FW?@FHd6EGC^�GFaCyBW?VE~FH=SP�Nap6�S?�BW�~PZF��6PVEG=6O:H®��GF�C�BW?@EGFH=6P�NHFHA!dRBDA@BW7J8�?@8�AVEG��8�Q9p/`�FD?@468�A�dRBWA@BD798�?V8�AZP�PV�6CM49BWP�FHAVEG8�=/?@BW?@EGFH=�NHAZ8�?VE~=RBW�nH8��GFaC�E�?>`HNU8�?VCD�G�

C.D µ)E z6xow32¤z $GFH2�I µ x µ;J w32-z $LK�M"!zSw%2 ¹�JONPE FQKSR�z54T4!x ¹ zR| D<>=²C�FH79d6�S?V8�A_naEGPVEGFH=�NªBuAZ8��G8�nWBD=/?�BD=6Q²8��JC�EG8�=/?�?@468�FHAZ`)E~P^=6Fo� BynWBDEG�¥BDpS�~8�AZ8�O/BWAVQ6EG=6O?@468�QS8��R=6E�?@EGFH=JBD=6QqC�FH79d6�S?@BW?@EGFH=qFD�UPZ�6CM4�7JBDdSP�FD�U���RBD=/?@E�?MB{?@E�nH8�nWBD�~�S8�P ¬ PZ8�8�8W� O6�U<�>V@�¤FHA&B Q6EGQRBDC�?VE~C�EG=�?VAVFaQ6�6C�?@EGFH=JBDpeFD�S?&?@468U6 B{¡�E~FH7JBW?VE~��BW?@EGFH=;8�FD��?@46EGPYdRBDA\?YFD�³C�FH79d6�S?V8�An�EGPVEGFH=U­L�&3�46EGP��¤FHAV7JBD�GE~PZ7f=6FD?�FD=6�G`Jd6AZFon�EGQ68�P$BC��G8yBDA�pRBDPZE~C_FW�76>�$4RBW?�EGP�?@F�p�8^QSFH=68�8¬ E-� 8W��AV8����6EGAV8�798�=/?@P�E~=�FHAZQ68�Aq?@F²46BonD8)C�FH468�AV8�=/?�BD=6Q�C�FD=6PVEGPZ?V8�=/?�QS8��R=6E�?@EGFH=6P@­9pS�S?BD�~PZFlFD�U6>46Fo��?@FIQSFlEG?98�PVEG=6C�8u?V468�?V468�FHA\`�EGP8��³8�C�?VEGnD8�EG=�?V468�PZ8�=6PZ8u?@4RBW?8��JC�EG8�=/?E~79d6�G8�798�=/?@BW?@EGFH=6P�7JBo`©pe8¦Q68�AVE�nH8�Q ¬ PZ8�8¦8D� O6�W< j�@_�¤FHA�B¢AZ8�C�8�=/?)?VAV8yB{?@EGPV8¦FH=�?@46EGPPV�6p�[\8�C�?M­��3�4S8X6 �$4RBW? EGP_?@F�p�8qQ6FH=S8�8�~8�nH8��&EGP_�¤FHAZ7�BW�~EG��8�Q�EG=²?@8�AV79P FD��BuC�AZEG?V8�AVEGFH=?@F²79E~=SE~79EG��8�BD=6Q�?@4S8Y6 46Fo� ?@F²Q6F¦E�?8��~8�nH8���EGPqAV8��¥B{?@8�Q�?VF¦?V468DNYPZF�C�BD�G�~8�Q�N �Y�S�~8�A\K�!BWOHA@BD=SOH8)8����RBW?@EGFH=6P��$46E~CM4 BD�G�GF§� ?VF¢EG7JdSAVFonH8²BW=©E~=SEG?VE¥BD��OH�68�PVP�FD�^?@468)PVFH�G�S?@EGFH=BD=6Q OH8�?JC��GFHPZ8�Aq?@F¦?@468�FHd�?@EG7�BW��PVFH�G�S?@EGFH=�� ± ?�Bl?@8�CM4S=6E~C�BD���~8�nH8��-N�BDP9AZ8�naE~PZEG?V8�Q©EG=?@46EGP$dRBDd�8�A�N�?@468�PV8����RBD=/?@E�?@EG8�PcBDAV8 8��JC�EG8�=/?@��`�C�FH79d6�S?V8�Q��6PVEG=6OJE~79d6�G8�798�=�?@BW?@EGFH=6P�FD�dRBDAZ?VE¥BW��Q6E��³8�AV8�=/?VE¥BD��8��a�6BW?@EGFH=6P��$46EGCM4IQ68��R=68�AV8�OH�6�~BDAVEG�yBW?VE~FD=)d6AZF�C�8�PZPV8�PcBD�G�~Fo�$EG=6O9?@F

ZTZ\[�],^�_V`�a

Page 6: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

h ����� �����%�������

FHpS?MBWE~=���8��~� K>Q68��R=68�Qq8�PZ?VE~7JBW?VE~FD=6P�FD�6?V468�PZ8����RBD=/?VEG?VE~8�P��&3�46EGP�d�Fo��8�AZ�¤�6��7J8�?@46FaQ6FH�GFHOD`E~P�BD�GPVF�nH8�AZ`9OH8�=68�AVBD�RE~=9?@4S8�PZ8�=6PZ8c?V4RBW?�B �¥BWAVOH8�nWBDAVEG8�?>`�FD��C�FH79d6�S?MB{?@EGFH=RBD�Rd6AZFHp6�G8�79PBDAV8 PZFH�GnWBDpS�~8��$EG?V46EG=�?V46E~P��¤AVBD798���FHAV� ¬ PV8�8�8W� O6� <�NRiA@ª�¤FDA$B9AZ8�naEG8��c­��

� v�2 J ����µ �x ¹�J z $ �)µ w ¸�¹ x�� N���� R � ¹ º µ $-v<>= p6EGFH�GFHOHEGCyBD�_naEGPVEGFH=¯79F�QS8��GE~=6OSN_?@468 PVE�?@�RBW?VE~FD= EGP)Q6FD7JEG=RBW?V8�Q p�` ?V468 EGQ68�B ?@46BW?6 C�FDAZ?@EGCyBW��7JBDd6PcC�FaQ68nD8�C�?VFHAVE~BD��dRBDA@BW7J8�?@AZE~C��a�6BD=/?@E�?@EG8�P�BDAZ8C�FD7JdS�S?@8�Q²p�`)=68�?>��FHAZ�FD� =68��6AVFH=SP98MN$7JBDEG=6��`�=S8��6AZFH=RBD�c=68�?>��FHAV��P �{K �¥B��cFHd��R8��GQ ¬ 8W� OS� <?>>�@��¤FHA�B�AV8�C�8�=/?AV8�naEG8��c­L� B �6CM4�79FaQ68��GP9BD�G�~Fo� ?@F¦BD=RBW�G`a��8�EG=�Q68�?@BDEG�~P�?V468�p6EGFH�~FDOHE~C�BD��PZ�6p6P\?@A@B{?@8�FD�PV�6CM4�C�FH79d6�S?@BW?@EGFH=6P ¬ 8W� OS� <��@ ­LNaEG=JFD?@468�A&��FHAZQ6PY?@F�A@BDEGPV8�8��JC�E~8�=�?�4/`adeFD?V468�PZ8�P�BDpeFD�S?6 46Fo� EG?qEGP9Q6FH=68#8M� ± ��?@8�AZ=RBW?VEGnD8�Pq?@Fl?V468�PZ8�79FaQ68��GPJBD�GPVF¦8�¡�EGPZ? ¬ 8W� O6� < :Dr�@��$468�AV8�BPVd6EG�D8�C�FH79d6�S?MB{?@EGFH=RBD��7JFaQ68���E~PC�FH=6PZE~QS8�AV8�QU­�� B �6CM4�79FaQ68��GP9BDAV8�8�E�?@468�A�pRBDPZ8�Q�FH=PVFH798H6 BDQ�K>4SF�C#8�7J8�CM4RBD=6EGPV79P�N_79FHAV8)d6AV8�C�EGPV8���`�PZde8�C�E��RC²Q68�PZC�AZE~dS?VE~FD=6P�FD��=68��6AVFH=6BD�C�FH=6=S8�C�?VE~FD=6P��$4SE~CM4�BDAV8U6 dS�¥BD�SPVEGp6�~8#8$AV8�O/BDAZQ6E~=SO�FH=S8�FDAYBD=6FD?V468�AYFHd�8�AVBW?@EGFH= ¬ 8W� O6� <�>yhA@�¤FHA&8�Q6OD8cBW=6Q�QSE~PZdRBDAVE�?>`9CyBW�~C��6�¥B{?@EGFH=6PM­&FHA&79FHAZ8cBWp6PZ?VA@BDC�?�798�CM4RBD=6EGPV79P ¬ 8D� O6� < j;>DNaj���@�$468�AZ8)BlC�FH79d6�S?@BW?@EGFH=RBD��Q68�PZC�AVEGdS?VE~FH= FD�c8yBDAZ�G`/K n�EGPVEGFH= BD=6Q�79FD?VE~FH=�C�FH79d6�S?MB{?@EGFH=6PE~=l?V8�AV79P FD��BDQ6BDdS?@E�nH8q�GEG=68yBDAc�R�G?V8�AZE~=6O�EGP_d6AZFHdeFDPV8�QR­�� ± ��?@46FH�SOH4l?@468�PV8JBDd6dSAVF/BDCM4S8�PBD�~AZ8yBDQ�`�BW�~�GFo� B�Q68�8�d��6=6Q68�AVP\?MBD=6QSE~=6O9FD�³�$4RBW?�EGP�d6AZF�C�8�PZPV8�Q�EG=uEG7Jd�FHA\?MBD=/?�BWAV8yBWP�FD�?@468�pSA@BDEG=�NH?@4S8�AV8�E~P&=6F^C��G8yBDA&�GE~=S���$E�?@4�?@4S8�C�FH79d6��?@8�A�naEGPVEGFH=JBD�GOHFHAVE�?@4S7JP�7J8�=/?@EGFH=68�Qpe8��¤FHAV8W�

� 2�$2ºT2 J�� z $!2 J ��t µ w ¸�µ�µ"J E FQK z J º ���

B �6CM49B_�GE~=6�UND��FH�6�GQ9E~=SQ68�8�QJ46BonD8�PV8�nH8�A@BD�RBWQSnWBD=/?MBDOH8�P�N/d6AZFon�EGQ6EG=6O�B^798�?V46FaQ6FH�GFHOD`�?@FAV8��~BW?V8�?V468 6 �$4RBW?�EGP�?VF�p�8cQSFH=68�8$BD=6Q�?V468 6 46Fo��?VFQ6F�E�?8$�G8�nD8��GP�BD=6Q�BD�GPVFdSAVFonaE~Q6EG=6OB�nH8�AZ`uOD8�=68�A@BD��C�FH79d6��?MBW?VE~FH=6BD�e�¤AVBD798���FHAV�9�¤FHA�PZ�6CM4�CyBW�~C��6�¥B{?@EGFH=6P�� ± PZ?@8�du�¤�6AZ?V468�A�NX�® � C�BD�~C��6�~BW?@EGFH=6P�AZ8�OH�S�¥BDAZE~��8�?@4S8�EGA�E~=Sd6�S?yN&E-� 8D�ld6AZFon�EGQ68�B���8��~� K>Q68��R=68�Q�BD=SQ¢PZ?@B{Kp6�~8q8�PZ?VE~7JBW?VE~FH=²8�nH8�= EG=²?@468�C�BDPV8qFW��=SFHE~P\`lFHA^dRBDAZ?VE¥BW�~��`IQS8��R=68�Q Q6BW?MBS��3�4RBW=6��P_?@F?@46EGP d6AVFDde8�AZ?>`HN!BD�GOHFHAZEG?V4679P 4RBynH89d�8�AZ�¤FDAV7JBD=6C�8�P�C��GFHPV8�A ?@Fu?@4SFHPV89FD��p6EGFH�GFHOHEGCyBD��P\`aP\K?@8�79P&?@46BD=JBDAZ?VEG�RC�E¥BW�6=68��SAVFH=RBW�6=68�?>��FHAZ�aP���£U�SAZ?@4S8�AV79FHAZ8DNH?V468��~EG=6���8���BW=�?Y?VF p6�6EG�~Q��FH�S�~Q�d6AVFonaEGQ68�BY6>C�FH7979FH=¦�¤A@BD798���FHAZ� 8qpe8�?>��8�8�=¢C�FH79d6�S?MB{?@EGFH=RBD�&BW=6Q pSE~FH�GFHOHEGCyBW�n�EGPVEGFH=uEG=�FDAVQ68�AY?VFQ68�nH8��~FHd�C�FH7979FH=�79FaQ68��GP�BW=6Q�p6EGFH�GFHOHEGCyBD�RdS�¥BD�SPVEGp6�~8_BD�~ODFHAVE�?@4679P���cFo��8�nH8�A�N!p6�6EG�~Q6EG=6O�PV�6CM4 B��~EG=6�lEGP�=6FD?�EG797J8�Q6E~BW?@89p�8�CyBW�6PV8q?@4S8�AV89EGP_`H8�?�=SF�C��~8�BDA�6=6Q68�AVPZ?@BD=6Q6EG=6O9FD�!46Fo� PV�6CM4�C�FD7JdS�~8L¡�Q6E��³8�AV8�=/?VE¥BD�³=6FH=�K �~EG=68yBWA�798�?@4SF�Q6P�C�FH�6�GQ�C�FHA K

���TZ����

Page 7: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

������������� ��������������������������� �!��"�����#��$%��&!����')(*� � +,��'-����(.� k

AV8�PZdeFD=6Q?@Fc=68��SAVFH=RBW��798�CM46BD=6EGPV79PYBD��?@46FH�SOH4?@4S8����68�P\?@EGFH=q4RBDP�pe8�8�=qBW�~AZ8yBDQS`�AVBDE~PZ8�Q<�> �aN�jWh�@2�

� � 4 $ µ � µ;J w32 J � E F KfzRv ���

<>=�FHAVQ68�A�?VF�p6�6EG�~Qu?V46EGP��~EG=6�UNS��8_7�SPZ?$4RBynH8�B�7J8�?@46FaQu�$46EGCM4�BD�~�GFo�$P�?@FE~79d6�G8�798�=/??@468�C�FH79d6��?@8�Acn�EGPVEGFH=ld6BDAZ?VE¥BD��Q6E��e8�AV8�=/?@E~BD��8����RBW?@EGFH=6P�N³�6PZE~=SOu=68�?>��FHAZ�aP FW��=68��6AVFH=6BD��6=6E�?@P�� ± P!EG?!�$EG�~��7JBDQ68�8�¡�d6�GE~C�EG?�E~=�?@468�PV8����68��-NH?@468�Q6E��JC��6��?�d�FHEG=/?�EGP!?V468�BD=6EGPVFD?VAVFHd6EGCQ6EG�e�6PZE~FH=�FHd�8�AVBW?@FDAVP�EG79d6�G8�798�=/?MB{?@EGFH=�� � FH=6C�AZ8�?V8���`HNRPV�SCM4��S=6EG?VP�7�6P\?$E~=/?V8�OHAVBW?@8^?V468E~=S�¤FDAV7JBW?@EGFH=9EG=�B p�FH�6=6Q68�Q�=S8�EGOH4�peFHAZ46FaF�Q9PVF�?@46BW?&?@468$C�F�FHd�8�AVBW?@EGFH=9p�8�?>��8�8�=�?@468�PV8�6=6E�?@P�BD�G�GF§� B�OH�GFHpRBW�eC�FH79d6�S?MB{?@EGFH=�FD�ª?@4S8_���RBD=/?@E�?MBW?VEGnD8�7�BWd��Y£R�6AZ?V468�AZ7JFDAV8DNa?@Fqp�8p6E~FD�~FHODE~C�BD�~��`ldS�¥BD�SPVEGp6�~8WN�PZ�6CM4�798�CM4RBD=6EGPV79P�7�6P\?p�8qpRBDPZ8�Q�FH=¦PVEG7JdS�~8J�~FaCyBW���GE~=68�BDA�¤8�8�QSpRBDCM� < �SN>>V@ �!<>=�FD?@468�A���FDAVQ6P�N{��8Y7�6P\?�dSAVFonaE~Q68�BG6 d6BDAZ?VE~C��~8&EG79d6�~8�798�=/?MBW?VE~FD=;8YFD�PV�6CM4�=��6798�AVEGCyBW�ªC�FH79d6�S?@BW?@EGFH=6P�� B �6CM4)B�7J8�?@46FaQ�N6�SPV8�Q�EG=��6�6E~Q�QS`a=RBW7JEGC�P�C�FD7JdS��K?MBW?VE~FH=J4RBDPYp�8�8�=�EG=�?VAVFaQ6�6C�8�Q�p/` �ª8�FD=RBDAVQ < jDrA@R�¤FH�G�~Fo��8�Q�p�`Jb�BynaE¥BW?�BD=6Q��IBDP K ��BD�G�~EGC< jHk%@YBD=6Q¦Q68�nH8��~FHd�8�Q p/`¦®^8�ODFH=6Q BD=6Q �IBDP K ��BD�~�GEGC < k�@2�< ?�EGP�pRBDPZ8�Q�FH=�BD=²E~=/?V8�OHAVBD�BDd6d6AZFo¡�EG7JBW?@EGFH=uFD�³?@468cQ6EG�e�6PZE~FH=�FHde8�A@BW?VFHA��6PV8�Q�E~=�?V468^AZ8�OH�S�¥BDAZE~��BW?@EGFH=u798�CM4RBD=6EGPV7��3�4S8�OHF/BW�aFW�S?@4SE~P�dRBDd�8�A!E~P!?@F^QS8�PVC�AVEGpe8�46Fo��C�FH79d6�S?V8�A!n�EGPVEGFH=�d6BDAZ?VE¥BD��Q6E��e8�AV8�=/?@E~BD�

8����RBW?VE~FH=SP�C�BD=�pe8�EG7JdS�~8�7J8�=/?@8�QI�6PVEG=6OJ=68�?>��FHAV��PcFD��=S8��6AZFH=RBD�ª�6=SEG?VP��

� D zSwY2-vqw D µ 4�z54 µ xuzSt ¹ ªw£UFD�~�GFo�$E~=6Oq?V46E~P�?VA@BDCM�UNUE~=�?V468�=68�¡a?cPV8�C�?@EGFH=�N6��8BWAV8 OHFHEG=6Oq?@F9AZ8�naE~PZEG?�?@4S8�C�FH79d6�S?V8�An�EGPVEGFH=²dRBWAZ?@E~BD��Q6EG�e8�AZ8�=/?@E~BD��8����RBW?VE~FH=¦798�?V46FaQ6FH�GFHOD`�E~=l?V468�C�BDPV8qFD�&nD8�C�?@FHAZE¥BD��7JBDd6PBD=6Q�BD�GPVF�Q6E~PZC��6PZP�4SF§� EG?�7JBy`²p�8JOD8�=68�A@BD�GE~��8�Q�?@F�=6FH=�K �~EG=68�BDA C�FHA\?@EGCyBD�&7JBDdSP�C�FH7�Kd6�S?MB{?@EGFH=6P��� 8)?V468�=©BDAV8)OHFHEG=6O ?VF�AV8LK>Q68�AVE�nH8²BW=�EG7JdSAVFonH8�Q nD8�AZPVEGFH=�FD�_?V468l®^8�OHFH=6Q©BD=6Q

�IBDP\K���BW�~�GE~C�7J8�?@46FaQ�N�C�FH=SPVEGQ68�AZE~=6O BlPVFD7J8�46Fo� FHd�?@EG7�BW��E~79d6�G8�798�=�?@BW?@EGFH= FD��PV�6CM4BD=�E~=/?@8�OHA@BW�ªFHde8�A@BW?VFHA��$E�?@4�?>��FJE~=/?V8�AV8�PZ?VE~=6O�d6AVFDde8�AZ?@EG8�P�«

¬ E¥­Y�$4S8�=��6PV8�Q�FH=�P@BD79d6�G8�Q�QRB{?MB�PV�SCM4)BWP�E~7JBDOD8_d6E ¡S8��~P�FDA�:H®¯QRBW?@B�nHFy¡�8��GP�NUE�?d6AVFonaE~QS8�PcBD=��6=�p6E¥BWPV8�QIQ6E~PZC�AZ8�?@8�EG7JdS�~8�7J8�=/?MBW?VE~FH=)FD��PV�6CM4IBD=)FDde8�A@BW?VFHA�°

¬ E~E¥­��$468�=��6PV8�Q�BWP�BI79FaQ68���FD�$p6EGFH�~FDOHE~C�BD��dS�¥BD�SPVEGp6�~8�7J8�CM4RBD=6EGPV79P�N�E�?�C�FDAVAV8LKPVd�FH=6Q6P^?VF�B�PZE~79d6�G8q�~FaCyBW�!�¤8�8�Q6pRBWCM�IQ68��R=68�Q¦FonH8�A�B�PV7JBD�G��p�FH�6=SQ68�Q²AZ8�OHEGFH=²EG=6PVEGQ68?@468�dRBDAVBD798�?VAVEGC�PZdRBDC�8D�� 8_�R=RBW�~��`u�$EG�~�ªEG�~�G�6P\?@A@B{?@8 FH�6A�QSE~PZC��6PZPVEGFH=Ip/`�PZFH798�8L¡�de8�AVEG7J8�=/?@P�FD��n�EGPV�6BD�ª79FWK

?@EGFH=�8�PZ?VE~7JBW?VE~FD=��

ZTZ\[�],^�_V`�a

Page 8: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

i ����� �����%�������

�)¹ wozSw32 ¹�J v � 8l�$AVE�?@8 ��� ��& ��� ��BD=6Q ( ��&!�#��� � ��EG=�peFH�GQ �~8�?V?V8�AVP�N^7JBW?VAVEGC�8�P�p�8�EG=6O�$AVE�?V?@8�=��$E�?@4�CyBDd6E�?MBW�/�~8�?V?@8�AVP�BD=6Q�PVCyBW�¥BDAZP�EG=E�?MBW�~EGCD�!3�468�Q6�RBD��FD�6B����RBD=/?VEG?>`���E~P!AV8�d�KAV8�PZ8�=/?@8�Q�BDPYE�?@PY?@A@BW=6PVd�FHPV8����!N/?@4S8�QSFD?ZK d6AVFaQ6�6C�?�p�8�?>��8�8�=�nH8�C�?VFHAVP�pe8�E~=SO��$AVE�?V?V8�=�BDP������� ��8^AV8�dSAV8�PZ8�=/?�?@4S8_C�FH79d�FH=68�=�?VP�FD�!B7JBW?VAVE ¡uFHA�B�nH8�C�?VFHA��6PVEG=6OqPZ�6de8�AVPZC�AVEGdS?VP�N8D� O6�~«���� ���������������������

B E~79EG�¥BDAZ�G`���8_�$AZEG?V8 & ��',�%��� ��E~=�p�FH�~Q��G8�?Z?@8�AZP��$EG?V4)C�FonDBWAVE~BD=/?�BD=6Q�C�FD=�?VA@BynWBDAVE~BD=/?E~=6QS8�¡�8�PY�$AVE�?V?V8�=�BDP&E~=SQ6E~C�8�P�BD=6Q98�¡�d�FH=68�=�?�N�AZ8�PZde8�C�?@E�nH8��G`D��£RFHA�E~=6P\?MBD=SC�8DN�?@4S8��¤FH�~�GFo��KE~=6O��:� ��'7� ��� ���_PZ`a7�peFH��� �!"� E��$#%�'&�?@468�=)(�8��~PZ8+*SN!4RBDP�C�FonWBDAZE¥BD=/?�E~=SQ68�¡)#cBD=6QC�FH=/?@AVBynDBWAVE~BD=/?�EG=6Q68L¡,&R��<>=9?@46EGPYC�FH=/?@8L¡a?yNaB,-'.+/�7JBW?VAVE ¡102�!3�4#$�'(65758/$��&9�'(:5;5<- EGPB >�K C�FonWBDAVE~BD=/?>= >�K>C�FH=/?@AVBonWBDAZE¥BW=�?�?@8�=6PVFDA�� ± ��?@46FH�SOH4�NU?@468�6 �&E~=SPZ?@8�E~="8=SFD?MBW?VE~FD=lBD� K�~Fo�$PYE~79d6�GEGC�E�?�PZ�6797�B{?@EGFH=6P�FD�e?V8�=6PZFHAYE~=SQ68�¡�8�P�N�E�?�BDd6d�8yBDAZPYC��G8yBDAZ8�A�N�468�AV8WN�?VF�8�¡�d6�GE~C�EG??@468�PV8�PV�6797JBW?@EGFH=6P��£RFHA�nD8�C�?@FHA$FD��E~=/?V8�OH8�AcEG=6Q6EGC�8�P@?���A? �CB�B�B ?ED6�GFIH D ��8��$AVE�?@8W«J ? J �K? ��LMB�B�BNL ?EDqBD=6QO?QPR�K? � P B�B�B ?ED3PPVF9?@4RBW?���8�CyBD=��$AVE�?@8�C�FH=6C�EGPV8��G`�«�ES+�M� SUT� B�B�B ��S�VD BD=SQXW�SY[Z � \�] ^�]`_\�a ^ TT"bcbcb \�a ^ VV�$46E~�G8 ?@468�3�By`��GFHA�8�¡�dRBD=SPVEGFH=)FW�&B��¤�6=6C�?@EGFH=dfe:g Dih g p�8�C�FD7J8�P�«djk�j�Q�ldjk� � � Lnmpo q S q r � \ ^NsS:t �fuv� � � S Lnw o d�$468�AZ8�?V468 AV8�7�BWE~=6QS8�A w>x d�7JBy`�p�8_�$AVE�?V?@8�=I�6PZE~=SO�BD=�EG=/?@8�ODA@BD���¤FHAZ7�«w o dy� m q S q r o{z � o{z �S:t%|~} ���c� � �Xu)� � ��S��(�u��C� o W�S�dj � ��L �" �pu�� � �����R�� 8�BD�~PZF�C�FH=6PVEGQ68�Ac?@4S8 B FHp�FH�G8�n��¤�6=SC�?@EGFH=)PVdRBDC�8"���{� �9kg D �$dSAVFonaE~Q68�QI�$E�?@4)?V468

=6FHAV7�« J�J Z J�J �{� � � PV�6d ���3� �3�Q� PV�SdI8�PZP q S q r � � YU��� V J W�S Z ��� J ��$468�AZ8 PV�6d)8�PVP Y �$k�j��E~P�?V468 PV7JBD�G�G8�PZ?�C�FH=6PZ?@BD=/?yN6E���BD=/`HN6�¤FHA��$46EGCM4X�$k�j��E~P�p�FH�6=SQ68�Q8�¡�C�8�dS?^EG=)B9=S8�OH�GE~ODE~p6�G8�PV8�?^FD��798yBDPZ�6AV8���8�AVF6�

� � ����"�� ��"����ª������������ ��� ����������" ���²����� �������G���8�?��6P�p6AVEG8 �6`�AV8�naE~PZEG?�?V468^C�FH79d6�S?V8�A�naEGPVEGFH=�dRBDA\?@E~BD�eQSEG�e8�AZ8�=/?@E~BD�³8����RBW?@EGFH=�798�?V46FaQ�KFH�~FDOD`IEG=l?@4S8�CyBDPZ8qFD�YnH8�C�?@FDAVE~BD��7JBDd6P BW=6Q²Q6EGPVC��SPVP�46Fo� E�? 7JBy`lp�8�OH8�=68�AVBD�~EG��8�Q²?@F=6FH=�K��Y�SC��GE~Q68�BD=²C�FDAZ?@EGCyBW��7JBDd6P_C�FH79d6�S?@BW?@EGFH=6P���3�4S8�OHF/BD�!FD�&?V46E~P^PV8�C�?@EGFH=¦E~Pc?@FuQ68LK�R=68_?@4S8 d6AVFHpS�~8�7 BD=6Q�d�FHEG=/?$FH�S?�?V468 E~79d�FHAZ?@BD=6C�8_FD��B�C�FHAZAV8�C�?$EG7JdS�~8�7J8�=/?MBW?VE~FH=�FD�Q6EG�e�6PZE~FH=�FHd�8�AVBW?@FHAZP��

���TZ����

Page 9: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

������������� ��������������������������� �!��"�����#��$%��&!����')(*� � +,��'-����(.�

sl} � � 4�$ µ � µ"J w32 J�� x µ � $¤z6x�2��/zSw32 ¹ J � µ | D z J 22v��¢v�c8�AZ8DN�BDP9AV8��a�SE~AZ8�Q E~= PVFH798�PVE�?@�6BW?@EGFH=6P ¬ 8W� OS� <�>DN&iSN >§j3@ ­LNY��8�C�FH=SPVEGQ68�A9�¤�6=6C�?@EGFH=6P�$46E~CM4�nWBD�~�S8�P�BDAV8�=6FW?$PVCyBW�¥BDAZP$p6�S?$nH8�C�?@FDAVP��

� x ¹ ���� J |Dw32 ¹�J z $ª|Hx�2 w µ x�2 ¹�J w ¹ K $ µ x ·�� z � x{z J��Uµ9µ M�!z�w32 ¹�J�� £RFHA�BcnH8�C�?@FDAVE~BD�7�BWd�« e6g D h g���8�C�FD=6PVEGQ68�A$?@4S8��¤FD�~�GFo�$E~=6O9nWBDAVE~BW?VE~FH=6BD��d6AZFHp6�G8�7�« � �����+- # /�����k� � k�j� ��� ������� ��$468�AZ8��1�� ��� � \������ Y �\�a"! E~P^B1- ./ 7�B{?@AVE ¡��$46EGCM4lC�FHAZAV8�PVd�FH=6Q6P^?VF�?V468�#HBDC�FHp6E~BD=FD��?V468 �¤�6=6C�?@EGFH= BW=�EGP$CyBD�G�G8�Q�EG?VP ���%$�����'-&-�<>=)��FHAZQ6P�N�?@468 � �-� ��� & � ��&!����'JFD��?V46EGP^7JBDdlFD��nDBW�~�68�P^C�FHAVAZ8�PVd�FH=6QSP^?@F�BD= 6>FHp�[\8�CLK

?@E�nH8�8 FHA$BX6>C�AZEG?V8�AVEGFH=;8^?@FJBW?Z?MBDEG=�NRBDP$E�?��$E~�G��pe8 EG�G�~�6P\?@AVBW?@8�QIEG=�?V468�PV8����68��2�± =68�C�8�PVPVBDAZ`�C�FH=6Q6E�?@EGFH=u�¤FHA�B�¤�6=6C�?VE~FD= ?@F�p�8�BD=�8L¡�?VAV8�7�67 FW�!?V46EGP�C�AZEG?V8�AVEGFH=

E~PJ?@4RBW?�?@468)PVF¢C�BD�G�~8�Q 6 =6FHAZ7JBD�?8�FDA �&�6�G8�A K���BDOHAVBD=6OH8)8����RBW?VE~FH=�E~P�nD8�AZEG�R8�Q��¯3�46EGP8����RBW?VE~FH=�PVEG79d6��`)P\?MBW?V8�P�?@46BW?yNUBW?�BW=)8L¡�?VAV8�7�67�NU?@468�C�AZEG?V8�AZE~FH=�EGP��GFaCyBD�G�G`*6 �UBW?98_E-� 8W�EG?VP:>�PZ?$FHAZQ68�A�nWBDAVE~BW?VE~FH=�nWBD=6EGPV4S8�P��

��8�AZ8DNR?@468�AV8��¥B{?@8�Q �&�6�~8�Ac8����RBW?@EGFH=)E~P$FHp/naE~FD�6Pc?VF�Q68�AVE�nH8 ¬ 8D� O6� <('�@ª�¤FHA�BD=)EG=/?@AZFWKQ6�6C�?VE~FD=U­�BD=6Q�7�By`�p�8 �$AVE�?V?V8�=�«

W)�W u+*-,�.0/ W1�W1� 32 �l*�$468�AZ8 \�4\�56� EGP�BX- .v/�7�B{?@AVE ¡��$46EG�~8J?@468�Q6EGnD8�AZOH8�=6C�8�E~P�?@F)pe8��6=6Q68�AVPZ?VF�FaQ¢BWP�BnH8�C�?@FHAZE¥BW�ª8�¡�dRBD=6PZE~FD=�NUE2� 8D�&�¤FHA$B - ./²7JBW?VAVE ¡87 k���_«

*-,�. � 97 � � D:� r �

W)7 � � ���W � � �<; �'(6575<-F µ%= J 2 J � x µ � $¤z6x�2>�/z�w32 ¹�J zRvqz J�¹ 4�w32�� 2>�/z�w32 ¹�J 4!x ¹ t $ µ � � �ª8�?$�6P�=SF§� C�FD=�KPVEGQ68�A$BqdRBDA\?@EGC��6�~BDA�C�BDPV8W«�?@468 � �!��;�����#��$%��&�����' ����FD��BD=*6 EG=6d6��?8c�¤�6=6C�?VE~FD=@? k���L�&< ?E~P$Q68��R=68�Q³NeBWP�QSE~PZC��6PZPV8�QI8D� O6�&E~= < iA@ NRp/`u?V468 �¤FH�G�~Fo�$EG=6O�FDdS?@EG79E~��BW?@EGFH=�d6AVFHpS�~8�7�« � ��� �9- #A/ (A � J;J u ? J;J �B L@C@D J�J � J;J �EGFZTZ\[�],^�_V`�a

Page 10: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

� ����� �����%�������

�$EG?V4 J;J � J;J �E � m ! � � 4 � �! k����� ! �� 4 k�j� � 4� ����BD=6Q J;J u ? J�J �B � D u ? F ��� D u ? F ���8�AZ8DNRFH=�FH=68�4RBD=SQ�«

� � e3g D h g �� F������ �"kg D ��EGP_B�NePZF�CyBW�~�G8�Q�N (*� �����;� ��(*��'-&G��'�� ����( ��&�����'(*��&!�#����NS�$4SE~CM4�NR�¤FHA�?V468�d6AV8�naE~FH�SPcQ68��R=6E�?@EGFH=�?@FJpe8 C�FH468�AZ8�=/?yNUEGP�«K�PZ`a79798�?@AZE~C�E-� 8W� � � � �²BD=SQK 6 d�FHPVE�?@E�nH8#8�E-� 8W��PZFq?@4RBW?1.vFOg � .�� � .�� *S�3�46EGP�798�?@AVEGC�BD�~�GFo�$P�?@F9AV8�d6AV8�PV8�=/?�«¬ E¥­9?V468ld6AZ8�C�EGPVEGFH= FD� ?V468lEG=6d6�S?u�¤�S=6C�?VE~FH=³«�?V468I46EGOH468�A�?@4SE~P�d6AZ8�C�E~PZE~FH=�EG= BOHE�nH8�=�Q6EGAV8�C�?@EGFH=�N6?V468�46EGOH468�A�?V468 nDBW�~�68�FD� � EG=�?V46E~P$Q6EGAV8�C�?VE~FH= ¬ EG=)B9P\?MBW?VE~P\?@E KCyBD���¤A@BD798���FHAZ�UN � C�FHAZAV8�PVd�FH=6Q6P�?VF�?@468_EG=/nH8�AVPV8�FD�!B�C�F§nWBDAZE¥BW=6C�8 7JBW?VAVE ¡R­�pS�S?BD�GPVF¬ EGE ­�dRBDAZ?VE¥BW��FHpSPV8�A\nWBW?@EGFH=�NYEG=¢?@468uPZ8�=6PZ8�?@4RBW?�EG�$?@4S8uE~=Sd6�S?q�¤�6=6C�?@EGFH= ? k����EGP=6FD? QS8��R=68�Q��¤FDA_PVFH7989����8qPVEG7JdS�G`²46BonD8q?@F�PZ?@BW?@8 � ��*�BW?_?V46E~P �GFaCyBW?VE~FH=³�B EG7JEG�~BDAV��`HN�?V468�-BDC�?_?@4RB{?_?@468qEG=6d6��? �¤�6=6C�?VE~FD= ? ���^E~P^FH=6��`lQ68��R=68�Q�EG=²PVFH798Q6EGAV8�C�?@EGFH=�C�FDAVAV8�PVd�FH=6Q6P�?@F�7JBW?VAVE ¡ � deFHPZEG?VEGnD8_p6�S?�=6FD?�Q68��R=SEG?V8_E~=u?V46EGP�Q6EGAV8�C�K?@EGFH= ¬ �¤FHA�E~=6P\?MBD=SC�8DN�EG� ? k�j��EGP�FH=S�G`�Q68��R=68�Q�EG= ?V468�QSE~AZ8�C�?VE~FD=� B{?�B�OHEGnD8�=�~FaCyB{?@EGFH=���8 �$AVE�?@8 � � ;� � � �¤FHA�PZFH798 ;6­�NBD=6Q�79FHAV8�OH8�=68�AVBD�G�G`¬ EGE~E¥­��GE~=S8yBDAqAZ8��~BW?@EGFH=6Pqp�8�?>��8�8�=�798yBDPZ�6AV8�PJBD=6Q�dRBDAVBD798�?@8�Aq8�P\?@EG7�B{?@EGFH= N�PVBy`7 ����N³�$46EGCM4�EGP FHp/naE~FD�6PV��`l8��a�SEGnWBD�G8�=/?�?@FuAZ8����6EGAV8 J;J u ? J�J �B ��*��$E�?@4� � 7K� 7 BD=6Q@? � 7K��� ¬ 8D� O6� < :Hi3@ª�¤FHA$BqQ68�nD8��GFHd6798�=/?M­��

]_=�?@468�FD?V468�A�46BD=6Q�«

� � e g D)h g � D � � D F ���{� �+kg D ��EGP9BSN&PVF²C�BD�G�~8�Q�N $�� ����������' &P��',�%������N�$46EGCM4IEGP�«K�PZ`a79798�?@AZE~C�E-� 8W��� ! �� 4 ��� � !4 � BD=6QK 6 d�FHPVE�?@E�nH8#8�E2� 8D��PVF9?@4RB{?� 7 Fg � D ��7���� 7 � m ! � � 4 7 �! � ! �� 4 7 4� �l*JEG=FHAVQS8�A�?@4S8�dSAV8�naEGFH�6P�Q68��6=6EG?VE~FD=)?@F9p�8�C�FH468�AV8�=�?�NR�$46E~�G8

� C e$g z h g z QS8��R=68�P�?@468 ��� � & ����FD��?@46EGPAZ8�OH�S�¥BDAZE~��BW?@EGFH=�N&E�?�EGPqBIP\?@AZE~C�?@��`E~=SC�AV8�BDPVEG=6O9�¤�6=6C�?@EGFH=��$E�?@4 C A*6�Q�l*SN

?V468uC�FH7p6EG=68�Q EG= �R�S8�=6C�8�FD��?@468�PV8�?>��F²�~BDPZ?q8��~8�798�=/?@Pqp�8�EG=6O²Q6EGPVC��6PVPZ8�Q E~=�?V468=68�¡a?�dRBDAVBDOHA@BWd64��

���TZ����

Page 11: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

������������� ��������������������������� �!��"�����#��$%��&!����')(*� � +,��'-����(.� '»�AVEG8 �6`DNS?@468�?@8�AV7 C J�J � J;J �E ��EGP�?V468X� �!��;�����#��$%��&�����'?@8�AV7 < :;>V@³�$4SE~CM4�BD�G�GF§�$P�?@F

C�FHAZAV8�C�?@��`�Q68��R=68�Q)E~�G� K>d�FHPV8�Q)d6AZFHp6�G8�79P�N�BDP$7JBDQ68�8L¡SdS�~EGC�E�?^=SF§���<>=�PV�6CM4�BC�BDPV8WN6B��¤8�� BW�~OH8�p6A@B��~8�BDQ6P�?VF?@4S8_AV8��¥BW?V8�Q �&�6�G8�A�8����RBW?VE~FH=u�$4SE~CM4�EGP�B

nH8�C�?@FHAZE¥BW�ªQ6EG�e�6PZE~FH=)dRBDA\?@E~BD��Q6E��³8�AV8�=�?VE¥BW�!8����RBW?@EGFH=�NRE-� 8D�G«� u � ? u�� E � � �l* ¬ >§­

�$EG?V4 � E � � � * , . �� C�� D J�J � J�J �E F : 4 � � ! �� 4 � 4���?@468�?V46AV8�89?V8�AZ7JP�p�8�EG=6O�AV8�PZde8�C�?VEGnD8���`�?V4689Q68��¤FDAV7JBW?@EGFH= ¬ E-� 8D� � ­�Nª?@4689FD�ePV8�? ¬ E-� 8W�� ? ­�BD=SQ�?V468�Q6EG�e�6PZE~FH= ¬ E-� 8D�� E � � ­L�� �����������������������������! "��#$�% &�����('*),+.-0/2143,56��7�8:9;�<7!=�>��?7�@A@A��@CBD7!=E��#$��FAGH#0�E�0>�F$�I#J7��7�>I�HBK��#$������=L7!����@M��NKFO7!�������MPQ��FA=�@R�$���S����������>�T"���$@J���U��#$�WV,FA=����%��N�FO7!�������X�! Y7Z�����E�����������6B�\[]�H[^��#$�Z>���=EFA�������_PQ��FA=�@`�$���a9"�*����=L7!����@X���07!�`��TA���E�b�Ecd7!�������e�����E�����������6[� �G8yBWAV��`HN��$E�?@4SFH�S?�?V468$?@8�AZ7fFD�ªQ6E��³�SPVEGFH=�N�?V468�PVFH�G�S?@EGFH=uEGP � ? �$46E~�G8^?V468�?V8�AZ7

FD��Q6EG�e�6PZE~FH=f� E � � BD�~�GFo�$P ?@FY6 dSAVFHdRBWO/BW?@8#8�PVFH798qEG=S�¤FHAV7JBW?VE~FD=¦BDpeFD�S? �¤AZFH7 FD=68deFHEG=/?�� ?VFJBD=6FD?V468�A���3�4S8��W8�`�EGQ68yB9EGP$?VF�46BonD8 ?@468�EG=S�¤FHAV7JBW?VE~FD=)d6AZFHdRBDOHBW?@8�Q�«¬ B/­c�$468�AV8q?@4S8JEG=6d6��?��¤�S=6C�?VE~FH=�EGP�d6BDAZ?VE¥BD�G��`lFHA�BDdSd6AVFy¡�E~7JBW?V8���`¦Q68��6=68�Q�°�E~=¦PV�SCM4¢BCyBDPZ8DNSPZE~=SC�8_?@4S8_7JBW?@AZE�¡ � nWBD=6EGPV4S8�P�FHA�4RBDP�BPZ7JBD�~��C�FD=�?VAVEGp6�S?VE~FH=�BD=SQ EGP�8�=�?VE~AZ8���`FHA�7JBDE~=S�G`�QS8��R=68�QIp/`�?@4S8�QSEG�e�6PVEGFH=�?@8�AV7�N¬ pU­��$468�= ?V468¦d6AVFHpS�~8�7 E~P�EG�~� K>d�FHPZ8�Q�NcE2� 8D�fE���?V468�AZ8 BWAV8¦7JBD=/` BD=6Q =��6798�AVEGCyBW�~��`�6=6PZ?@BDp6�G8PZFH�~��?@EGFH=6P�°eE~=)PV�6CM4¦BJCyBDPZ8DN���8��~FaFH�u�¤FHA�B�PZFH�G�S?@EGFH=I�$46EGCM4lnWBDAVE~BW?VE~FH=SP^BDAZ87JEG=6EG79E~��8�Q�N�BDP$FHpS?@BDEG=68�Q�p/`u?@468�AZ8�OH�6�~BDAZE~��BW?@EGFH=�?@8�AZ7��

�)¹�Jª· $�2 J�µ z6xRg µ xWv��v $!2 J!µ z6x�º 2�I �v�2 ¹�J¢¹ 4 µ x{z�w ¹ xWv � �ª8�?��SP�=6Fo� AV8�naE~8�� 4SF§� CBD=6Q ��E~= �R�68�=SC�8�?V46EGP�QSEG�e�6PVEGFH=�FD��E~=S�¤FDAV7JBW?@EGFH=��£RAZFH7 BqPZ?VA@BDEGOH4/?V�¤FDAZ��BDAVQ�Q68�AZEGnWBW?VE~FD=�«h � E � � ,i � � m ! � 4 \\�a�j D C � J�J � J;J �E �� ! �� 4 \ ��k\�a ! F� C � J�J � J;J �E �ml m 4 � l m ! \ E j !� k\�a�j6n \�� k\�a ! L2m ! � 4 � ! �� 4 \do � k\�a�j \�a ! nL C � � J�J � J�J �E � m ! � 4 � h J�J � J�J �E i ! � ! �� 4 \���k\�a !

BD=6Q�E~=�?@468�dRBDA\?@EGC��6�~BDA$CyBDPZ8��$468�AV8 � E~P�C�FH=SPZ?MBW=�?^BD=6Q��$EG?V46FH�S?^BD=/`�EG= �R�68�=6C�8WNeE-� 8W�� � � ! � � � 4 PVF�?V4RBW? J�J � J;J �E � J�J � J�J � ¬ ��8lC�FD=6PVEGQ68�A�4S8�AV8)?@468qp � =6FHAZ7�­q?@46EGP

ZTZ\[�],^�_V`�a

Page 12: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

>or ����� �����%�������

AV8�QS�6C�8�P�?VF6«h � ��� � ,i � � � C � J;J � J;J � � m ! \do � �} \�a�j � o L A C � � J�J � J;J � � m ! � \do � �\�a�j \�a ! \�� �\�a�j \�� �\�a !� C � J;J � J;J �4� � � L A � � � qcq 56� qcq o �qcq 56� qcq o � �:� �1� � � ��$EG?V4 � ��� 56�����qcq 56� qcq NRPVFq?@46BW?$��8�FHpS?@BDEG=�«¬ E¥­�B?@8�AZ7 AV8��¥B{?@8�Q�?@F C � �$46EGCM4IC�FHAVAZ8�PZdeFH=SQ6P�?@FJBD=�EGPVFD?VAVFHd6EGC�Q6E��³�6PZE~FD= ¬ 468�AZ8J� ��E~P�?@4S8 ��BDdS�¥BDC�E¥BW=�FW��?@4S8�;�K ?V4)C�FH79deFH=S8�=/?�FD� ­�BD=6Q¬ EGE ­�B�?@8�AV7 AV8��~BW?V8�Qu?@F C � � �$46EGCM4�C�FHAZAV8�PVd�FH=6Q6P�?VFqBD=�BD=SE~PZFD?@AZFHd6EGC_Q6E��³�6PZE~FD=�d6AVFaC�8�PVPE~=�?@468�Q6EGAV8�C�?VE~FH= � FD�!?@4S8�ODA@BDQ6EG8�=/?��£R�6A\?@468�AV79FHAZ8DNREG=�?V46E~P$C�BDPV8�BD�G�ªC�FH79d�FH=68�=�?VPcFW� BDAZ8 Q68�C�FH�6d6�G8�Q³�± =RB{?@�6AVBD��AV8����6E~AZ8�798�=/?X<�>HN �@�E~P�?VFJFDpS?MBDEG=�«

¬ ?�­�EGPVFW?@AVFDd6E~C�Q6E��e�6PVEGFH=)�¤FDA�PV7JBD�G�ªOHA@BDQSE~8�=�?c7JBDOH=6E�?@�SQ68�pe8�CyBD�6PZ8���8���BD=/?$?@FJ7JB{¡�KE~79EG��8�?@468�d6AVFDdRBDO/BW?VE~FD=)FD��EG=S�¤FHAV7JBW?VE~FD=IEG=)�6=SEG�¤FHAZ7 ¬ ?V4a�SPcEG=S�¤FHAZ7�B{?@EGFH=)�G8�PZPM­$dRBDAZ?VPFD��?V468�dRBDAVBD798�?@AZE~C�PZdRBDC�8�BD=SQ¬�� ­�CyBD=6C�8���?@468�d6AVFDdRBDO/BW?VE~FD=)FD��E~=S�¤FDAV7JBW?@EGFH=��¤FHA$46E~OD4lOHA@BWQ6E~8�=/?^7JBDOH=SEG?V�6Q68EG=)?V468Q6E~AZ8�C�?@EGFH=uFD��?V468^ODA@BDQ6EG8�=/?�E~=�FHAVQ68�A�?VFd6AZ8�PZ8�AZnD8 �¥BWAVOH8 ¬ ?V4a�SP�PVEGOH=6E��RC�BD=/?L­�nWBDAZE¥BW?VE~FD=6PFD��?V468�E~=Sd6�S?$�¤�6=6C�?@EGFH=��<>=�FD?V468�A���FHAVQ6P�NR��8���BW=�?$?VFJ8��~EG79E~=6BW?@8�PV7JBD�G�2NR?V4a�SP��GEG�D8���`�=6FHEGPZ`DNUnWBDAZE¥B{?@EGFH=6P�FD�

?@468�dRBDAVBD798�?VAVEGC�7JBDd³NRp6�S?$d6AZ8�PV8�AZnD8�~BDAVOH8 nWBDAZE¥BW?VE~FD=6P��± Q6BDdS?@EG=6O²�$4RBW?946BDP�p�8�8�= d6AZFHdeFDPV8�Q¢�¤FDA�E~=SPZ?MBW=6C�8�EG= < j3@2N&?@468�C�FH=6P\?@A@BWE~=/? ¬ ?�­

PVEG7JdS�G`�798yBD=6P�?@4RB{?yN��¤FHA�PZ7JBD�~��OHAVBDQ6EG8�=/?�7JBDOH=SEG?V�6Q68�P�N�?V468 jW=SQ�?@8�AV7fp�8�C�FD7J8�P�=68�OWK�~EGOHEGp6�~8 �$E�?@4�AV8�PVd�8�C�?�?@Fq?V468 >yPZ?�FH=68WNRE2� 8D�G«

�GE~7 qcq 56� qcq � � h A C � � J�J � J;J � �� J;J � J�J �Ii � C � J�J � J;J � �Q�M*�$46E~�G8u?@4S8�C�FH=6P\?@AVBDE~=/? ¬� ­�798yBD=6Pq?V4RBW?yN��¤FDA46EGOH4�OHA@BWQ6E~8�=/?97�BWOH=6E�?@�6Q68�P�N&?@4S8�jW=6Q?@8�AZ7 7�SPZ?�pe8q?@4S8JFDd6deFDPVE�?@89FD��?@468 >yP\?�FD=68DN�EG= FHAZQ68�A ?VF�C�BD=6C�8��YQ6E��³�6PZE~FD= EG=�?V468OHA@BDQSE~8�=�?�Q6EGAV8�C�?VE~FH=³��E-� 8D�G«

�~EG7 qcq 56� qcq � z � C � J�J � J�J � �� h A C � � J�J � J;J � �� J;J � J�J �Ii �'u,(3�46E~P^E~P^?V468C�BDPV8WN�8D� O6�_FW� C �C����� �¦BD=6Q²PV8�nH8�A@BD��FD?@468�A_d6AZFD�R�G8�P�N�BDP^AZ8�naE~8���8�Q EG=< j�@2�± PYB_C�FH=SC��G�6PVEGFH=�N/?@4S8��6PV8�FW��?V468�=6FD=�K>�GE~=S8yBDA��¤�6=SC�?@EGFH= C PVEG79d6�G`�BD�G�~Fo�$P�?@F EG=/?@AZFWKQ6�6C�8JBD=SE~PZFD?@AZFHd6EGCqQ6EG�e�6PZE~FH=¦�$E�?@4¦AV8�PVd�8�C�?�?VFu?@468q�¤�6=6C�?@EGFH=¦OHA@BWQ6E~8�=/? � � � FH�6�GQ

EG?^pe8�deFHPZPVEGp6�G8?@F�FHpS?MBWE~=I?V468PVBD798�d6AZFHde8�AZ?>`�p6�S?^d6AV8�PV8�AZnaE~=SO�?V468�GEG=68yBDAZEG?>`)FD��?V468Q6EG�e�6PZE~FH=�8����RB{?@EGFH=�

���TZ����

Page 13: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

������������� ��������������������������� �!��"�����#��$%��&!����')(*� � +,��'-����(.� >>

3�46BD=6��P�?@F �$4RBW?u46BDP�p�8�8�=©Q68�AZEGnD8�Q EG=�?@468)PVC�BD�¥BWA�CyBWPV8 < jHj�@ ¬ AZ8�O/BWAVQ6EG=6O ?V4688�PZ?VE~7JBW?VE~FD=)FD��EG7�BWOH8�7JFW?@EGFH=U­�?@4S8�AV8�EGPcBqd�FHPVE�?@E�nH8�BD=6P\��8�A�?VFq?@46EGP$�a�S8�PZ?VE~FD=���ª8�?�6P�C�FD=6PVEGQ68�A�?@46BW? C E~P�?@4S8JEGQ68�=�?VEG?>`��¤�6=6C�?@EGFH=¦?@4��6P46BDP�=6FIEG= �R�68�=6C�8WN�E-� 8W�C �C� �l��N6PVF9?@46BW?yNS�$E�?@4)Bq�¤8�� BW�~OH8�p6A@B�«

h � E ,i � � : 4 � 7 � � 4 W 4W�� � L : ! � 4 � ! �� 4 W �� 4W � ! W � � �$E�?@4 7 � � 4 � : ! W � ! �� 4W � ! ¬ jH­

£RFH�G�GF§�$EG=6OY< jDj�@U�~8�?��6PYC�FH=6PZE~QS8�AY?@4RBW?Y��8c46BonD8^BW=�EG=6E�?@E~BD�RFHAYd6AV8�naE~FH�SP�8�PZ?@EG7JBW?@EGFH=��� � � ��3�46E~P8�PZ?VE~7JBW?VE~FD=¢7JBo`�4RBynD8uPV8�nH8�AVBD��PZFH�6AZC�8�P�«�?@468�E~=Sd6�S?�¤�S=6C�?VE~FH= ?¬ E-� 8W�+� � � � ? ­�N�B²d6AVEGFHAZE�E~=��¤FHAV7JBW?VE~FH=³NY?V468�8�P\?@EG7�B{?@EGFH=�FDpS?MBDEG=68�Q p/`�dSAV8�naEGFH�6PPZ?@8�d6P9FD�$?@468�BW�~OHFDAVE�?@467�N�BDP�Q68�?MBDEG�G8�Q E~=�?@4S8�=68�¡a?9PV�Sp�K>PZ8�C�?VE~FD=��¢<>=�FD?@4S8�A���FHAVQ6P�N��8 � � � $ � �"����?@4S8�EG=6EG?VE¥BW��8�PZ?@EG7JBW?@EGFH=�� ?@F)FHpS?@BDE~=�BD=¢EG79d6AVFonH8�Q�8�P\?@EG7�B{?@8DN�E2� 8D�)BD=8�PZ?VE~7JBW?V8 �$46E~CM4)C��GFHPV8��G`�nD8�AVE��R8�P�?V468�Q6EG�e�6PZE~FH=�8����RB{?@EGFH=��£RAZFH7 ?V46E~P$8�PZ?@EG7JBW?@8WNU�~8�?c�SP�CM4SF�FHPZ8D«

�! �� 4 D ��� F ����� D J�J ��� J;J F � ! � � � 4 L � � qcq D J�J � � J;J F u���� D J�J � � J�J F �J;J ��� J;J � h ��� �! i � h ��� 4� i �

¬ :/­�$468�AZ8��� J;J � � J;J ��BD=6Q� qcq J�J � � J�J �$BW�~�GFo�$Pc?@F�BDQW[\�6P\?c?V468�PV79F�FW?@46EG=6O��-BWC�?@FDA�EG=)?V468=6FHAV7JBD��BD=6Q�?MBD=6OD8�=/?@E~BD�ªQ6EGAV8�C�?@EGFH=6P$�$E�?@4�AV8�PZde8�C�?$?@F9?@4S8�ODA@BDQ6EG8�=/?����FHAV8�d6AZ8�C�EGPV8��G`DNe=S8�OH�G8�C�?@EG=6OJ?V468�PVdRB{?@E~BD��nWBDAVE~BW?@EGFH= \ E j !� k\�a j FD� ����8�FHpS?@BDEG=�«h � E ,i � � �����b� � L � � qcq u���� � �� �:� � � � �� � L� J�J W � J;J �

�$EG?V4 �� � ��� � J;J ��� J;J �$46EGCM4 E~=6QS8�8�Q�C�FHAVAZ8�PZdeFH=SQ6Pu?@F��$46BW?�4RBDP�pe8�8�=�FHpS?@BDEG=68�Q�6PVEG=6O9?@468�=6FH=aK>�GE~=68�BDA�d6AZFD�R�G8DNR�$EG?V4�«

��� �C� � C�� �C��BD=6Q�� qcq �C� ����� k�[� L A � � � �C�� � � ¬ h�­��8�7JBy`�8�nD8�=ICM4SF�FHPZ8Bq79FHAZ8�OD8�=68�A@BD���¤FHAZ7 �¤FHA�� qcq k�C��E~=�?@468�d6AZ8�PZ8�=/?^C�BDPV8W�<>=�?@4S8��GE�?@8�AVBW?@�SAV8 ¬ 8W� OS��BWP�AZ8�naEG8���8�QIEG= <�>HNRj�@ ­LN6�$468�=�C�FD=6PVEGQ68�AZE~=SOuBq=6FH=�K �~EG=68�BDAd6AVFD�6�~8WNUBW?�?@468�EG79d6�~8�798�=/?MBW?VE~FD=I�G8�nH8��2N�B9PVEG79E~�~BDA=����'7� ���:��� ��� �����( ��&!����'9EGP��SPV8�Q³�<>=�?@4SE~PJC�FH=/?V8�¡a?yN�E�?JE~Pq?V4a�SP��6PZ8��G8�PZP�?@F¦C�FD=6PVEGQ68�AJ=6FH=aK>�GE~=68�BDA9d6AVFW�R�~8�P C A�9pS�S?

PVEG7JdS�G`��6PZ8�BD=SE~PZFD?@AZFHd6EGC�Q6E��e�6PVEGFH=d6BDA@BD798�?@8�AZE~��8�Q�p/` ����3�4RBW=6��P�?@F$?@4SE~P!Q68�AZEGnWBW?VE~FD=�N��8�BD�GPVFJFHpS?@BDE~=�BD=�8�¡SBD79d6�G8�FD��C�FH468�AV8�=/?��¤FHAV7 �¤FHA���N6�¤AVFH7 ¬ :/­�BD=SQ ¬ h�­��

ZTZ\[�],^�_V`�a

Page 14: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

>§j ����� �����%�������

� 8^?V4a�SP��$E~�G��C�FD=6PVEGQ68�A�EG=�?@468^PV8����68���?@4RB{? C E~P�?V468_EGQ68�=/?@E�?>`u�¤�6=SC�?@EGFH=�BD=SQu�$E~�G�E~=/?@8�OHA@B{?@8JEG?VP�EG= �R�S8�=6C�8�EG= ?@4S8�BD=SE~PZFD?@AZFHd6EGC�Q6E��e�6PVEGFH=�FDde8�A@BW?VFHA dRBDAVBD798�?@8�AVEG��8�Q¢p/`�c�

� � 4 $ µ � µ;J wozSw32 ¹�J¦¹ �Yw D µ x µ � �$¤z6x�2>�/zSw%2 ¹�J 4�x ¹ t�$ µ � ��£UAZFH7 ?V468$d6AV8�n�EGFH�6P �&��K�~8�A 8����RBW?VE~FH= ¬ jH­�NªB{?_?@468qEG79d6�G8�798�=/?MB{?@EGFH= �G8�nD8��-N!BuAV8�C��6AVAZ8�=/?�8����RBW?VE~FD=�EGP Q68�AVE�nH8�Q�$46E~CM4IBD�G�~Fo�$P$?@468�EG?V8�AVBW?@E�nH8�=��6798�AVEGCyBW��C�FH79d6�S?MB{?@EGFH=)FW��?@4S8��¤�S=6C�?VE~FH= nWBD�~�S8�P$�¤FHAB9798�PV4IFW��PVBD79d6�~8�P ¬ PV8�8�8W� O6��< iA@ ­�� B �6CM4)BD=�8����RBW?VE~FD=)EGP$�6PV�RBW�~��`�FD�!?@468 �¤FHAZ7�«

��� L�� � � ? L ���E u � � ¬ kH­

�$468�AZ8�?V468�AV8�OD�6�¥BWA�7JBW?VAVE ¡ � NS�$E�?@4v(�� J�J � J�J�� *JBD�G�~Fo�$P�?@FJC�FD=�?VAVFH��?V468�EG?V8�AVBW?@EGFH=C�FH=/nH8�AVOH8�=6C�8W�9<>= PZ�6CM4�B�dRBWA@BDQ6EGOH7 � �E EGP�BW= ��(�������(*��'-&�� ����� ��� ��� �����( ��&�����'�FD�?@468�C�FD=�?VE~=��6FD�6PcPZ8�C�FH=6QIFDAVQ68�A�Q6EG�e8�AZ8�=/?@E~BD��FHd�8�AVBW?@FHA?� E �± ?c8yBWCM4IE�?@8�AVBW?@EGFH=�NR?V468�=S8�� 8�PZ?@EG7JBW?@8 � E~P�C�FD7JdS�S?@8�QI�¤AVFH7 ?@468�d6AV8�naE~FH�SP^8�P\?@E K7�B{?@8 N!�6PV�6BD�~��`��6PVEG=6O�? BWP�EG=6E�?@E~BD��nWBD�~�S8D��£R�6A\?@468�AV79FHAV89?@4S8�Q6E��e�6PVEGFH=¢FHd�8�AVBW?@FDAE~P�BD�GPVF�AZ8�C�FH79d6�S?@8�Q�B{? 8yBDCM4¦P\?@8�d³N!PZE~=SC�89BDP 7JBDQ68q8L¡�d6�~EGC�E�?��¤FHA_EG=6PZ?@BD=6C�8qE~= ¬ :H­�N�E�?7�By`²QS8�d�8�=6Q FH=²?@4689d6AZ8�naE~FD�6P�8�PZ?VE~7JBW?V8JFW� �9<>=�FDAVQ68�A�?V46EGP�QS8�d�8�=6Q68�=6C�`�=6FW? ?@FBW�³8�C�? ?V468qPZ?@BDp6EG�~E�?>`lFD��?@4S8qEG?V8�A@B{?@EGFH=²798�CM4RBD=SE~PZ7�N�?@4SE~P d6AZ8�naEGFH�6P�8�P\?@EG7�B{?@89CyBD=¦p�86 PV79FaFD?@4S8�Q;8c?@FqFHp�?MBDEG=�B�PV�S�JC�E~8�=�?V�G`�P\?MBW?VE~FD=RBDAZ`�nWBD�~�S8_FD� �c�Y3�46EGP$BDPZde8�C�?��$EG�~��=SFD?pe8 �¤�6A\?@468�A�Q6E~PZC��6PZPV8�Q²468�AZ8�pS�S?$��8�AV8��¤8�A�?@FH< jHj�@ª�¤FHA$BqQ68�nH8��~FHdS7J8�=/?y�± P9=6FD?@EGC�8�Q �¤FDA�E~=SPZ?MBW=6C�8�E~= <?>�'A@2N�E�� J�J � J;J�� *²��¡S8�Q�d�FHEG=/?@P9FD��?@46EGP9EG?V8�A@B{?@E�nH8

8����RBW?VE~FH=�BDAZ8�PVFH�G�S?@EGFH=�FD��?@468 �&�6�G8�A98��a�6BW?@EGFH=�NY�$46EG�~8�E�� J;J � J�J h *l��8�FHpS?MBWE~= BPZ?MB{?@EGFH=RBDA\`²nDBW�~�689�¤FHA �$46E~CM4�EG=6Q6�SC�8�P�?@468JC�FH=/nD8�AVOD8�=6C�8u?@Fo��BWAVQ6PB�PZ�6p�K>FDdS?@EG7JBD�nDBW�~�68W�£R�6A\?@468�AV79FHAZ8DN�?V468)7JBW?VAVE ¡ � EGP�AZ8��~BW?@8�Q�?@F¦?@4S8��-BDC�?�?V4RBW?�N�BW?J8yBWCM4©PZ?V8�d�N���8

C�FH79d6�S?V8�?V468�=S8���nWBD�G�68�FW� �¤FHAV7 ?V468Jd6AV8�n�EGFH�6P�nWBD�~�S8�FD� �%��� �%��'�� ������(������������'7� ���*���3��& ��( ��'-���W��3�46EGP�EG=6C��G�6Q68�P ��BD�6PZP\K B 8�EGQ68���FHA #HBDC�FDp6E$EG?V8�A@B{?@EGFH=�798�?@46FaQ6PBD=6Q�PV8�8�79Pc?VFJp�8�BqOH8�=68�A@BD�ªPZCM468�798W�3�4S8J�W8�`²dSAVFHp6�G8�7 468�AZ8qE~P ?@4��6P_?VF�FHpS?MBWE~=¦B�AV8��~8�nWBD=/?BWd6d6AVFy¡�EG7�B{?@EGFH=f� �E FD�?@468?V8�AZ7 FD�YQSEG�e�6PVEGFH=f� E E~=²FHAZQ68�Ac?@FuC�FHAVAZ8�C�?V�G`lBD=6Q²8���C�E~8�=/?@��`²E~79d6�G8�798�=�? ?V468d6AV8�n�EGFH�6P PZCM468�798W� ± =¦8�PZ?@EG7JBW?@EGFH=¦FD� � EGP�BD�~PZF�AV8��a�SE~AZ8�Q�p6�S?yN�BDP^naE~PZE~pS�~89EG= ¬ jH­LN

?@46EGP$PV8�C�FH=6Q)d6AVFHpS�~8�7 E~P$dRBWAZ?@EGC��S�¥BDA$C�BDPV8��$EG?V4 7 � � 4 � � � 4 BD=6Q � ! �� 4 �l*�NRPVFq?@4RB{?���8�$E~�G���¤F�C��6P$FH=�?@468 >yP\?�d6AVFHpS�~8�7��

���TZ����

Page 15: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

������������� ��������������������������� �!��"�����#��$%��&!����')(*� � +,��'-����(.� >o:

1z J g µ |Dw ¹ x�2¤z $ µ M�!z�w32 ¹�J v t µ º µ | ¹ 4�$ µ º�� ± PZ?V8�dJ�¤�6AZ?V468�A�NH��8�7JBo`qBD=RBD��`a��8EG�&��8�CyBW= 6 Q68�C�FH�6dS�~8#8?V468�PZ8�8����RBW?VE~FD=6P�NªE-� 8W�_C�FD7JdS�S?@8?V468�=68�� nDBW�~�68 � � E~=²8��a�6B{K?@EGFH= ¬ kD­�BDPB)�¤�6=6C�?@EGFH=�FD��?V468ud6AZ8�naE~FD�6P �9nWBD�~�S8�FH=6��`H�I3�FlFDpS?MBDEG=�?V46E~PPVd�8�C�E��RCCyBDPZ8DNaE~=9?@468$OH8�=68�AVBD�UCyBDPZ8DN�?@468$798�?VAVEGC � 7�SPZ?�pe8$Q6E~BDOHFH=6BD�2��3�46E~P�BD�GPVF�798yBD=6PY?@46BW?h � E ,i � 7��6PZ?cQ68�de8�=6Q)FD= � FH=6��`H� ± P�B9C�FH=6PZ8����68�=6C�8WNeEG=�?V468�OH8�=68�A@BD�ªC�BDPV8�BDOHBDE~=³N�! �� 4 \ ��k\�a ! 7�SPZ?�=6FD?�QS8�d�8�=6Q�FH= � � �¤FHA ; ���� ;e�&3�46EGP$C�FH=6QSEG?VE~FH=�798yBW=6P�?@4RBW?� ! �� 4 �l*�¤FHA ; �� ��E-� 8W��� ! �� 4 � � � 4 � ! �� �¤FHA�PVFD7J8�� ! �� �£RFHA�B9OH8�=S8�AVEGC�?@8�=SPVFHA / .�/ . - .- ?V8�=6PZFHA�� ! �� 4 N6��87JBy`��~FaFH���¤FHA$B9OH8�=68�AVBD��~EG=68yBWA^?@AVBD=6PZ�¤FDAV7JBW?@EGFH= 4 � m���� 4� � � dRBDAVBD798�?@8�AVEG��8�Q p/`I?V4689- . - 7�B{?@AVE ¡ � 4��$EG?V4 � � ! �� � � � �� � ! �� 4 � 4� � � � � � ! �� �¤FHA9PZFH798O/ . / . - ?@8�=6PVFDA � ! �� �©»��S?�PVEG=6C�8/).�/).�- .�- � - .�- L /v.�/). - BDP^PZF�FH=IBDP%- � (�?V468d6AZFHp6�G8�7¨4RBDPc=6FPVFH�G�S?@EGFH=6P$EG=�?V468�OH8�=S8�A@BW�ªCyBDPZ8D�� 8 ?@4��6P�CyBD=�=6FW? QS8�C�FD�6d6�G8�Q6E��e�6PVEGFH=�8����RBW?VE~FH=SPcEG=�?V468�OH8�=S8�A@BW��CyBDPZ8D�3�4SE~P�PV7JBD�G�/Q6EGPVC��6PVPZE~FH=�8�¡�d6�~BDEG=6P!�$4/` E�?�EGPªE~79d�FHAZ?@BD=/?ª?@F$C�FH=SPVEGQ68�Aª?@4S8 6 nH8�C�?@FDAVE~BD�?8

CyBDPZ8��$468�=���8�AV8�OH�6�~BDAVEG��8�B�=6FD=�K>PZCyBD�~BDA��¤�6=6C�?VE~FD=�N�PVEG=6C�8���8�CyBW=6=6FD?�AV8�Q6�6C�8�?@468�PV88����RBW?VE~FH=SP$?VF�BqPZ8�?�FD��E~=6QS8�d�8�=6Q68�=/?_PVC�BD�~BDA$8����RBW?VE~FH=SP��

� }L1 ¹ � 4�ªw32 J�� D z6x � ¹�J 2-| ��z54�v ¹�J � 2 µ ��z JTJ 2¤z J � z J 2�� ¹ $-º z6x � ¹�J 22| ��z54�v ¹�J � 2 µ ��z JTJ 2¤z J ��z J 2�� ¹ $2º � ± =6FD?V468�A&EG=/?@8�AZ8�P\?@EG=6O�d6AVFHpS�~8�7E~P�?@4S8¦�¤FD�~�GFo�$E~=6OS���ª8�?)�SP�C�FH=6PZE~Q68�AIB�Q6E��e8�AV8�=/?@E~BD��b�EG8�7JBD=6=SE¥BD= 7JBD=6E��¤FH�GQ� FD�Q6E~798�=6PVEGFH=f/ ¬ �$46EGCM4)7JBy`�p�8_?@468 �&�6C��~EGQ68yBW=IPVd6BDC�8>g D �$E�?@4)BqQ6E��³8�AV8�=/?VE¥BD��B{?@�~BDPM­L�< ?@Pu798�?VAVEGC²E~P��$AVE�?V?@8�= ��N��$EG?V4 �l� �����~������ 3�468 ¬ FHd6d�FHPVE�?@8��JFD��?@468y­ ��BDd6�~BDC�8LK»�8���?@AVBD79E�FHd�8�AVBW?@FHA ¬ 8W� OS� <�>§k%@ ­$�¤FHA^BuQSEG�e8�AZ8�=/?@E~BDp6�G8q7JBDd e� h g EGP_Q68��R=68�Qp�`�?@468 �¤FHAZ7�6�~BS« � � � : ! � (

� � WW � � / � ��� ! � W $�W�� � 2E2� 8D�&�$468�=)8L¡Sd6BD=6Q68�Q�«� � � m � � m ! �� � \\�a ! D � ��� ! � F � \�� �\�a ! L m ! � � ! � \ o � �\�a�j7\�a !BD=6Q�BJ7JBDd�EGP�K>EG=�?V46E~P$C�FH=/?@8�¡a?\K�46BDAV79FH=6EGC�EG�f� � *��

������� �!�"�$#&%(')�*� [ # [ ��+,%�-!./�!+10*#&23%�+,4 [ �*�5�5.&�768��� [ -5���:9�#&;�21#&0<+1# [ �=#/%7'$� � [ 4&� [ �*�>#?2,+,@*� AB-!.[ . [DC 2E+ [ �F#?�8%�;$#&0<�F%*G

ZTZ\[�],^�_V`�a

Page 16: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

>yh ����� �����%�������

3�4SE~PuFDde8�A@BW?VFHA�EGP�B�QSE~AZ8�C�?�OH8�=S8�A@BW�~EG�yBW?VE~FD=�FD��BD=6EGPVFD?VAVFHdSE~C)Q6EG�e�6PZE~FH=©�¤FDA�=6FD=�K�Y�SC��GE~Q68�BD= PVdRBWC�8�P ¬ PV8�8 < j '3@^�¤FHA�B�Q6EGPVC��6PVPZE~FH= BD=6Q <�>�3@^�¤FHA�BDd6d6�GE~C�BW?@EGFH=6P�FD� ?@46EGP�¤FHAV7JBD�GE~PZ7�­��< ��?@4689798�?VAVEGC9E~P ?@4S8JEGQ68�=�?VEG?>`DN�E-� 8W� � ���{Nª?@46EGP�C�FHAZAV8�PVd�FH=6Q6P�?@F�BD= �&�6C��GEGQ68yBD=

PVdRBDC�8�BD=6Q ?@46EGPFHd�8�AVBW?@FDA�AZ8�Q6�6C�8�P�?VF)?@4S8�PZ?@BD=6QRBWAVQ¢Q68��R=6E�?@EGFH=�FD��?V468 ��BDd6�~BDC�E¥BD=³�]_?V468�A\�$E~PZ8DN{?@468�E~=/?VAVFaQ6�6C�?VE~FD=�FD�6Bcb$EG8�7JBD=6=6E~BD=�798�?@AZE~C�EGP�8��a�SEGnWBD�G8�=/?�?VF�BD=6EGPVFD?VAVFHd6EGCQ6EG�e�6PZE~FH=³NRPVEG=6C�8�?@46EGP$8����RBW?VE~FD=IEGP�8����6EGnWBD�G8�=/?�?@F ¬ jD­��$EG?V4�«

�! �� 4 � � ! � � � 4 BD=SQ 7 � � 4 � : ! (

� � WW�� � D � � � ! � F � � 4 ¬ i/­

3�4SE~PJBD�GPVF¦PV4SF§�$P9?@46BW?�?@4S8�AV8�EGP9B²Q6E~AZ8�C�?�C�FHAVAZ8�PZdeFH=SQ68�=6C�8�pe8�?>��8�8�=�46BDAV79FH=6EGC7�BWd6P$FH=�7�BW=6EG�¤FD�~Q)BD=6Q�=6FH=�K E~PZFD?@AZFHd6EGC AV8�OH�6�~BDAVEG��8�7JBDd6P��< �3�v� �����~ �E�9� (HN&E-� 8W�²EG��?V468�b�EG8�7JBD=S=6E¥BW=�7J8�?@AZE~CuEGP:6>E~PZFH798�?@AZE~C#8MN&E�?qC�FDAVAV8LK

PVd�FH=6Q6P�?@F9?@468�Q6E��³�6PZE~FD=lFHd�8�A@B{?@FHA$E�?@PV8��G� ¬ [\�6PZ?cC�FD7Jd6BDAV8 ¬ i/­��$E�?@4 � �y� (�BD=6Q�� ¬ jH­L�]_?V468�A\�$E~PZ8DN/BW=6E~PZFD?@AZFHd6EGCYQ6EG�e�6PZE~FH=BD=6Qb�EG8�7JBD=6=SE¥BD=�798�?@AZE~C�BDAZ8�EG=AZ8��~BW?@EGFH=�BDP�7JBDQ688�¡�d6�GE~C�EG?c468�AZ8DNRp6��?c=SFD?$PZ?VAVEGC�?@��`�8����6E�nWBD�G8�=/?y�� 8�=S8�A@BW�~EG�yBW?VE~FD=��¤AZFH7lg D ?@F�=6FD=�K>�GE~=S8yBDAª7JBD=6E��¤FH�GQ6P�N§�6PZE~=SO�?V468 ��BDd6�~BDC�8LK »�8��G?VA@BD79E

8����RBW?VE~FH=�EGP$?VF9pe8�C�FD=6PVEGQ68�AZ8�Q��¤FHA�?>��F�AV8�BDPVFH=SP�«¬ >§­ �¤FHAqBIAZFHpeFW?�FHAqBW=6FD?@4S8�A�798�CM46BD=6EGCyBD��P\`aPZ?@8�7 ?@4S8�d64/`�PZE~C�BD��dRBWA@BD798�?VAVEGC�PVdRBWC�8E~P�=6FD?^BD����By`aP_EGPVFH79FHAZd646EGC�?@F�B��6=SE~���68+g D C�FH79dRBDC�? ¬ 8W� OS���¤FHA^:D® AVFW?MBW?VE~FH=SP��$E�?@4BD=6OH�G8�P��$46EGCM4�7JBy`¢p�8�46EGOH468�A�?V4RBW?��!­�p6�S?J4RBDP9B²79FHAV8�C�FH79d6�G8�¡�7JBW?V468�7JBW?VE~C�BD�PZ?@AZ�6C�?V�6AV8W°¬ jH­�C�FDAZ?@EGCyBW�R7�BWd6P�BWAV8$E~=/?VAVEG=6PVEGCyBD�G��` 6>C��6A\nH8�Q�PVd6BDC�8#8$�$EG?V4�?@4S8$�-BWC�?Y?@4RB{?�d6BDA@BD798�?@AVEGCPVdRBDC�8�P�FD��Q6EG7J8�=6PVEGFH=)/ � A ¬ 8D� O6��?@468qnaEGPV�RBD�YBWAV8yBWP_�$46E~CM4 C�FaQ689AV8�?@EG=RBD���GF�C�BD�GE~��B{K?@EGFH=�NU8�Q6OD8�P_FHAZE~8�=/?MBW?VE~FH=³Nep6EG=6FaC��6�~BDA�Q6EGPVdRBDAZEG?>`DN³C�FH�~FDA��G��E~=lB 6 EG=/?@8�AV�~BDC�8�Q;8���By`S­^BDAZ8AV8�dSAV8�PZ8�=/?@8�Q²FH=/?@F�jD® 7JBDdSP���3�46EGP�E~=6QS8�8�QI7J8�BD=6P�?@4RBW?�Q68�8�dlQS8��¤FHAZ7�B{?@EGFH=6P$F�C�C��6A�N�$46E~CM4�7��6PZ?$p�8 AV8�d6AV8�PV8�=/?V8�Q�p�`uB�=6FH=�K �~EG=68�BDA�PVd6BDC�8_�$E�?@4�BnWBDAZE¥BDpS�~8_798�?@AVEGCDNRE-� 8D�YBb�EG8�7JBD=6=SE¥BD=�7JBD=6E��¤FH�GQ��3�4S8�OHF�FaQ�=S8��$PqEGP?@4RB{?�?@468�E~79d6�G8�798�=/?@BW?@EGFH=��6PV8�Q�?@FlPZFH�GnD8u?@468�d6AVFHpS�~8�7 s

CyBD=�p�8�Q6EGAV8�C�?@��`¢AZ8�K>�SPV8�Q�?VF²PVFH��nH8�?@4SE~Pqd6AZFHp6�G8�7 �uN�Q68�PVd6E�?@8�?V468u�-BDC�??@4RBW?�$468�=dRBDA@BW7J8�?@8�AVEG��EG=6O�B¦b$E~8�7JBD=6=6E~BD=�7JBD=SEG�¤FH�GQ�N�PV8�nH8�AVBD�$7JBDd6P94RBynH8�?@F¦p�8�?@BD�D8�=�EG=/?@FBDC�C�FH�6=/?�Q68�d�8�=SQ6E~=SO�?V468ldRBWA@BD798�?V8�A�AVBD=6OH8InWBD�G�68WN��$E�?@4 BDAZ8l=6FD?uQ6E~PZC��6PZPV8�Q 468�AV8¬ PV8�8 < j 'A@^�¤FDA�?@4S8lQ68�PZC�AZE~dS?VE~FD= FW��PVFH798²BDQSQ6EG?VE~FD=RBD��7J8�CM4RBD=6EGPV79P�?@F¢7JBD=6BDOH8)?V468dRBDA@BW7J8�?@8�A$?VA@BD=SPZ�¤FHAZ7�B{?@EGFH=�BW?�?@468�7JBDd6P$EG=/?@8�AZPV8�C�?@EGFH=U­L�

���TZ����

Page 17: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

������������� ��������������������������� �!��"�����#��$%��&!����')(*� � +,��'-����(.� >§k

�uµ $-zSw%2 ¹�J ¸ 2 w D �Uµ;J�µ x§z $ D z6x � ¹�J 2-| ��z54�v � �)FDAV8uOH8�=68�AVBD�G�G`DNY�¤FDA�BIQ6E��e8�AV8�=�K?@E~BDp6�G8J7JBDd e� h 0 �$468�AV8y0 EGPB�b$E~8�7JBD=6=6E~BD=�7�BW=6EG�¤FD�~Q�FD��Q6E~798�=6PVEGFH=�-�$46E~CM4�798�?VAVEGC_EGP��$AVE�?V?V8�=��HN���8 7JBy`�C�FH=6PVEGQ68�A�?@468_8�=68�AZOD`uQS8�=6PZEG?>`�FD�ª?@468c�¤�6=6C�?VE~FD=�«

�R �� ��� � �� � ! � ����� � � k��� � \ ����� Y��\�a�j \���� � Y �\�a !BD=6Q�?@468 �¤�6=SC�?@EGFH=�8�=68�AVOD`�«�I � � |� �R � � ���R����)575�X� � D

�$46E~CM4)AV8��¥BW?V8�Q �&�6�~8�A$8����RBW?VE~FH=)E~P�«� $� � m ! � �� � \\�a"! D � � � ! � \ � �\�a"! F L � ! � m � �� �� � � \�� �\�a j \�� �\�a"! �l*�$468�AZ8 ���� � �� m�� � � � D \�� ���\�a�� L \�� � �\�a � u \�� � �\�a � F E~P�?@468 � 46AVEGPZ?VFD�³8��³P\`�7�peFD�~P�FD�ª?V468_798�?\KAVEGC��D�

B FH�~��?@EGFH=6P�?@Fq?@4S8�PV8�8����RB{?@EGFH=6PcBDAV8 C�BD�~�G8�Q)4RBDAZ7JFD=6E~C�7JBDd6P��< � ��� � �$E�?@4�E�?@P�P\?MBD=SQRBDAVQ�7J8�?@AZE~Cu��8uFHpS?@BDEG=¢?@468uOD8�FaQ68�PZE~CuC��6AZnD8�P9FD��0

BDP�PVFD�~�S?VE~FD=6P�N&�$46EG�~8�E��%0 � g ��8�AV8LK>FHpS?@BDEG=¢?@468 ��BDd6�~BDC�8�K »�8���?@A@BW7JE�FHd�8�A@B{?@FHA��<>=�?VAVEG=6PVEGCyBW�~��`HNU?@46EGP�8����RBW?VE~FH=)798yBD=6P � �����&�R � � �Q�K*9�$4S8�AV8,� E~P$?@4S8�Q6E��e8�AV8�=/?@E~BD�FD� <?>§k%@ �± �G?V46FH�6OD4�FH�S?qFD��?V468�PVC�FHd�8uFD�$?@468�d6AV8�PV8�=/?JPZ?V�6QS`DN�E�?��$EG�~��pe8uBD=�E~=/?V8�AV8�PZ?VE~=6O

de8�AVPVd�8�C�?@E�nH8�FD�$?@468�dSAV8�PZ8�=/?9��FDAV��?VF²OH8�=68�A@BD�GEG��8��$4RBW?q�$EG�~��pe8�Q68�nH8��~FHd�8�Q�E~=¢?V468PV8����68���?VF)?V46E~P���E~=SQ�FD��8����RBW?@EGFH=6P�N�?V468��W8�`�d6AZFHp6�G8�7 pe8�E~=SO)?@F�CM46FaFHPV8�B�AZ8��G8�nWBD=/?�~EG=68yBWAVEG�yBW?VE~FH=�FD�!?@468�=6FD=�K>�GE~=S8yBDA�?V8�AV7 � ! � m � �� �� � � \�� �\�a�j \�� �\�a ! N68D� O6�&?@F9C�FD=6PVEGQ68�A�«�

! �� 4 � � ! � � � 4BD=6Q7M�� 4 � m ! �� � \\�a ! D � ��� ! � F L �� l � ! � m � �� 4 � � \ � � �\�a�j L � � ! m � �4 � � � \ � � �\�a�j!n � � 4�$468�AZ8 � EGP�BJdSAV8�naEGFH�6P�8�P\?@EG7�B{?@EGFH=)FW� NUBDP$Q6EGPVC��SPVPV8�Qld6AZ8�naE~FD�6PV��`H�� 8��$E~�G�6=6FW?&�¤�6AZ?V468�AYQ68�nH8��GFHd9?@46EGPYdeFDE~=/?Y468�AV8DN�p6��?�PZE~79d6��`���BD=/?@8�Q�?@F�d�FHEG=�?YFD�S?

de8�AVPVd�8�C�?@E�nH8�P^FD�!?@468�d6AZ8�PZ8�=/?_BWd6d6AVFHBDCM4��

� 0 # �����$# �$"q�!��"�� �������������" ���²�������������

<>=l?@468�d6AV8�n�EGFH�6P PZ8�C�?@EGFH=²?@468�EG79deFDAZ?MBW=6C�8�FW��B�C�FHAZAV8�C�? EG79d6�~8�798�=/?MBW?VE~FD=�N�?@4��6P BWd�Kd6AVFy¡�E~7JBW?VE~FD=�N�FD� QSEG�e�6PVEGFH=�FHde8�A@BW?VFHAVP��©< ?�BDd6d�8yBDAZ8�Q�BDP9?@4S8)�W8�` d6AVFDp6�~8�7�N��$468�=C�FH=6PZE~QS8�AVEG=6O�PVF�C�BD�~�G8�Q 6 X�® � 8²BDd6d6AZF/BDCM468�Pu�¤FHA�?V468lC�FD7JdS�S?MBW?VE~FD= FW��6>dRBDAVBD798�?@8�A7�BWd6P98@� ��8�?�SP=6Fo�fQ6EGPVC��6PVP�4SF§��?VFIEG79d6�~8�798�=/?�?@4S8�PV8�FHd�8�A@B{?@FHAZP�EG=¢BD= 8��JC�EG8�=/?p6�S?cBD�GPVF9p6EGFH�~FDOHE~C�BD�G�G`�dS�¥BD�SPVEGp6�~8���Bo`D�

ZTZ\[�],^�_V`�a

Page 18: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

>oi ����� �����%�������

������������ ���������������������������������! "�$#&%('��)���*���+��������

��J wyx ¹ º !| 2 J � 2 J w µ � x§z $9ºT2 I !v 2 ¹�J ¹ 4 µ x{z�w ¹ xWv � ± PJQ6EGPVC��SPVPV8�Q dSAV8�naEGFH�6PZ�G`DN$��8C�FH=6PZE~QS8�AcB9OD8�=68�A@BD�ªPZ8�C�FD=6QIFHAZQ68�A�QSEG�e8�AZ8�=/?@E~BD��FHd�8�A@B{?@FHA�«

h ��, � E ,i � � :� 7 � � 4 W 4W � � L : ! � � ! �� 4 W �� 4W � ! W � �

E~=6C��~�SQ6E~=SO >�PZ?�FHAZQ68�A FHd�8�AVBW?@FDA_E~79d6�G8�798�=�?@BW?@EGFH= ¬ E-� 8W���$E�?@4 � ��*/­cEG=�FD�6A Q6EGPVC��SP\KPVEGFH=��� FD=6PVEGQ68�AZE~=SO�?@4S8�®^EGA@BWC�QSE~P\?@AVEGp6�S?VE~FD=K�3k��� ¬ PZ8�8 < j��@ �¤FHA�B�AV8�naEG8��c­u��8�7JBy`

�¤FHAV7JBD�G�G`�AV8��$AVE�?@8�?@46EGP$8����RBW?VE~FH=³«h � E ,i � � : � - � 4/. 4 � � � V : 4 - � 4 k�fu�� � 4 k� ��� ��$EG?V4�«

- � 4 � :� 7 � � 4 W�� 4W � � L : ! � � ! �� 4 W � � 4W � ! W � �

�$468�AZ8 . E~Pc?@468�C�FH=/nHFD�~�S?VE~FD=�dSAVFaQ6�6C�?��^<>=l��FHAVQSP�N³?V468�AZ8�E~P^B�Q6EGAV8�C�? 7JBW?V468�7JBW?VE~C�BD�BD=6Q�CyBD=SFH=6EGCyBD�ª�GE~=S��pe8�?>��8�8�=IQSEG�e8�AZ8�=/?@E~BD�!BD=6Q�E~=/?V8�OHAVBD�ªFHd�8�A@B{?@FHA��»�BDPV8�Q²FH=)?V46E~P^AV8�7JBDAZ��BD=6QI�¤FH�G�GF§�$EG=6O < k�@2Ne��8qBDd6dSAVFy¡�E~7JBW?V8�?@4SE~P_QSEG�e�6PVEGFH=lFDd�K

8�A@B{?@FHA�p/`�BD=�EG=�?V8�OHAVBD�ªFHd�8�AVBW?@FHA�FW��?V468 �¤FHAV7�«

� � �, � E k��� � � � � � V : 4 - x� 4 k� � ��� � 4 k� � u 4 ��� � � ��¤FHA�PVFH798�Q6EGPZ?VAVEGp6�S?@EGFH= - x� 4 k� ��� ��?VFJp�8�Q6EGPVC��SPVPV8�Ql=6Fo���� �G8yBWAV��`HNUEG� - x� 4 k����� � � - � 4 k�fu�� ��NC��, � E ,i � �(�0, � E ,i � �9"����7!F$>�� | � V21�3 S547698;: <�:>=?6 BK>��*��#O7!� | � VA@ � 4 4B6 >��E�$��� @ � 4 ��> 7W=E�E�$��7!������U9A�E�O7!������� �! �CW�E�I7��Z@ ��>������E9AFA������� @A�����E�H7!���E����>�B"7b>����I7!�EGH#K� ����P%7!��@ @A�����E�H7;D�������FE

| � V m 4 @ � 4 /HGJILK,5 � 3 4 /HK,5MIm3 4 /HG^5 ��N K 4| � V m 4 @ � 4 /HGJILK,5D3 4 /HK,5 N KOI m 4 � � V @ � 4 /HGJIPK,5 N KQ R)S Tr �

3 4 /HG^5 4| � V m 4 @ � 4 /HGJILK,5D3 4 /HK,5 N K>�#$�dPa><��#O7!�a��#$� � PQ��TA����������F$><�E������GH�I7!=6 �����0>7!���?��N�FO7!=\[

���TZ����

Page 19: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

������������� ��������������������������� �!��"�����#��$%��&!����')(*� � +,��'-����(.� >�

± P�B�C�FH=6PZ8����68�=SC�8DN�?@468S6>8�¡SBDC�?989FHd�8�AVBW?@FHA:�0, � E EGP�B�dRBDAZ?VE~C��6�~BDA CyBDPZ8�FW��?V4686\BDd6dSAVFy¡�E~7JBW?V8�8 FDde8�A@BW?VFHA?� �, � E ���Fo��8�nH8�A�N�E�?�E~P�=6FW?)d�FHPZPVEGp6�~8 E~= d6AVBDC�?VE~C�8�?VF�EG79d6�~8�798�=/?lPZ�6CM4 B 6 d6�6=SC�?@�6BD�?8FHde8�A@BW?VFHA�pe8�CyBD�6PZ8^�$4RBW?�E~P�OHE�nH8�=�B{?�?V468^EG79d6�~8�798�=/?MBW?VE~FD=��G8�nD8��eE~P�PV8�?�FD� 6 PVBD79d6�G8�P98@��)FHAV8�d6AV8�C�EGPV8���`HN���8�7�6P\?YC�FH=6PZE~QS8�AYB_PV8�?YFD��798yBDPZ�6AV8�P�N�Q68��6=68�P�BDP�EG=/?@8�OHA@BD�anWBD�~�S8�P&FD�?@468�C�FD=�?VE~=��6FD�6Pc�¤�6=SC�?@EGFH=���3�46EGPc�G8�OHE�?@EG7JBW?@8�P�?V468��-BDC�?$?@46BW?�?@468�Q6EGPVC�AV8�?V8�nD8�AVPZE~FD=IFD�B�Q6E��³8�AV8�=/?VE¥BD��FHd�8�A@B{?@FHAcE~P^BDd6d6AZFo¡�EG7JBW?@8�Q BWP_BD=lEG=/?@8�OHA@BD��FHd�8�A@B{?@FHA��^£R�6A\?@468�AV79FHAV8WN=a�S7J8�AVEGCyBD��nDBW�~�68�P_C�FD=�?@BDEG=6P_�6=6C�8�A\?MBDEG=/?@EG8�P�NªE�? EGP B�AZ8yBDPZFH=RBDp6�G8�CM46FDE~C�8�?@F 6 BonD8�AVBDOH8�8PV8�nD8�AVBD�SnWBD�G�68�P&EG=qFHAVQS8�A�?VF PV79FaFD?@4?V468�PZ8��6=6C�8�AZ?@BDEG=�?VE~8�P��Y3�468�PV8$BDAZOH�6798�=/?@P&8L¡�d6�¥BWE~=?@468�CM46FHEGC�8�d6AZFHdeFDPV8�Q�p/` < k�@ �

� zRv 2-|S4!x ¹ 4 µ xow32 µ v ¹ ��w D µ 2 J w µ � x§z $ ¹ 4 µ x§zSw ¹ x � £RFHA�PZ�6CM4JBD=qBDdSd6AVFy¡�E~7JBW?VE~FD=�?@Fpe8���8��G� K>Q68��R=68�Q³Na?V468�EG=�?V8�OHAVBD�67��6PZ?Yp�8�C�FD=�nD8�AZOH8�=/?y� ��8�AV8WNH?@F_FDpS?MBDEG=�?@4SE~P&d6AZFHd�8�AZ?>`DN��8²BWPVPV�S7J8l?V4RBW? - x � ��� �946BDP�B�p�FH�6=6QS8�Q�PV�Sd6deFDAZ? �cN�?@4��6P ��'7����� $"� $ ��' � � ������ k������� � �=��%$���� ����NRE-� 8W� ��� � k� �������<>=�BDQSQ6EG?VE~FD=�N�?@46EGP�FHd�8�A@B{?@FHA_7��6PZ?�p�8��GFH=6O�?@F�Bu��8��G��K Q68��6=68�Q��¤�6=6C�?VE~FD=RBD��PZdRBDC�8W�

�c8�AZ8��¤FD�~�GFo�$E~=6O*< k%@eBDO/BDEG=�N/��8�C�FD=6PVEGQ68�A�B�PZ�6p6PZ8�?�FW�³?@4S8cQ6EGPZ?VAVEGp6�S?VE~FH=SP�«�?@4S8 B FHpeFD�~8�n�¤�6=6C�?VE~FD=)PZdRBDC�8+���{� �" g D ����<>=)�-BDC�?yN6��8BDAZ8�OHFHEG=6OJ?VF9FHpS?MBWE~=�PVFH�G�S?VE~FH=SP��$46EGCM4²BDAZ8FHAVQ6EG=RBDA\`�Q6E��³8�AV8�=�?VE¥BWp6�~8��¤�6=6C�?@EGFH=6P��± P\?@8�d��¤�SAZ?@4S8�A�N6?V468 d6AZ8�PV8�=/?cEG=/?@8�OHA@BD�³FHde8�A@BW?VFHA�EGP�nH8�AZ`�8�BDPZ`u?VFqE~=/?V8�AVdSAV8�?�E�����8

�$AVE�?@8D« h � �, � E ��� i � � : 4 l � � V - x� 4 � ��� � 4 � ���R� n u ?- x� 4 ��� 4 ����$EG?V4 ?- x� 4 ��� � | � V - x� 4 k� ��� ��� ����< ?�=6Fo�¯BDd6d�8yBDAZP$BDP$BD=�FHd�8�AVBW?@FHA��$46E~CM4 � ��(����"&P� ����U���?�A+"&P� $ (*� ��' ������� �.��� ���"'1$,� ( ��'-� �:& +-�:� ������'7� � $ ������� �:��&��&�3�4SE~P$PVEG79d6��`�C�FHAZAV8�PVd�FH=6Q6P�?@Fq?V468 �6PV�6BD�ªE~79d6�G8�798�=�?@BW?@EGFH=�FD��?@468 ��BDd6�~BDC�E¥BD=�FDd�K

8�A@B{?@FHA�N�E2� 8 � �¯»��S?���8)��FHAZ��FH=�B�OH8�=68�AVBD�GE~��8�Q©�¤FHAZ7 E~=©FDAVQ68�A�?@F�E~79d6�G8�798�=/?BD=6EGPVFD?VAVFHd6EGC�Q6E��³�6PZE~FD=)798�CM46BD=6EGPV79P��

�8�?YBD=6FW?@468�A�PZ?V8�dq�¤�6A\?@468�A�NHEG=qC�FH4S8�AV8�=6C�8��$E�?@4�?V468�d64/`aPVEGCyBW�R�¥By� FD�UC�FD=6PV8�AZnWBW?@EGFH=d6AVFHd�8�A\?>`��¤FHAcQSEG�e�6PVEGFH=ldSAVFaC�8�PZPV8�P�N³��8�7�SPZ?_EG=/?@AZF�Q6�SC�8qBX6 C�FD=6PV8�AZnWBW?@EGFH=)d6AVFHd�8�A\?>` 8E~=JFHAVQS8�AY?@F�OH�RBDAVBD=/?>`q?@468�PZ?@BDp6EG�~E�?>`9FD�e?@468�=��6798�AVEGCyBW��C�FH79d6�S?@BW?@EGFH=6P��&<>=���FHAVQ6P�Na��8��BD=/?&?VF pRBD�~BD=6C�8�?V468 nWBD�G�68�P&E~=�?V468�E~=��¤FHAV7JBW?VE~FH=qQSEG�e�6PVEGFH=9d6AZF�C�8�PVP�N/E2� 8D��OH�RBDAVBD=/?>`?@4RBW?!E�����8�AZ8�Q6�SC�8Y?@468&nWBD�G�68�B{?�FH=68��~FaCyBW?VE~FD=�E�?��$E~�G��E~=SC�AV8�BDPV8�8��GPV8��$468�AZ8�BDC�C�FHAZQ6E~=SOH�G`DNBDP�E~= B �R�6EGQ �$46EGCM4�dRBWAZ?@EGC��G8�P�BDAZ8J=S8�E�?@468�A�C�AV8�BW?@8�Q�=6FHA QS8��G8�?@8�Q���3�4SE~P�pRBD�~BD=6C�8JEGPFHpS?MBWE~=68�Q��$4S8�=�?@468�BynH8�A@BDOH8�nWBD�G�68�FD��?V468�Q6E��³�6PZE~FD=)FHd�8�AVBW?@FDA�E~P$8����RBW��?@FJ��8�AZF6�

ZTZ\[�],^�_V`�a

Page 20: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

> � ����� �����%�������

<>=�FHAZQ68�A�?@FqnD8�AVE�� `�?@4SE~P$C�FD=6PV8�AZnWBW?@EGFH=�d6AVFDde8�AZ?>`�«| � V � �, � E k����� ��l*

��8�C�FD=6PVEGQ68�A$?@46BW?�?@468�FHd�8�AVBW?@FDA�4RBDP�?@468 �¤FH�G�GF§�$EG=6O�BynH8�AVBDOH8�PZ`a79798�?VAZ`�«

� � V - x� 4 � ������� �O� � � V - x� 4 ������ ���R��$46E~CM4 E~P�8��a�SEGnWBD�G8�=/?�?@F�?@4689C�FH=6PV8�AZnWBW?VE~FH=�d6AZFHde8�AZ?>`DN�BWP�?V468qAV8�BDQ68�A�C�BD=¦nH8�A\`¦8yBDP KE~��` nH8�AZEG� `D� <>= ?V468��~E�?@8�A@BW?V�6AV8 < jHk�N_k�@2N�BD�S?V46FHAZPICM46FaFHPV8¢B�PZ`a79798�?VAVEGC¢FHd�8�A@B{?@FHA�«- x� 4 k� ��� � � - x� 4 k�Q�����LN�BD��?@46FH�SOH4�?V468 6>8�¡SBDC�?98�FHd�8�A@B{?@FHA - � 4 nH8�AVE��R8�P�?@468IBonD8�AVBDOH8PZ`a797J8�?@A\`�d6AZFHd�8�AZ?>`�p6��?�EGP=6FD?�PZ`a79798�?VAVEGCD�I< ?E~PB)79FHAZ8�OH8�=68�AVBD�YCM46FHEGC�8�?VFIEG=�K?@AVFaQ6�6C�8uB{K d6AVEGFHAZE�B���8�BD�D8�AqC�FH=6P\?@AVBDE~=/?�N�E~=�FDAVQ68�A�?@F)4RBynH8�B�7�B§¡SEG7JBD��=��67�pe8�A�FD�Q68�OHAZ8�8�P�FD�e�¤AV8�8�Q6FH7 ?@F�FHdS?@EG79E~��8cFD�6AYPVFH�G�S?@EGFH=6P�� ��8�46Fo��8�nH8�A��$EG�~�UFHp�?MBDEG=�P\`a7J798�?ZKAVEGC�FDde8�A@BW?VFHAVP�EG=�?V468�PV8��a�S8��-�

�uµ $-zSw%2 ¹�J v�t µ w ¸�µ�µ"J 2 J w µ � x§z $&z J º�º 2�I µ x µ"J w%2-z $ ¹ 4 µ x§zSw ¹ x{v � <>=�FHAZQ68�A�?VF�AV8LK�¥BW?V8J?V468�QSEG�e8�AZ8�=/?@E~BD��FHde8�A@BW?VFHAJ�0, � E �$E�?@4¢E�?@P�EG=�?V8�OHAVBD��BDd6d6AZFo¡�EG7JBW?@EGFH=4� �, � E N�¤FH�~�GFo�$E~=SOQ< k3@�BDOHBDE~=³NS�G8�?��SP�E~QS8�=/?@E�� ` ��, � E �$EG?V4u?@468_3�By`a�~FHA�8�¡�dRBD=SPVEGFH=�FD� � �, � E BW?$PVFH798�FHAZQ68�A3�a�

��8�AZ8DN$��8²C�FH=6PVEGQ68�Au?@468l3�By`a�~FHA�8L¡�dRBD=6PZE~FH= FD� ��k�Q�����f� ��� u ���J�$E�?@4AV8�PZde8�C�?�?@F"�u)�&�<>=�FD?@468�A���FHAZQ6P�N���8uC�FH=6PVEGQ68�A�?@4S8��¤FH�G�~Fo�$EG=6OlCM4RBW=6OH8�FW��nWBDAVE~BDp6�G8�P * � �)u �

BD=6Q�N6PVBy`HN��%�'k� L ��� � A E~=�FHAVQS8�A�?@Fq�$AVE�?@8 ?V468�8�¡�dRBD=6PZE~FD=)�$E�?@4�AV8�PZde8�C�?�?@F *Y«� �Q����� � m o q S q r � \ ^ �S:t ������� � r Y k�Ou�����S L� J;J �Xuv� J;J o �BD=6Q�B9�¤8�� BD�GOH8�p6A@B�`aE~8��~QSP�«

� ���, � E � � � : 4 r � o:q S q r � W�S 4?QP � � V - x� 4 k� � ���E �fu���� S � � L h w%o i ��$468�AZ8�?V468�AZ8�7JBDEG=6Q68�A w>x� 4 FD��?@46EGP�8�¡�dRBD=6PZE~FD=l7JBo`�p�8��$AVE�?V?@8�=I�6PZE~=SOuBD=�E~=/?V8�OHAVBD��¤FHAV7�«

� o 3 � � 4 : 4 r � :q S q r o{z �� '��<�� � � V � } ���c� � @ x� 4 /HG 8 K,5O/HK IG^5 S /�� I��65 o 1 S 3 4 /HGY'��U/HK I G^5�5 N K N �

���TZ����

Page 21: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

������������� ��������������������������� �!��"�����#��$%��&!����')(*� � +,��'-����(.� >�'£RAZFH7 ?@468^BDPVPZ�679dS?@EGFH=6P���8_46BonD8_A@BWE~PZ8�Q�N�pe8�CyBD�6PZ8c?V468^PZ�6d6d�FHAZ?�E~P�E~=6C��~�SQ68�Q�EG=�B

pRBD�G��FD��A@BDQ6EG�6P ��N6?@4S8�AZ8�7JBDEG=6Q68�A�EGP$peFD�6=6Q68�Q)p/`�?@4S8�P\?MBD=SQRBDAVQ�C�FD=6Q6E�?@EGFH=�«J�J w%o J�J ��� ����� � o�� � J;J J�J o�z ��� � ¬ H­

�$468�AZ8 � EGP�B��S¡�8�QI���RBW=�?VEG?>` < k�@2�< ����8�AZ8��$AVE�?@8�?@4S8�QSEG�e�6PVEGFH=�FHd�8�A@B{?@FHA��$E�?@4�?@468�PVBD798�=SFD?MBW?VE~FD=6P�«

h ��, � E i � � : 4 r ��� :� ! 7 � � 4 W � ! 4 L :� j z � ! �

! �� 4 W � j z � ! 4����8�8yBWPVEG�G`�EGQ68�=/?VEG� `�?V468 ?>��FJ8�¡�d6AZ8�PVPZE~FD=6P_BD=SQ)FHp�?MBDEG=�«� � J ? J � A | � V - x� 4 k����� �Ek�Xu�����S � � � * o < � rA@J ? J � A �

! �� 4 ��� u �� | � V - x� 4 � ��� �Ek�Xuv��� � j z � ! � � � * o < � j�@J ? J � ( 7 � � 4 ��� u | � V - x� 4 k����� �Ek�Xu���� � ! � � � * o < � >�@

�$468�AZ8+* o � |� k�Ouv��� o ����E~P�Bq=68�OD�~EGOHEGp6�~8����RBD=/?@E�?>`��¤FHA�PZ�S�JC�EG8�=/?@��`�PV7JBD�G� ���3�4S8�PV8qC�FH=6Q6E�?@EGFH=6PX< � rA@U< � j�@&BD=SQ < � >V@��$46EGCM4�BD�G�~Fo� ?@F�E~Q68�=/?@E�� `I�6dl?VF�?@4S8 �§?@4

FHAVQ68�A�?@468�?>��F�8�¡�d6AZ8�PVPZE~FD=6P�NªBWAV8��6PV8�Q)?@FJQ68�AVE�nH8QSEG�e8�AZ8�=/?_PZFH�~��?@EGFH=6PcBDPcQS8�?MBWE~�G8�QlEG=?@468�PV8����68��-�3�4S8�`q4RBynD8$?V468�EG=�?V8�AZ8�PZ?VE~=SO�d6AZFHd�8�AZ?>`�?@F p�8G6 Q68�C�FH�Sd6�~8�Q;8�EG=q?@468�PV8�=SPV8$?@4RBW?�?@468�`

BD�~�GFo��N��¤FHA�BIOHE�nH8�=M ;C��� � ?@FlAZ8��~BW?@8�8yBDCM4 - x� 4 ?VF)?@4S8uC�FHAZAV8�PVd�FH=6Q6EG=6O 7 � 4 BD=6Q�� � 4E~=6QS8�d�8�=6Q68�=/?@��`H�£R�6A\?@468�AV79FHAZ8DNW�¤AZFH7 ¬ H­�N§��8�4RBynH8�Bcp�FH�6=6Q�FH=�?@468Y8�AZAVFHA��¤FHA�FH�6A!BDdSd6AVFy¡�E~7JBW?VE~FD=�N

BDP�Bq�¤�S=6C�?VE~FH=�FD� � o�� � E2� 8D�G«J;J ��, � E u�� �, � E J�J ��� ����� � o�� � J�J J;J o{z ��� ��¤FHA$B��S¡�8�QIC�FH=6P\?MBD=/? � NRPZE~=SC�8 � ��� k� �������3�4SE~P�N��¤FHA�B9C�FonH8�AVEG=6O�FW��?@4S8�dRBWA@BD798�?V8�A�PVdRBWC�8�p�`�PZ�6d6d�FHAZ?VP ����� k� ������FHAVO/B§K

=6E~��8�Q E~=�PVFH798J798�PV4³N�EG=6Q68�8�Q�BD�G�GF§�$P ?VF)C�FH=6C��G�6Q689?@46BW?��~EG7 x � � � �, � E � ��, � E �<>=���FDAVQ6P�N�?@468�BDd6d6AZFo¡�EG7JBW?@EGFH=�C�FD=�nD8�AZOH8�P�?VF§��BDAZQ6P?@4S8�8�¡SBDC�?qPVFD�~�S?VE~FD=��$468�=¢?V468PVEG��8�FD�!?@468�798�PZ4)8��~8�7J8�=/?@PcnWBD=SE~PZ468�P���<>=�d6A@BWC�?@EGC�8WN6?@46EGP$798yBD=6P�?V4RBW?=&�+-�.����&!& ���=& +-�(*� � + � � �%�����;&�����'��T& +-������&�& ��� &�+-� ��� ��� �����( ��&�����'R��£UBDEGA&8�=6FD�6OH4�N/p6��?YE~=Jd6A@BWC�?@EGC�8�?V4687J8�PV4�AV8�PZFH�G�S?@EGFH=uEGPYE~=6QS8�8�Q��~EG79EG?V8�Q�� � FH=SPVEGQ68�AZE~=6O�BD=�EG7JBDOH8$�¤FHAYE~=SPZ?MBW=6C�8WN�E�?�798�BD=6P?@4RBW?�?V468�46E~OD468�P\?�?V468�=a�S7p�8�A�FD��dSE�¡�8��GPc?V468�pe8�?V?V8�A�?@468�d6AZ8�C�E~PZE~FH=³��3�46EGPcEGP�BJODF�FaQ

ZTZ\[�],^�_V`�a

Page 22: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

jDr ����� �����%�������

BDQSnH8�AZ?VE~PZE~=6Oq�¤FHA�46E~OD4�AV8�PZFH�G�S?@EGFH=�PV8�=6PVFHAZP���»��S?�EG?�QSF�8�P�=6FD?�?V8��G�³�6P��$4RB{?�?@FqQ6F�BW?$BOHEGnD8�=�AV8�PVFH�G�S?@EGFH=���3�46EGP$E~P$OHFHEG=6Oq?@FJp�8 Q6E~PZC��6PZPV8�Q²E~=�?@4S8�PZ8����68��2�<>=l?V468q�GEG?V8�A@B{?@�6AZ8Q< jDk�Nªk%@ N³?>��F�PVFH�G�S?VE~FH=SP 4RBynH8qp�8�EG=6O�Q68�AZEGnD8�Q¦�¤FHAc?V46EGP_E~=/?V8�OHAVBD�

FHde8�A@BW?VFHA�N�EG= ?V468�C�BDPV8J�$468�AZ8�7 � m ! \ E\�a�j BD=6Q��¤FHA�PVC�BD�¥BWA��¤�6=SC�?@EGFH=6P�FH=6��`H� � FD=�K?@A@BWAZ`q?@F�?@4S8^d6AZ8�PV8�=/?$BDd6d6AZF/BDCM4�N�?@4S8�PV8cPVFH�G�S?VE~FH=SP�Q6F�=6FD?�C�FHAZAV8�PZdeFD=6Q�?@F�B�p�FH�6=SQ68�QPV�6d6d�FHA\? �fBD��?@46FD�6OH4�NYEG=6Q68�8�Q�N&?@468�AZ8��~BW?@8�Q�E~=/?@8�OHA@BW��EGPqPZ?@EG�G��C�FH=/nD8�AVOD8�=/?y�¢] =¢?V468C�FH=/?@AVBDAZ`DNa?V468�`�BDAZ8cAZ8��~BW?@8�Q�?@F�C��S?\K>FD���¤�6=SC�?@EGFH=6P�Q68��6=68�Q�BW=6Q�EG=/?@8�ODA@BDp6�G8^EG=yg D ��<>=FD?@468�A&��FHAZQ6P�N�?@4S8cCM46FDE~C�8cFD�e?@468$PZ�6d6d�FHAZ?�E~PYEG79d6�~EGC�E�?@��`JAV8�BD�~EG��8�Q��$468�=uCM46FaFHPVEG=6O�?@46EGPC��S?\K>FD�l�¤�S=6C�?VE~FH=³�± PqBIC�FH79dRBDAVEGPVFD=¢�$EG?V4¢?@468uPZFH�G�S?@EGFH=�FH=�Blp�FH�6=SQ68�Q�PZ�6d6d�FHAZ?qQS8�AVE�nH8�Q�E~=�?V468

PV8����68��2N��~8�?q�6P9p6AZE~8 �6`¢AZ8�naE~8�� ?V468�PZ8�PZFH�G�S?@EGFH=6P�� �c8�AV8u��8�C�FH=6PZE~QS8�A9FH=6��`�B²PVC�BD�~BDA�¤�6=6C�?VE~FD=d�BD=6Q�FH79EG?$?@4S8�AZ8��~BW?@8�Q)EG=6Q6EGC�8�P��C.D µ � zAg 2¤zSw�v ¹ $�ªw32 ¹�J �_3�4SE~P_PZFH�G�S?@EGFH= < jHk�@2N³B{?^?@4S8�FHAVEGOHEG=IFD�&?V468���FHAZ�)FD� < k�@2NeEGP

FD�!?@468 �¤FHAZ7�«

- x k� ��� � � : ! � � � V�� ! � ��� W���k�fu ���W � ! W�����iu�� �W�� � � ��$468�AZ8 ?@468�C���?ZK>FW�l�¤�6=6C�?@EGFH=��qnD8�AZEG�R8�P | � V �ES���k�j���R�O��� * ( � J ? J � �( ? �M*3�46EGP�PZFH�G�S?@EGFH=�E~P�?@4S8 6>79FHAV8 OH8�=68�AVBD��8�E~=�?V468�PV8�=SPV8�?@4RBW?�E�?$4RBDP$p�8�8�=�Q68�AVE�nH8�Q�¤AVFH7 C�FH=6Q6E�?@EGFH=6P < � rA@U< � j3@�BD=SQ < � >�@ ¬ 4S8�AV8C�FH=/nH8�AVOH8�=6C�89EGP^=6Fo� Q6�68�?@F�?V468C��S?\K>FD���¤�6=SC�?@EGFH=udSAVFD�R�G8DNa=6FD?�?@4S8c�-BDC�?�?@46BW?���EGP�p�FH�6=6Q68�QU­Y�$E�?@4uB�79E~=SE~7��67FD��BDQ6Q6E�?@EGFH=RBD�³C�FH=6P\?@AVBDE~=/?VP��± ��?@46FD�6OH4¢�¤FHAZ7�BW�~��`¢PZE~79d6�G8DN�BDPqAV8�BDQRBDpS�~8�FH=¢?V468u�¤FHAZ7�6�~BSN&?@46EGPqPVFD�~�S?VE~FD= EGPnH8�AZ`)468yByn�`)?VF�EG79d6�~8�798�=/? p�8�CyBW�6PV8qBJ=��6798�AVEGCyBW��EG=�?V8�OHAVBW?@EGFH=lEGP^AZ8����6EGAV8�Q¦BW?8yBDCM4�PZ?V8�d)E~=�FHAZQ68�A�?@F9FHp�?MBDEG= - x � ��� ���

C.D µ F µ ��¹�J º�v ¹ $�ªw32 ¹�J v �^3�468�PZ8BDAZ8�PVFH�G�S?@EGFH=6P:< k�@�FD�!?@468 �¤FHAZ7�«

- x k� ��� � � (� D z � : ! � � - ! �� � L �A �� ! �� �Ou��

� ¬ 468�AV8&8��a�SEGnWBD�G8�=/?@��` ��8�C�BD=�CM46FaFHPV8 �� k- ! � ��� L - ! � k� ���³E~=6P\?@8�BDQ�FW�3- ! � D Y z �� F ­�$EG?V4�«

� ����u / L A � ��� �/�R � ����D � D�$EG?V4 F��U*�� (��

���TZ����

Page 23: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

������������� ��������������������������� �!��"�����#��$%��&!����')(*� � +,��'-����(.� j;>

< � � *�N^��8�AV8LK>FHp�?MBDEG= � ! � � \do��\�a j \�a ! �$E�?@4 B C��S?ZK FD� �¤�6=6C�?@EGFH= ���$46E~CM4C�FHAZAV8�PVd�FH=6Q6P�?@F9?@4S8�dSAV8�naEGFH�6P�CyBDPZ8< � �'(HNo��8�FHpS?@BDEG= � ! � � � ! � !�� J�J � J�J ���$468�AV8Y?@468YC���?ZK>FW���¤�6=6C�?@EGFH= � nD8�AVE��R8�P�«

� �����D z � z � S �

����

�� �� V� T � D � � �D � D z � � ?��'(* ( � A ? � �

�$AVE�?@EG=6O � - Di� D�� V�� o� � D�� � z � �B �6CM4�C��S?ZK FD�I�¤�6=SC�?@EGFH=6P�BDAV8_C�BD�GC��6�~BW?@8�Q��¤FHA�EG=6PZ?@BD=6C�8 C�FH=6PZE~QS8�AVEG=6OJBd6AZFD�R�G8_FD�?@468��¤FHAV7�« �

�� � � ����� o m � � r o� r � � � � � � �$E�?@4 � � *J�$468�AV8�?V468C�FH=6P\?MBD=/?@P � �BDAV8 8�BDPVEG��`�FHpS?MBWE~=�?@4S8��GEG=68yBDA$8��a�6BW?@EGFH=6P��

3�46EGP�PVFD�~�S?VE~FD=�EGP�7�SCM4u8��JC�EG8�=/?�?VFEG79d6�~8�798�=/?�p6�S?�4RBDP�?@46AZ8�8�Q6A@By�$pRBWCM�aP��¤FHAFH�6A�d6�SAVd�FHPV8W«¬ E¥­�EG?�Q6Fa8�P$=6FW?$C�FH=6PZE~QS8�AcB9p�FH�6=SQ68�Q�PV�6dSdeFHA\?cBD=6Q¬ EGE ­$BD79FH=6O�8�¡�EGPZ?@EG=6O�PZFH�~��?@EGFH=6Pc?V46EGP_BDd6dSAVF/BDCM4IQ6F�8�P^=6FW?_BD�G�GF§� ?VF�Q68�AVE�nH8�FDd�K?@EG7JBD��PVFD�~�S?VE~FD=6P^BWP���8�BDAV8�OHFDE~=6Oq?VFJd�8�A\�¤FHAV7 =6Fo��N¬ EGE~E¥­ EG?Q6F�8�P=6FW?�C�FD=6PVEGQ68�A�nH8�C�?@FHAZE¥BW��7JBDd6PBD=6Q�BD=/`�jW=6Q�FHAVQ68�AQ6E��e8�AV8�=/?@E~BD�FHd�8�A@B{?@FHAZP��

����� � �� � �2��������� ���*���(�"!M��������� %���%�'#! ��'/� �� 468�=�C�FH=6PZ?VAV�6C�?@EG=6O²?@468�PVFH�G�S?VE~FH=³N&E~= < k�@2N�?@468�d6AV8�n�EGFH�6PqC�FH=6P\?@A@BWE~=/?@PqEGP�AZ8��$AVE�?V?V8�=�6PVEG=6O BD=6FD?V468�A�3�By`a�~FHA�8L¡Sd6BD=6PVEGFH= �$EG?V4 AZ8�PZde8�C�?�?@F * � � u �&N��$AVE�?@EG=6O BDO/BDEG=�%�'k� L ���� A B{?$PVFH798�FHAVQ68�A�$ � � ¬ ?@F9p�8�CM4SFHPV8�=I�~BW?@8�AM­�«

- x� 4 k� � ��� � �:q � q r �(� P - x �� 4 ��� ��� Y r � �uv�j� ��L � J;J �fu�� J�J � � ¬ �/­

�$EG?V4 - x �� 4 � ����� Y r � � W �� - x� 4 � ��� ����� � Y � � � r �&% � % � ?V468��-BWC�?�?@4RBW?'$ � ��BD�~�GFo�$E~=SOI?@F)4RBynH8?@468�AZ8�7JBDEG=6Q68�AYFD�U?V468�3�By`a�GFHA&8�¡�dRBD=SPVEGFH= 6>=68�OD�~EGOHEGp6�~8#8��$E�?@49AV8�PVd�8�C�?�?VF_?@468�dSAV8�naEGFH�6PFH=68 ¬ ��8�AV8��¤8�A�?@FH< k3@ª�$468�AZ8�?V468 �¤FHAV7JBD�³Q68�nD8��GFHd6798�=/? EGP$8����6E�nDBW�~8�=�?M­��

(*����+1%�0*. [ %�-5# [ -�AD��) [ �F% -!���3%+*��+, #&0*� .�,=-5���8'$.-* [ A�#&�!+,� %�. /�021�354�6�.�,)# '=#&2E27/�021�354�6�8:9<;=3�>?> 1A@;B>?>7CD4�E .�, 0*� [ -!� �F1 # [ A �5#/AD+?*$%G4 + [IH�JLK , ./�F4M8ON/G

ZTZ\[�],^�_V`�a

Page 24: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

jHj ����� �����%�������

»�8�CyBW�6PV8WN�BW=6Qq?@46EGP&E~PYB_�W8�`qd�FHEG=/?&468�AZ8DN/?@4S8�PV�6dSdeFHA\?YE~P&p�FH�6=SQ68�Qq��8�CyBD=9PZ�$E�?@CM4PV�67 BW=6Q)EG=/?@8�OHA@BD��BW=6Q�FHpS?MBWE~=�«

� � V - x� 4 k� ��� �E �Ou���� S �R��� �:q � q r �(� P - x �� 4 k���3� �u���� S z � � � L * o

�$EG?V4 ��� � PVEG=6C�8��� ��BW?�?V468�deFDE~=/?��$468�AV8 - x �� 4 k����EGP$C�FH=6PZE~QS8�AV8�Q��3�4SE~P�BD�G�~Fo�$P ?@F�AV8��$AVE�?@8q?@4S8JdSAV8�naEGFH�6P�C�FH=SQ6EG?VE~FD=6P < � rA@2NL< � >V@Y8�? < � j�@�BDP �GE~=68�BDA8����RBW?VE~FH=SP$�$E�?@4)AV8�PVd�8�C�?$?VF - x� k����E-� 8W�~«�:q � q r �

� S z � k���� P - x �� 4 ��� �l* o L��� ��

* A � J ? J � �A � ! �� 4 ��� ?���� ! L � �7 � � 4 k�j� ?���� �¬ '/­

�6PVEG=6O)?V468J=6FD?MB{?@EGFH=�« � S k�j�,� | �vu ����S � ��PZF)?@46BW? � S k���_EGPB�d�FH�G`a=6FD7JE~BD�YFD�Q68�OHAZ8�8 ¬ �G8�PZPcFDA�8����RBD��p6�S?$EG=��-BDC�?M­�8����RBD�ª?@F J ? J �B E~=6C�8�?V468�AZ8�BDAZ8 � D z � � tD t � t 79FH=6FH79E~BD��FD�&Q68�OHAV8�8��G8�PZP_FHA$8����RBD�����$E�?@4/¦nWBDAVE~BDp6�G8�P�N

��8 C�BD=�E~79798�QSE¥BW?V8���`uC�FH�6=/?�?@468^=a�S7p�8�A�FD��8��a�6BW?@EGFH=6P�EG= ¬ '/­�E2� 8D�� D � o � � D z�o � to t D t u (E~=�?@468�OH8�=68�AVBD��C�BDPV8W�]_=�?@468�FD?V468�A�46BD=6Q�N6?V468�BonD8�AVBDOH8�PZ`a797J8�?@A\`�FD��?V468�FHd�8�A@B{?@FHA�`aEG8��GQ6P�«

| � V - x� 4 � ������� � � | � V - x� 4 ����� ��� �m � q � q r � �

� t - x �� 4 ��� | � V ���u���� � � � � m � q � q r � �� t - x �� 4 ��� | � V �u ��� � � �

m � q � q r � �� t - x �� 4 ���E�u,(N� q � q � � ��� � m � q � q r � �

� t - x �� 4 ��� � � ���?@46EGP�8����RBW�~E�?@EG8�P$p�8�EG=6O�nH8�AVE��R8�Q��¤FHA�BD�G� �qE���BD=6Q�FH=S�G`�EG� - x �� 4 ��� � *��$468�= J ��J EGP�F�Q6Q³�± P�BqC�FH=6PZ8����68�=6C�8WNe�¤AVFD7 ¬ �H­�N - x� 4 � ��� ��E~P$OHFDE~=6Oq?VFJp�8�BqPZ`a797J8�?@AZE~C�FHde8�A@BW?VFHA��

B E~=6C�8�?V468�AZ8�BDAZ8 � D � � z � � t� D � � � t � t 79FH=6FH79E~BD�YFD��QS8�OHAZ8�8 �I�$EG?V4v/�nWBDAVE~BDp6�G8�P���8J�R=RBD�G��`4RBynH8�?@F C�FH=6PVEGQ68�A� D � � � m �� r ��� � ������� � D � � z � � t� t � D � � � t �¤�6=6C�?VE~FD=6P - x �� 4 ����BWP��6=6��=6Fo�$=6P�FD�U?@46EGPPV8�?�FD���GE~=68�BDA$8����RBW?VE~FD=6P��3�4SE~P�BD�G�~Fo�$Pª?@F$CyBW�~C��6�¥B{?@8DNWE~= ?V468YOH8�=68�A@BD�/C�BDPV8WNW?V468&79E~=6EG7JBD��FHAVQS8�AªFD��8�¡�dRBD=SPVEGFH=�«

$�k/ ���:� � EG=S� ��$6��~D � � ��� D � o �BDP$AV8�d�FHA\?@8�Q�EG=�?V46EGP$?@BDp6�G8 �$468�AZ8'$R /$���:��4RBDP$pe8�8�=�CyBD�GC��S�¥BW?V8�Q�«

� � � � � � � � � � ��� ��� � � � � � � � � � �� � � � � � � � ��� � � � � � � � � � � � � �!� �"� �"� � �� � � � � � � � ��� ��� � � � � � � � � � � � � � � � � �!�� � � � � � � � � ��� � � � � � � � � � � � � � � � � � �

���TZ����

Page 25: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

������������� ��������������������������� �!��"�����#��$%��&!����')(*� � +,��'-����(.� jD:

�$46E~�G8�CyBD�GC��S�¥BW?VE~=SO D � � u � D � o «� � � � � � � � � � ��� ��� � � � � � � � � � �� � � � � � � � � � � � � � � � � � �� � � � � � � � � � � ��� � � � ��� � � � � � �� � � � � � � � � � � � � � � �"� �"� ��� � � � � �"� �"� � � � �"�!�EG?�BDd6d�8yBDAZP!?V4RBW?���8�FHpS?@BDEG=PVFD7J8�AV8�Q6�6=6Q6BD=6C�`DNHE-� 8W��79FHAV8��6=6��=6Fo�$=6P�?@4RBD=�8����RBW?VE~FD=��3�46E~P��$EG�~��p�8 Q6EGPVC��SPVPV8�Q²E~=�?V468�=68�¡a?cdRBDA@BWOHA@BDdS4��3�4S8q�~EG=68yBWA PZ`aPZ?V8�7 FD�Yd�FH��`a=6FH79E¥BW��8����RBW?VE~FD=�N³�$AVE�?V?V8�=¦EG= ¬ '/­�N�`aE~8��~Q6P�PZFH�~��?@EGFH=6P

FD��?V468 �¤FHAV7�«

- x �� 4 k��� � :� � �� � 4 ��� 7 � � 4 k��� L : ! � � �! � � 4 k�j��� ! �� 4 ���

�$468�AZ8 � �� � 4 k�j��BD=6Q�� �! � � 4 k�j��BDAV8cA@BW?VE~FD=RBD�³d�FH��`a=6FH79E¥BW�~P�FW�ª?@468^nWBDAZE¥BWp6�~8�PG�&Na�$46E~CM4=a�S7J8�A@BW?VFHAVP�BDAV8cdeFD�G`a=6FH79E~BD�GP�FD�ªQS8�OHAZ8�8^�G8�PZP�?@46BD=y� ����� � � �� /+uv(N�E�� L $N��N��$EG?V4�BC�FH7979FH=�Q68�=6FH79EG=RBW?@FDA!�$46EGCM4qEGP�d�FH�G`a=6FD7JE~BD��FD�RQS8�OHAZ8�8��G8�PZP�?@46BD=+�� ������ �M/ �� L $N�BD=6Q�C�FHAZAV8�PVd�FH=6Q6P�?@F�?V468 Q68�?@8�AZ79E~=RBW=�?�FD�!?@4S8 PV8�?$FW��8��a�6BW?@EGFH=6P�� ± P�pe8�E~=SOJAVBW?@EGFH=RBW�deFH��`a=6FH79E~BD�~P�N{?V468�`�BWAV8YQ68��6=68�QBD�~79FHP\?�8�nD8�AZ`/K �$468�AZ8�BD=6Q�p�8�CyBW�6PV8Q�� ������ u@� ����� � � �� L $ � A N!PVEG=6C�8 7 BD=6Q � BWAV89peFD�6=6Q68�Q�N - x �� 4 ���>� �( � J;J ��un�� J�J � � �4� � A N�EG=?@468uOD8�=68�A@BD��CyBDPZ8D�²< ?E~P?V4��6P�EG=�?V8�OHAVBDp6�G8DNYPVF)?@4RBW?�?@468�E~=/?@8�OHA@BW��FHd�8�AVBW?@FHA�EGP��8��~� KQ68��R=S8�Q���3�468�PV8H6>deFD�~8�P98��GE~�W8���`©BWd6d6AVFy¡�EG7�B{?@8�?@468)d6�6=6C�?@�RBD��nWBD�G�68�P�FD�^?V468)®^E~AVBDCQ6E~P\?@AZE~p6��?@EGFH=9Q68�AZEGnWBW?VEGnD8�P�«��$4S8�=J8�¡�de8�AVEG798�=/?@EG=6O�PV8�nD8�AVBD�UPVFH�G�S?@EGFH=6P���8$4RBynH8�nH8�AVE��R8�Q?@46EGP�BDPVPZ�679dS?@EGFH=��± P�B9C�FH=6C��~�6PZE~FD=�NR?@468�FHpS?@BDEG=68�Q�PVFH�G�S?VE~FH=SP^BDAZ8 FD�!?@468 �¤FHAZ7�«

- x� 4 � ��� � � :� � � � 4 k����� � 7M�� 4 � � L �A L : ! � � ! � � 4 k����� ��� ! �� 4 � � L �A

�$EG?V4�«� � � 4 k� � ��� � m � q � q r � �

� t � �� � 4 D Y z �� F �uv�j� �BD=SQ� ! � � 4 k� � ��� � m � q � q r � �

� t � �! � � 4 D Y z �� F k�u)��� �3�468�` ?V4a�SP�BDAZ8�P\?@AVBDE~OD4�?Z�¤FHAZ��BDAZQ�OH8�=68�AVBD�GE~��BW?@EGFH=6P!FD�S?V468�®^8�ODFH=6QPZFH�G�S?@EGFH=6P�BD=6Q�4RBynH8B9C�FH79d6�S?@BW?@EGFH=RBD�ªC�FHPZ?$�$46EGCM4IEGP$FD�!?@468�P@BW7J8�FHAZQ68�A$FD��7JBDOH=6E�?@�SQ68D�

F µ x�2 g6zSw32 ¹�J¢¹ ��z J ¹ 4�w32���z $ ¹ 4 µ x{z�w ¹ x � ± P�798�=/?VE~FH=S8�Q�d6AV8�naE~FH�SPV��`HNUBDP�PZF�FD=�BDP$ � $�k/ ���:����89FHpS?MBWE~=¦BD=¦EG=S�R=6E�?@8qPZ8�?�FD��d�FHPVPZE~p6�G8qPVFD�~�S?VE~FD=6P�� ��Fo� C�BD=l��8JBynHFDE~QZTZ\[�],^�_V`�a

Page 26: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

jWh ����� �����%�������

PV�6CM4JBD=qBW7p6EGOH�6FH�SP&PVE�?@�RBW?VE~FD=qp6�S?&7JBD�W8�d6AVFW�6?&FH�S?�FD��EG? ��Y8�AZ`�PVEG79d6�G`DN�p�`��GF�FH��EG=6O�¤FHA$BD= � ��&!��( ���aPVFD�~�S?VE~FD=IBD79FH=SO9?V468�PZ8D�± P�7J8�=/?@EGFH=68�Q pe8��¤FHAV8WNªE~QS8yBD�G�G`I?@46EGP�FHde8�A@BW?VFHA PV4SFH�6�GQ p�8S6 d6�S=6C�?V�RBD��8qE-� 8W�qFH=6��`

C�FH79d6�S?V8�PZ8�C�FD=6Q FHAVQS8�A�Q68�AZEGnWBW?VEGnD8�P¦BW?Q6 FH=S8 d�FHEG=�?98M� B EG=6C�8�?@46EGPIEGPI=SFD?IEG79d6�G8�K7J8�=/?MBDp6�G8DNc��8¦4RBynH8�BDC�C�8�dS?@8�Q ?VF C�FH=6PZE~Q68�A�BD= E~=/?@8�OHA@BW�_FHd�8�A@B{?@FHA 6 BDAVFD�6=6Q;8)?@46EGPdeFHEG=/?y�&»��S?&?@468$79FHAZ8�E~=S�¤FDAV7JBW?@EGFH=9C��GFHPZ8$?VF ?@468$d�FHE~=/?�BDAZ8$�6PV8�Q�N/?@468$p�8�PZ?���<>=JFD?@468�A��FHAZQ6P�N&?V468 6 PZ4RBDAZde8�PZ?8J?V468�FHd�8�A@B{?@FHA�N�?@468�pe8�PZ?y�²3�4SE~Pq798yBW=6P�?@4RB{?��8u��BD=/?�?V468��8�E~OH4/?VP��$46EGCM4qBDAV8����RBD=/?@E��R8�Qqp�` - � ��� �³?@Fcpe8�C�FH=SC�8�=/?VA@BW?V8�Q9BDAZFH�6=6Q,� �M�&� B �6CM4B�C�AZEG?V8�AZE~FH=�E~P��a�6BD=/?@E��R8�Q�N��¤FHA�EG=6P\?MBD=6C�8DN6p/`J79E~=SE~79EG��EG=6O�?@468 6 EG=68�A\?@E~B�8�FHA 6>nWBDAZE¥BD=SC�8�8FD��?V468 ��8�E~OD4�?VP�NUE-� 8W�Y?V468�EGA$PV8�C�FH=6Q)FHAVQS8�A$79FH798�=/?MBS� � 8 ?@4��6P$CM46FaFHPV8W«

79E~=���

� �� J;J � J�J � - x� 4 k����� � � � � ¬ >yr/­

C�FH=6PZE~QS8�AVEG=6O�Bq��8�EGOH4/?��� J�J � J�J � ¬ �¤FHA�PZE~79d6�GE~C�EG?>`���8�AV8�P\?@AVBDE~=�?@F��� J�J � J;J ���'( �¤FHA�?V468d6AV8�PV8�=/?�QSE~PZC��6PZPVEGFH=�N6p6��?���8c�$EG�~���6PV8c?@46EGP���8�EGOH4/?�EG=�?@4S8^Q6EGPVC�AV8�?V8_CyBWPV8o­�BD=6Q��$4S8�AV8WN�¤AVFH7 ¬ �/­L« | - x� 4 k����� � � � � � m �-� � - x �� 4 ��� - x � �� 4 ��� � � z � � k����EG=�FH�6A�CyBWPV8D���FHAV8$�¤FHAV7JBD�G��`HN���8c7�By`�BD�GPVF�AV8����6EGAV8 - x� 4 ?@F�pe8cBDAZFH�6=6Q�8yBDCM4ud�FHEG=/?��lBDP�C��~FHPZ8�QBDP�d�FHPZPVEGp6�~8J?@F�?@468 6 8�¡SBDC�?8JFHd�8�AVBW?@FDA - � 4 Q68��R=S8�Q¢d6AZ8�naEGFH�6PV��`HNYBWPB��~EG=68yBWA�C�FH7p6E K=RBW?@EGFH= FD�$®^EGA@BDC�Q6E~P\?@AZE~p6��?@EGFH=¢Q68�AVE�nDB{?@E�nH8�P����cPZE~=SOI��8�E~OD4�?V8�Q����RBDQ6AVBW?@EGC�QSE~P\?MBD=6C�8�PBDO/BDEG=�NS��8�7JBy`u�¤FHAZ7JBD�~EG��8 ?V46E~P$d6AZFy¡SEG79EG?>`�p/`�?V468 �¤FH�~�GFo�$E~=SOJC�AVE�?@8�AVEGFH=�«

79E~=��

� �� � Y � � � �� J�J � J�J � h - x� 4 � ��� �$u - � 4 �Xu�� � i � � ��$468�AZ8 � k� �� 6�YE~P�BpRBD�G��BDAZFH�6=6Q1�¦FD��A@BDQSE~�6P� ��$46EGCM4�CyBD=�p�8 BDP�PV7JBD�G�ªBDP�deFHPZPVEGp6�G8D���8&7��6PZ?�8�¡�C��G�6Q68�B�PV7JBD�G�H=68�E~OH4�p�FHAV4SF�FaQ�BDAVFH�S=6Q,�Jp�8�C�BD�6PV8&?V46E~P����RBD=/?VEG?>`�C�FH=/?MBDEG=6PB�d6AZF�QS�6C�?�FD�^?>��F�QSE~P\?@AVEGp6�S?VE~FD=��$46EGCM4©E~PJ=6FD?JQ68��R=68�Q�BW? � < j �@2�©£R�6A\?@468�AV79FHAV8WNpe8�CyBD�6PZ8�?V468¦PV�6dSdeFHA\?IFW� - � 4 E~P ������N_BWP)p�8�EG=6O�B �GE~=S8yBDA�C�FD7p6EG=RBW?VE~FH= FD�®^E~AVBDCQ6E~P\?@AZE~p6��?@EGFH=)QS8�AVE�nWBW?@E�nH8�P�NU��8�EG797J8�Q6E~BW?@8��G`�FHpS?@BDEG=�«

| �� � Y � � � ���� J�J � J�J � h - x� 4 � ��� � u - � 4 �Ouv� � i � � � � | �� � Y � � � - x� 4 k� ��� � � �R�3�4SE~PcC�AVE�?@8�AVEGFH=lEGP�NU�¤FHA$PV�S�JC�E~8�=�?V�G`)PV7JBD�G�� �N�BDP�C��GFHPZ8�BDP�deFDPVPVEGp6�G8�?VF�?@4S8�CM46FDPV8�=

C�AVE�?@8�AVEGFH= ¬ >or/­LN6PVF9?@46BW?$peFW?@4�BDd6d6AZF/BDCM468�P^BWAV8 EG=)d6AVBDC�?VE~C�8�8����6EGnWBD�G8�=/?��� 8�?V4��6P4RBynD8�B)���RBDQSA@BW?VE~C�C�AVE�?@8�AVEGFH=��$E�?@4�?V468��GEG=68yBDA�C�FH=SPZ?@AVBDEG=�?VP ¬ 'H­�N�?VFIp�8

PVFH��nH8�Q �$E�?@4�AZ8�PZde8�C�?�?@F - x �� 4 k���q�$46E~CM4 BDAZ8IFH�6A��6=6��=6Fo�$=6P�� 3�468�AV8²EGP�B��6=SE~���68PVFH�G�S?@EGFH=�EG=�?@4S8uOH8�=S8�A@BW��CyBWPV8DN&EG=6Q68�8�Q�A@B{?@468�A468�Bon�` ?@FI�$AZEG?V8�BDPqB)�¤FDAV7�S�¥BSN&pS�S?FHp/n�EGFH�6P�?VF�C�FH79d6�S?@8��6PZE~=SO�B9PZ`a7p�FH�GE~C�CyBW�~C��6�¥B{?@EGFH=��

���TZ����

Page 27: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

������������� ��������������������������� �!��"�����#��$%��&!����')(*� � +,��'-����(.� jHk

�ª8�?��6PªE~�G�G�6PZ?VA@BW?V8Y?V46EGPªAV8�PZ�6��?yN§�¤FHA�EG=6PZ?@BD=6C�8WNWC�FH=6PZE~Q68�AVEG=6OcB$PZ�6d6d�FHAZ? �n� h u,( � A 5757( � A i D NE2� 8D��BD=)4/`ad�8�A\K C��6p�8EG=Xg D ��3�468��¤FD�~�GFo�$E~=6O�d6EG8�C�8�FD��7�BWd6�~8�C�FaQ68 ¬ PZ8�8�BDd6d�8�=6Q6E ¡ ±�¤FHA�PVFH798�7JBDC�AZFHPM­�AZ8�?@�SAV=6P$?@468�FHd�?@EG7�BW��PVFH�G�S?VE~FH=³«������������������ ���������������������������������������������������������� ������!��"����#%$�����&���������������('$��"�)���+*-,�������.0/12'43('5�76�68!���������!�9�:�������;�$��<����!����<.��������=$�1(/>#@?A���!�B��!<����!����<.��������=$�3C/>#2'>D�?

� ��$A��#�%.�������%$������('E��('F�76�68������������$)#����=�����&��������������E��C/G�C/G��?H'I��?H'�+*�*JD���.������('4:K*�*JD���.������('L�76�6J������#���@����������������������M$��"�)���N/G�('L:�?H'�+*�*O�����������(' �76�6O�"!�������"��:�#���������������P"���<����!����('$Q*�*O����������� �76�68#%$����<��������%$������#������������<$�P"���<����!����26?��������������"���"�=9����2*L����.�����2'5!('R�H'5SC'I$��"�)���C'R.N*8+*-,�D���.���!����T/G��?0*������������������$��"�)�����������������!K*-,QU>#�@����(U�/����(/V�����(/��!�������$W'AX�Y�Z(6�6[$�\N'4@?�?�?0*$��"�)���K*-,<.����D������C/V�����(/G!]P�^�.����C/_$��"�)����`N'R���(/G!�?�?�aA�=��b(/[��D�����T/G:cPd��?H'4!�?H'5!�?H'�UGeCU?0*��f�����#�����������������������<$�����#�������2'.]*-,�!MP�^�E��C/_$��"�)����aA�=��b(/[��D�����T/G: Pg��?H'5!�?H'5:�?0*$)#�9%$0/�������$��=$�h�#������N/�K6�6i�W�@���W�"j���������������h�#@�"����!M.����"����������2'E��C/_$��"�)����k�BC'L:�?H'�K6�6JD������"��:�������������D����������<$�:)����������:���������������:('X�.��������=$0/$)#�9%$0/V�����(/�/> 2'>�('>:�?MP�^��2lm �n�,�:2lm �n('[X�Y=;06�6m=\N'>�('>:�?H'oE"��C/_$=�"�)���('p:�?�?�P�E��C/_$��"�)���C'I��?H'.����D������C/G:('R$�����?�?H'�K6�65���!������Kl>q%;"nrl>q�B�n����!7l>q�Z�n�.����!��"������%$W's-1(/��? P�.0/V�����(/G!��"����.W'�lGY=;06�6m�n('p��?�?Hs[Y=�",�;06�6m2's�sGB�a�3C/�H'GS%?�PA.0/V�����(/�/[�C'-92'�.�?�P�^�!��"����.0/[�('-9@?"e�!��"���=.0/[�('�.�?H'clGY=;06�6m�n('p�H'4S%?�?Hs[Y�S�,��06�6m2s[Y=�",�;06�6m\g#�@����������(/_.W'�U>#�@����(U�/����(/V�����(/��!�������$W'�X�Y�t(6�6-��\N'5@?�?�?�?H'�K6�6J������������$��"�)������������������D������)��9���$N6�����(/G!&P�^�.����C/_$��"�)����`N'd���(/G!�?�?H'4!�?�?H'�����(/�/> 2'>�('>:�?�P�^��2lm �n�,C/G�2lm �n�e�:2lm �n�?�u�BC'[X�Y=;06�6>=\N'>�2'>:�?0'$��"�)���%?���!2*

BW=6Ql��894RBynD8qpe8�8�=�BDp6�G8�?@F�8L¡Sd�8�AZE~798�=�?�?V4RBW?_?V468qQ68�AZEGnD8�Q�PVFH�G�S?VE~FH=²nD8�AVE�� `I?V4688�¡�de8�C�?V8�Q¯d6AZFHd�8�AZ?VE~8�P�«©P\`a7J798�?@AZ` FD��?@468�FHd�8�A@B{?@FHA�N_Q68�ODAV8�8�PIFD�=��6798�A@B{?@FHAIBD=6QQ68�=6FD7JEG=RBW?VFHA ¬ ��8^BW�G��By`�P�FHpS?@BDEG=�Q68�OHAV8�8�P�C�FHAZAV8�PVd�FH=6Q6EG=6O�?VF ?@468$OH8�=68�AVBD�UCyBDPZ8o­�� ± PE~�G�~�SPZ?@AVBW?@8�Q�EG=©£�EGO6��>HN���8)4RBynH8I=SFD?@EGC�8�Q�?@468�EG7Jd�FHA\?MBD=6C�8)FW�_�6PZE~=6O¢B�AZ8yBDPZFH=RBDp6�G8FHAVQ68�A ���wv35;5Vx��¤FDA�>yP\?�FHA�jW=6QuFDAVQ68�A�FHd�8�AVBW?@FHAZP��$E�?@4 $�y $�k/ ���:� L (65;5 A EG=uFHAZQ68�A�?@FFHpS?MBWE~=9B_PZFH�~��?@EGFH=q�$46E~CM4JEGP&�a�6BD�~E�?MB{?@E�nH8���`qC�FHAVAZ8�C�?�N/7JBD��E~=6O�d6AZFD�6?&FW��?V468�FHdS?VE~7JBD�GE�?>`C�FH=6QSEG?VE~FH= ¬ >yr/­��

��8�AZ8DNRBDP�BPZ`a7p�FH�GE~C C�FH79d6�S?@BW?@EGFH=�N�PVFH�G�S?@EGFH=u�$E�?@4�A@B{?@EGFH=RBD��=��67p�8�A�EGP�FH�S?Vd6�S?��± ��?@46FH�SOH4�Q6EGAV8�C�?V�G`��6PVBDp6�G8DNdz|{~}��|�R�0���¤�6=6C�?VE~FD=6P ¬ BD�G�~Fo�$EG=6OI?@F�?MBW�D8 �6F/BW?@EG=6O)deFHEG=/?BDd6d6AZFo¡�EG7JBW?@EGFH=6P!FD�S�¤AVBDC�?VE~FD=RBD�HEG=/?@8�OD8�AM­ª7JBy`�pe8Y�6PZ8�Q��¤FDA!�~BDAZOH8YQ68�AZEGnWBW?VE~FH=SP�N{E~=�FHAVQ68�A?@F9peFD�6=6Q�?@468�Q68�AVE�nDB{?@EGFH=�C�FH79d6�G8�¡�E�?>`H�

ZTZ\[�],^�_V`�a

Page 28: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

jDi ����� �����%�������

£�E~OD�6AV8 >H« ± �¤8�� 8�¡SBD79d6�G8�P�FD��FDde8�A@BW?VFHA >y®�K>d6AZFD�R�G8�P�NcC�FH=6PVEGQ68�AVEG=6O BD=©EGPVFD?VAVFHd6EGCPV8�C�FH=6Q�K FHAVQS8�A Q68�AVE�nDB{?@E�nH8DN!AV8�d6AV8�PV8�=�?V8�Q E~=²�¤�6=6C�?@EGFH=¦FD�%k�j������° & � ��� ��� �#& �%��� ��A�� kaNP��W>orS« ��8JFDpS?MBDEG= B�dSAVFD�R�G8q�$EG?V4 ?>��F)d�FH�G8�P����RBD�GEG?@BW?@E�nH8��G`�8��a�SEGnWBD�G8�=/?�?@F�?@468 � � �Q6E~P\?@AZE~p6��?@EGFH=�°L&P� ��� �#�?�A+"& �%��� ��A�� �SNªP�� jDrS«_EG=6C�AZ8yBDPZE~=SO)?@4S8qFHAVQ68�A FD��C�FHAZAV8�PZdeFD=�KQ68�=6C�8DN!B�d6AVFW�R�~89C��~FHPZ8�A ?@Fp� � � EGP FHpS?MBWE~=68�Q�°U����&!& ��(�� ��� �#& �%��� � A�� j�NªP�� :�«_�$468�=?@468�C�FDAVAV8�PVd�FH=6Q68�=6C�8)E~PJEG=6PV�S�JC�E~8�=�? ¬ A9EGPJ?VF�F¦PV7JBD�G�¥­q��8)FDpS?MBDEG=�B�d6AZFD�R�G8��$46E~CM4E~P�P\?@EG�~�����RBD�GEG?@BW?@E�nH8��G`¢C�FHAZAV8�C�?�p6��?�nH8�AZ` 6 �UBW?98M° ����&�&P��(�� �#�?�A+"& �%��� ��A� iSN�P�� >or�«�$468�=�C�FH=6PVEGQ68�AVEG=6O��$EG?V46FH�S?�BD=/`�AZ8�Q6�S=6QRBD=6C�`HNS?V468_BWd6d6AVFy¡�EG7�B{?@EGFH=�7JBo`Jp�8^PZ�~EGOH4/?@��`p6E¥BWPV8�Q��$E�?@4�PVd6�6AZE~FD�6Pc8��³8�C�?VP��

± PZ?V8�d��¤�6AZ?V468�A�N!?V46E~P�PVFW� ?>��BDAZ8�?VF�FH��BD�~�GFo�$P�?VF�nD8�AVE�� `¦?@4RB{?�?V468Jd6AV8�PV8�=/?7J8�CM4�KBD=6EGPV7 OH8�=68�AVBW?@8�P9C�FH468�AV8�=�?��D8�AV=68��~P9�¤FHA�nWBDAZE~FH�SPJQSEG�e8�AZ8�=/?@E~BD��FHd�8�AVBW?@FHAZP9BDP9p6AVEG8 �S`E~�G�~�SPZ?@AVBW?@8�Q)EG=)£�E~OS�Uj��

���� � �� � �2��������� ���*���(� "�)' ! ��M���"! ��'/� ���8�C�FH=SPVEGQ68�A�=6Fo��C�FD7JdS�S?@8�A�EG79d6�~8�798�=/?MBW?VE~FD=6P�FH=�jD® FDA�:D® Q68�=6PV8cQRBW?@B 6>E~7JBDOH8�P98@NE2� 8D��BqAV8�OH�6�~BDA$7J8�PV4�FD��4�`ad�8�A K>C��Spe8�P��

���TZ����

Page 29: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

������������� ��������������������������� �!��"�����#��$%��&!����')(*� � +,��'-����(.� j

£�E~OD�6AV8�j�« ± �¤8���8L¡SBD79d6�~8�P�FD�SFHd�8�A@B{?@FHA�jD®�K d6AVFW�R�~8�P�N{�$EG?V4A ��:SN{P ��iSNWAZ8�d6AZ8�PZ8�=/?@8�QE~=I?V468p ��� ��������dS�¥BD=S8D° ��� �#& �%��� �¢BDd6d6AZFo¡�EG7JBW?@EGFH=²FD� >�PZ? FHAZQ68�AcQ68�AZEGnWBW?VEGnD8�EGPVFD?VAVFHd6EGCFHde8�A@BW?VFHA W � ��� � � ���RBD�GEG?@BW?@E�nH8��G` 8��a�SEGnWBD�G8�=/?�?@F¢?V468²C�FHAZAV8�PVd�FH=6Q6EG=6O�C�FH=/?VE~=��6FH�SP�FDd�K8�A@B{?@FHA+� � ��� � � ° ( �>$%$,��� �%��� � BDd6d6AZFy¡SEG7JBW?@EGFH=�FD�cjW=SQ�FHAVQ68�A�=6FH=aK>EGPVFD?VAVFHd6EGCuFHd�8�AVBW?@FDA� ! � ��� � � ! � ���$BD=SQ ���?�A+"& �%��� �¦BqjW=6Q�K FHAVQS8�A�=SFH=�K>EGPVFW?@AVFDd6E~CcFHd�8�A@B{?@FHA � ! � � � ! � L #ZNpeFD?V4�E~�G�~�SPZ?@AVBW?@EG=6OJ46Fo�¯PZFH�~��?@EGFH=6PcBDQRBDdS?�?VF9PV�6CM4)d6AVFD�6�~8�P��

3�4S8�EG=/?@8�ODA@BD�ªBWd6d6AVFy¡�EG7�B{?@EGFH=I7��6PZ?�p�8�PVBD79d6�G8�QlBW=6Q�pe8�C�FH798�PcB9PV�6797JBW?@EGFH=�«� �E � k� � �Q� : 4 :��� r ��� T�� bcbcb � � V � - x� 4 � � ��� � � � 4 � � � u 4 k� � � � �$E�?@4p� � � � � � B�B�B �4��D:�

¬ >�>§­�c8�AZ8DNS��8 C�FD=6PVEGQ68�A��$E�?@46FD�S?��GFHPVP�FD�!OH8�=68�AVBD�GEG?>`DNS?@4RB{?�d6E ¡S8�� =§nHFy¡�8���4/`�d�8�A K>C��6pe8�P�nHFH� K�6798�EGP=>H�<>=�?@46EGP�C�FD=�?V8�¡a?yNSBAV8�BDPVFD=RBDp6�G8^79FaQ68�� < :Hk�N > '�@��¤FHA�B 6 d6E ¡�8���8^FDA 6>nDFy¡S8��?8cPZE~OH=6BD�eEGP

?@FJBDPVPZ�6798�?V4RBW?�« � � � � � h�� T � To� � T z To � bcbcb � � V � To� � V z To i k����� �E2� 8D��?@4RBW?�?@468 ��� �;��� � �����;��� ������� �Y���*& +-� �������� �;� ������� �H� � & +-� ���?�'�����Q6EGPZ?VAVEGp6�S?@EGFH=F§nD8�A$E�?@P$Q6FH7JBDEG=��£R�6A\?@468�AV79FHAZ8DN6E��ª��8 C�FH=6PZE~Q68�A�?@4RB{? - x � ��� � ���G����� � � � � ���%�S� ��',��&���'-&-NSE�?$BDd6d�8yBDAZP

?@4RBW?�AZ8��$AVE�?@EG=6O�?@468�E~=/?V8�OHAVBD�UFHde8�A@BW?VFHAYBDP�B�PZ�6797JBW?@EGFH=�EGP�m_]_3�BD=�BDd6d6AZFy¡SEG7JBW?@EGFH=p6�S?cBD= �;'��������%� $ ��(�������(*��'-& ��&�����'9FD��?V468�PZ8�QSEG�e8�AZ8�=/?@E~BD�ªFHd�8�AVBW?@FHAZP$PVEG=6C�8W«� �E djk� � � � m 4 | � V - x� 4 k� � ��� � � 4 k� � u 4 k� � � � � � �m 4 m ��� r ��� T�� bcbcb � � V � - x k� � ��� � � | � � h � T � To� � T z To � bcbcb � � V � To� � V z To i � 4 k� �$u 4 k� � � � � � �m 4 m ��� r ��� T�� bcbcb � � V � - x k� � ��� � � � 4 k� � � u 4 k� � � �

ZTZ\[�],^�_V`�a

Page 30: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

j�� ����� �����%�������

3�4S8�D8�`�deFHEG=/?^4S8�AV8WNUE~P�?@4RBW?$��8C�BD=)QSE~AZ8�C�?V�G`�C�FH79d6�S?@8�?@468�FHdS?VE~7JBD�ªnWBD�G�68�P�FD�?@468_FDde8�A@BW?VFHA�EG=u?@468 QSE~PZC�AV8�?@8 C�BDPV8WNS�$EG?V46FH�S?$QS8�AVE�naE~=SO�BW=�BDd6d6AZFy¡SEG7JBW?@EGFH=��¤AVFD7f?V468C�FH=/?@EG=��6FH�6P�CyBWPV8D���FHAV8�d6AZ8�C�EGPV8��G`DNR�$EG?V4IB��¤8�� BD�GOH8�pSA@BSN6C�FH=6Q6E�?@EGFH=6PS< � rA@ N < � >�@�8�?:< � j3@�AV8�QS�6C�8 ?@FS«

:���

S� k� � � - x� 4 � � ��� � � � * o L��� ��

* A � J ? J � �A � ! �� 4 � � � ?���� ! L � �7 � � 4 k� � � ?���� �¬ >ojH­

�6PVEG=6O�?V468�=6FD?MB{?@EGFH=�«�S� � � � � | h � T � To� � T z To � bcbcb � � V � To� � V z To i k� up� � � S �R��� ��8�AZ8DNaPVEG=6C�8� � ?@BD�D8�PcC�FH=6P\?MBD=/?$nWBD�~�S8�P�N �

S� k� � ��EGP�BJC�FH=6PZ?@BD=/?y�B E~79EG�¥BDAZ�G`DNR?@468�BynH8�A@BDOH8�P\`�79798�?VAZ`�C�FD=6Q6E�?@EGFH=)�G8yBWQ6P�?@F6«

����� :�- x� 4 k� � �����Q� � :

�- x� 4 �������� � �

�$46E~CM4 BDO/BWE~=²EG=6Q6�6C�8�P ?@46BW?_?@4S8qFHde8�A@BW?VFHA_EGP PZ`a79798�?@AZE~CWN!BDP_?@468qAZ8yBDQS8�A CyBW=�8�BDPVEG��`nH8�AZEG� `D�£�E~=RBW�~��`²N6?@4S8�FDdS?@EG7JBD��C�AZEG?V8�AZE~FH=�d6AZFHdeFDPV8�Q�EG= ¬ >or/­�EGP�=SF§� FD�!?@468 �¤FHAZ7�«

79EG= :��� J;J . J�J � - x� 4 k� � � � � � �

�c8�AZ8DN6��8�CM4SF�FHPZ8�Bq��8�EGOH4/?cFD��?V468 �¤FHAV7�« ��k�[� � ( � �( L �������< ?uE~P�EG797J8�Q6E~BW?@8²?@F�C�FH�6=/?�?@46BW?�EG= BD=�4/`�d�8�A K>C��6pe8 h u�� 575�� i D FD��PZE~��8 A � L(N� D N��¤FHA�BIODEGnD8�=v� � N!?@468�PZ`a79798�?@AZE~C�p6E�K nWBDAVE~BW?@8JFHd�8�AVBW?@FHA�4RBDP �D � � � A � L (N� D

E~=6QS8�d�8�=6Q68�=/?�C�F�8���C�E~8�=/?@P - x� 4 k� � � � � �L� B EG=6C�8WN�BWP�EG=q?@468�C�FH=/?@EG=��6FH�6P�CyBDPZ8DN/?@4S8�AV8�BDAZ8� D � o 8����RBW?@EGFH=6P�NR��8�CyBW�~C��6�¥B{?@8�BDO/BDEG=�N6EG=�?@468�OH8�=68�AVBD��CyBWPV8DNR?V468 79E~=6EG7JBD�ªnWBD�~�S8 FD����¤FHA$BqOHEGnD8�=)FHAVQ68�A �9BD=6Q�Q6EG798�=6PZE~FH=X/�BD�~�GFo�$E~=SOJ?VFJPZFH��nH8�?@468��GE~=68�BDA$8����RBW?VE~FD=6P�«� � � � � � � � � � ��� ��� � � � � � � � � � �� � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � �� FD=6PVEGQ68�AZE~=SO�?@4S8�nD8�C�?@FHA�«

2� � - x� 4 � � ��� � � � � } � � �N� � � � � � � �C�FH=/?MBWE~=6EG=6O9?@468 C�F�8��JC�EG8�=/?@PcFD��?@46EGP$PZ`a797J8�?@AZE~C�?@8�=SPVFHA�N6?@468 FHd�?@EG7�BW�ªC�AVE�?@8�AVEGFH=�C�FHA KAV8�PZdeFD=6Q6P�?@FI7JEG= J�J J�J � N���8�?@4��6Pq4RBynH8�?VFI�R=6Q B)nD8�C�?VFHAqFD�$79EG=6E~7JBD��7�BWOH=6E�?@�6Q68WN

���TZ����

Page 31: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

������������� ��������������������������� �!��"�����#��$%��&!����')(*� � +,��'-����(.� j 'nH8�AZEG� `aEG=6O�?V468��~EG=68�BDA$8����RBW?VE~FH=SP ¬ >§jH­L� ��8�7JBy`�AV8��$AVE�?@8�?@468�PV8�8����RBW?VE~FH=³«

� n���¢�$EG?V4 � � � 575�7 � � 4 � � � 575 A � ! �� 4 � � �G5;5R*"575 � �� �� 5;5

�S� k� � �G575��

BD=6Q��¤AVFH7 ?@468 B � ��� ®�RFD� � N6�$AVE�?V?V8�=�NRPVBo`DN � ������� � N6��8�EG79798�Q6E~BW?@8��G`�FDpS?MBDEG=?@468�PVFD�~�S?VE~FD=�« 2����� � � � � � ¬ PZ8�8�8D� O6� < jWi�@ª�¤FHA$BqAV8�naE~8��c­��� 8 ?@4��6P�FHpS?@BDE~=�BD=�8L¡SdS�~EGC�E�?_PZFH�~��?@EGFH=�FD��?V468 �¤FHAV7�«

- x� 4 � � ��� � � � :� � � � 4 k� � ��� � � 7M�� 4 � � � L : ! � � ! � � 4 � � ��� � ��� ! �� 4 � � �

�$46E~CM4�?V468²P@BD798²OH8�=68�AVBD�^dSAVFHd�8�A\?@EG8�P�BDP�?V468²C�FD=�?VE~=��6FD�6P�FHd�8�A@B{?@FHA�� < ?uE~Pu=SFD?�BPV�6AZd6AVEGPV8�?@FFDpS?MBDEG=�PZE~79EG�¥BWA�PZFH�~��?@EGFH=6P�N�PVEG=6C�8���8��¤FH�G�~Fo�©?V468cPVBD798^798�?V46FaQ�Na?V468�FH=6��`Q6EG�e8�AZ8�=6C�8�p�8�EG=6O9?@F9C�FD=6PVEGQ68�A�d6EG8�C�8�K �$EGPV8�C�FD=6PZ?@BD=/?^d6AZFD�R�G8�P$EG=�?V46E~P$C�BDPV8W�

��8�AZ8 � � � 4 k� � ��� � ��BW=6Q � ! � � 4 � � ��� � �³BDAV8YBWAVA@By`aPªFD�aC�FD=6PZ?@BD=/?!nWBD�G�68�P�N{E2� 8D� 6 7JBDPZ�aPP8Q68�?V8�AV79EG=68�Q)p/`�?@468 d6AZ8�naEGFH�6P�Q68�AZEGnWBW?VE~FH=³�± P�BD=)EG�G�~�6P\?@AVBW?@EGFH=�N6�¤FHA�BD=�EGPVFD?VAVFHdSE~C�jD® FHd�8�A@B{?@FHA ¬ 7 ! � *9BD=6Q � ! � � � ! � ­���8

FHpS?MBWE~=�?@4S8�7JBDPZ��PcAZ8�d�FHAZ?V8�Q�E~=)£�EGO6�R:S� ± ��?@4SFH�6OH4�?@46EGP$Q6Fa8�P$=6FD?$p6AZE~=SO�7��6CM4)�$E�?@4AV8�PZde8�C�?q?VF²�6PV�RBW��FHd�8�AVBW?@FHAZP�N&E�?9BD�G�~Fo�$P�?VFInH8�AVE�� `¢?@468�C�FH468�AV8�=6C�8�FD��?V468uFHpS?@BDEG=68�QAV8�PZ�6��?@P��

���� � 6� � � ����� � � � 6� �� ����� � � 6 ����� � ����� �� � 6� � � ����� � � � 6� �

����������� 6 ������� � 6 � � � � � 6 ������� � 6 � � � � � 6 �������� 6 � � � � � 6 ����� � � 6 � � � � 6 ����� � � 6 � � � �� 6 ������� � 6 � � � � 6 ����� � � 6 � � � � 6 �������� 6 � � � � � 6 ����� � � 6 � � � � 6 ����� � � 6 � � � �� 6 ������� � 6 � � � � � 6 ������� � 6 � � � � � 6 �������

�������£�E~OD�6AV8�:S«�<>PVFD?VAVFHdSE~C�jD®�K>7JBDPZ��P�FHpS?@BDE~=S8�Q�¤FHA-��� A FHA��cBD=6Q $��'( ¬ ��� �#& ���#����y­!BD=6Q$ � A ¬ �#�?�A+"& ���#����y­L�q<>=�p�FD?V4�C�BDPV8�P�N���89FHp�?MBDEG=�B�C�FH=/?@AZE~p6��?@EGFH= QS8�C�AZ8yBDPZE~=SO��$E�?@4?@468�8�C�C�8�=/?@AVEGC�E�?>`HNSBD=6Q9EGPVFD?VAVFHd6EGC�EG=9?V468�46FHAZE~��FH=/?MBD��={nD8�AZ?VE~C�BD�RQ6EGAV8�C�?@EGFH=6P�BDP&8L¡�de8�C�?@8�Q��B E~=SC�89��8J4RBynH8JC�FH=SPVEGQ68�AZ8�Q¢BW= EG=/?@8�ODA@BD�&FonH8�A�?V468JQ6FH7JBDEG=��$E�?@46FD�S?�8�¡�C��G�6Q6EG=6O)?V468Q6FH7JBDEG=)C�8�=/?@8�A�NU?@468�AV8�E~P�BD�GPVF�B ¬ PV7JBD�G� ­�C�FD=�?VAVEGp6�S?VE~FH=)FD�!?@468�C�8�=�?VA@BD��d6E ¡�8��-��3�468�PV87�BWPV��Pc46BonD8�p�8�8�=)=SFHAV7JBD�GE~��8�Q�E~=�?@4S8�PZ8�=6PZ8�?V4RBW? ?- �'(H�

B E~79EG�¥BDAZ�G`DNRBD=�BW=6E~PZFD?@AZFHd6EGC jD®$K>FHd�8�AVBW?@FHA�EGP�AV8�deFHA\?@8�QuE~=u£�E~OS��h�PZ46Fo�$E~=SOq46Fo� ��8Q6E~AZ8�C�?@��`IFHp�?MBDEG=68�Ql?V468�C�FH=/nHFH�G�S?@EGFH=¦7JBDPV���¤AVFD7¨?V468:6 �¤8�8�QSpRBDCM�8nD8�C�?@FHA�� �c8�AZ8DN��¤FHA

ZTZ\[�],^�_V`�a

Page 32: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

:Hr ����� �����%�������

PVEG7JdS�~EGC�E�?>`HN6��8�BDPVPZ�6798_?@4RB{?�?@4S8_OHA@BWQ6E~8�=/? � � d �! EGP�Q68��R=68�Q�BD�GFH=6O�?@468 8�Q6OH8_=6FDAV7JBD�-NE2� 8D�YEG=IBq�6=6EG���68�Q6E~AZ8�C�?@EGFH=��YNRPVF9?@46BW? � � d��! � \ � s �\�� j � ! �<>=�FHAVQS8�AY?@F��6=6Q68�AVPZ?@BD=6Q�?V468�pe8�4RByn�EGFHA�FD�³?V46E~P�7JBDPV�UN��~8�?��6P�C�FD=6PVEGQ68�A�B�=SFHAV7JBD� K

E~��8�Q �¤8�8�Q6pRBDCM�_nD8�C�?VFHA�N{E-� 8W� J;J��� J�J �Q�'(DNy�$EG?V4�8W� O6� �/ a �l*�N§`aEG8��GQ6EG=6O6« ��� � � 6� � � � 6 ��� � � 6� �I � ��� � � � 6 ������� I � ��� � �� � 6� � � � 6 ��� � � 6� �

�� �< ?$E~P�FHp/naEGFH�6P�?@4RB{?�?@46EGPcjW=6Q�FHAVQS8�A$BD=6EGPVFW?@AVFDd6E~C QS8�AVE�nWBW?@EGFH=�7JBDPV��C�FHAZAV8�PZdeFD=6Q6P�?@FJBPV8�C�FH=6Q²FHAZQ68�AcQ68�AZEGnWBW?VEGnD8�EG=I?@468���Q6E~AZ8�C�?@EGFH=¦BD=6Q²B�PV79F�FW?@46EG=6O�EG=l?@4S8i�¦Q6EGAV8�C�?@EGFH=BDP$8�¡�de8�C�?V8�Q��

��� � � 6� �: :��� : : � ' � � � � �� a ��� � � 6 ��� � �� I � ��� � ��� �a � � 6� �: :��� : : ��I � � � � ��� a ���

� � 6 ���� �a I � ��� � ��� �� � 6 ������� : :��� : : � � � 6 ��� � �a I � ��� � ��� ��� � 6� �: :��� : : ��I � � � � �� a ��� � � 6 ��� � �� I � ��� � ��� �a � � 6� �: :��� : : � ' � � � � ��� a ��� ���

£�E~OD�6AV8�h6« ± =�8�¡SBD79d6�G8�FD��BD=6EGPVFW?@AVFDd6E~C�jD®�K>7JBDPZ��EG=¢?@468�Q6E~AZ8�C�?@EGFH= ���� �/ a � �/ � �FHpS?MBWE~=68�Q��¤FDA ��� A FHA��9BD=6Q $@� (D� B 8�8�?@8L¡�?$�¤FHA�QS8�?MBWE~�GP��3�4S8�PV8�Q6E~PZC�AZ8�?@8�E~79d6�G8�798�=�?@BW?@EGFH=6PFD��?V468�dSAV8�PZ8�=/?qQ6E��e�6PVEGFH=�FDde8�A@BW?VFHA�E~P�OHFHEG=6O

?@F9pe8�8L¡Sd�8�AZE~798�=�?V8�QlEG=�?@468�=68L¡�?�PZ8�C�?VE~FD=��

� � 4 $ µ � µ;J w32 J � w D µ 2 w µ x§zSw32 ¹ J v�| D µ � µ)� ± P9AV8�naE~PZEG?V8�Q�EG= ¬ kH­�N��¤FHAJB�C�FH=/?@AVFD�nDBWAVE~BDp6�G8

�F i *35;57( i Nc��8 EG797J8�Q6E~BW?@8��G` FHp�?MBDEG= BD= EG?V8�A@B{?@E�nH8�PVCM468�7J8�?@F�PVFD�GnD8¦?V468

AV8�OD�6�¥BWAVEG�yBW?VE~FH=�8��a�6BW?@EGFH=��<>=)?@468�d6AV8�PV8�=/? C�FH=/?@8L¡�?�Ne�¤AZFH7¨BJ�¤8�� BD�~OD8�p6AVB��~8�� ?c?VF�?V468AZ8yBDQ68�A�N�?@468�EG?V8�A@B{?@E�nH8

PVCM468�7J8�7JBo`upe8 �$AVE�?V?V8�=�«�� k� � � � m � 4 � � � � $� k� � � L � � � �4 ? 4 � � � L� m � � ��� � - x� 4 � � ��� � � 4 � � � � � n!n ¬ >y:/­

�$EG?V4 � � � h ( L �h�� L ?- i.i � �?- � m � � ��� � - � � ��� � � �$46EG�~8I?V468lAZ8yBDQ68�A��$EG�~�c8yBDPZE~��`�nD8�AVE�� `�?V4RBW?�EG�

�� *�?V468�S¡�8�Q²deFHEG=/? FD�&?V46E~P E�?@8�A@BW?VEGnD8�PVCM4S8�7989E~P_?V468 �&�6�G8�A\K���BDOHA@BW=6OH88����RBW?@EGFH=

PVFH�G�S?@EGFH=�N��$46EG�~8�EG��

h *²?@468�PVCM4S8�798IC�FH=/nH8�AZOH8�P ¬ =6FW?�=S8�C�8�PVPVBDAVEG�G`�?VF§��BDAZQ6PJ?V4688�¡SBDC�?�PZFH�~��?@EGFH=)pS�S?$?@FJBqPV�6p�K FHdS?VE~7JBD�ªPZFH�~��?@EGFH=U­�BDP$�6PV8�QIEG= <�>�'�@ �

���TZ����

Page 33: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

������������� ��������������������������� �!��"�����#��$%��&!����')(*� � +,��'-����(.� :,>

� 8�4RBynD8�Q68�AZEGnD8�Q9?@46EGP��¤FHAZ7�6�~B_p/`�PVEG79d6��`�PVFD�GnaEG=6O ?@468��GEG=68yBDA�8����RBW?VE~FH= ¬ kH­��$E�?@4AV8�PZde8�C�?�?@F k� � �L�± P��-BWA�BDP�pSE~FH�GFHOHEGCyBW�&d6�¥BW�6PVEGp6EG�~E�?>`�E~P�C�FH=SC�8�AZ=68�Q³N�BD=6FW?@468�A 6>PVEG79d6�~8�A98JPZCM468�798�EGPd6AVFHd�FHPZ8�Q�« �: � � � L �

� m � � � �4 D ? 4 � � � u 4 k� � � FL � m � � ��� � - x� 4 k� � � � � � 4 k� � � u ?- � 4 4 k� � � � � n ¬ >�h�­

E2� 8D�YC�FD=6PVEGQ68�AZE~=SO � ��(HNSE~= ¬ kH­L�&< ?�E~P$�G8�PVP�8��JC�E~8�=�?^pe8�CyBD�SPV8���8�Q6FJ=6FD?$PZFH�GnD8�?V468

�~EG=68yBWA�d6BDAZ?$FD��?@468�8��a�6BW?@EGFH=)BW?�8yBDCM4�PZ?V8�d�NUp6�S?�E�?�4RBDP�?@468�BDQ�nDBW=�?@BDOH8 ?@FJ�G8yBDQ�?@FJBPVEG7JdS�~8�A�E�?@8�A@BW?VEGnD8$7J8�CM4RBD=6EGPV7�N��$EG?V46FH�S?�BW=�`=6 7JBW?VAVE ¡qEG=�nD8�AZPVEGFH=;8�BD=SQ9?V4��6PYC��GFHPV8�A�?@F?@468�C�FH79d6��?@EG=6OuCyBWdRBDp6EG�~E�?>`�FD��=S8��6AZFH=RBD��=68�?>��FHAZ� ¬ PV8�8*< �A@��¤FHA$Q68�?@BDEG�~8�QlQ6EGPVC��SPVPVEGFH=6PFH=�p6E~FD�~FHODE~C�BD�ªd6�~BD�6PVEGp6�G8�C�FH79d6�S?@BW?@EGFH=6P@­��<>=��-BDC�?�Nª�¤FHA�PV7JBD�G�YnWBD�G�68�PFD�

�N�?V468JPV8�C�FH=6Q PVCM468�7J8 ¬ >yh�­^EGP�C��GFHPV8J?@F�?@468q�RAZPZ?

PVCM468�7J8 ¬ >y:/­!p�8�C�BD�6PV8 ¬ >yh�­�C�FHAVAZ8�PVd�FH=6QSPY?VF_?@468�>�PZ?Y8�¡�dRBW=6PVEGFH=JFD� ¬ >o:/­ª�$EG?V4�AZ8�PZde8�C�??@F��

�O� �5������������������! ����'��� ��� ����� �������������*��'�����������������������" )���

� 22º µ�¹ ��� � 2���z �Uµ v µ M" µ"J | µ v± P�BW=uE~�G�G�6PZ?VA@BW?VE~FH=u��8_C�FH=6PVEGQ68�A�PV8����68�=6C�8�P$FD��C�FH�GFHA�b ��» E~7JBDOD8�P ¬ ?@468_C�FH�GFHA�p�8�EG=6OAV8�dSAV8�PZ8�=/?@8�Q��SPVEG=6O ?@468�AZ8�Q�N/ODAV8�8�=9BD=6Qqp6�G�68�CM4RBW=6=68��GPM­��$E�?@4�?V468�OHF/BW�SFD�UC�FH79d6�S?@EG=6O?@468�79FD?VE~FD=²pe8�?>��8�8�=¦?>��F�C�FH=6PV8�C��S?VEGnD8J�¤AVBD798�P�� ��8�AZ8DN³��8q4RBynH89BuP\?MBD=6Q6BDAVQlnaEGQ68�FCyBD798�AVB��$E�?@4�?>��F)E~=/?V8�AV�~BDC�8�Q��¤AVBD798�P��$EG?V4�B)jDr�7JPZ8�C�Q68��~By`¦pe8�?>��8�8�=�?V468�7�� � 8CM46F�FDPV8_?@F9C�FH79d6�S?@8 ?V468 E~=/?V8�A\K �¤A@BD798 79FD?VE~FH=³NRBDP�EG�~�G�6PZ?VA@BW?V8�Q�E~=�£�EGO6�6k�� ��8 QSFJ=SFD?C�FH79d6�S?V8�?@4687JFW?@EGFH=²pe8�?>��8�8�=¦?>��F�C�FH=6PV8�C��S?VEGnD8�EG7JBDOH8�P pe8�CyBD�6PZ8DN��$E�?@4²P\?MBD=6Q6BDAVQ�~Fo��K>C�FHPZ?qBDC����6EGPVE�?@EGFH= Q68�naEGC�8�P�N�?V468�BDC��a�SE~PZEG?VE~FH=�AVBW?@8uEGPq=6FD?�S¡�8�Q ¬ E�?qQ68�de8�=6Q6P9FH=?@468�C�FH79d6�S?@8�A9�~F/BWQU­�BD=6Q�EGPJ�SPV�RBD�G��`�PV�GFo� ¬ ?>`ad6EGCyBW�~��` >�K\k �c���$E�?@4 79FHAV8u?V4RBD= >ord6E�¡�8��~P&FD�6Q6E~PZdRBDAZEG?>`pe8�?>��8�8�=q?>��F C�FH=6PZ8�C���?@E�nH8$E~7JBDOD8�P��¤FDA�C�FD7J79FH=q79FHpSE~�G8�FHp�[\8�C�?VPM­PVFl?@46BW?�FaC�C��~�6PZE~FD=6P�N&nWBDAVE~BW?VE~FH=�E~=�FHpa[\8�C�?JBWPVd�8�C�?VP�NY8�?VCD�G�²E~=/?VAVFaQ6�6C�8�B)p6E¥BWP�E~=¢?V4687JFW?@EGFH=98�PZ?VE~7JBW?VE~FD=�� � FH79d6�S?VE~=SO�?V468�AV8�?@EG=RBD�R79FD?@EGFH=q�$E�?@4JB�jDr 7JPZ8�C$Q68��¥By`qEGP&?@4��6Pd6AV8��¤8�A@BWp6�~8�pS�S?&AV8����6E~AZ8�P&?@F_��FHAZ���$E�?@4qPV7JBD�G�6���RBD=/?VEG?VE~8�PY?V4��6P&=��6798�AVEGCyBW�~��`q=6FD?�nH8�A\`PZ?MBWp6�~8WNSPZF?@4RB{?�?V468^d6AZ8�PZ8�=/?�AV8�OH�6�~BDAVEG�yB{?@EGFH=��¤A@BW7J8���FDAV�JE~P�nH8�A\`��SPV8��¤�S�³EG=�?@46EGP�C�BDPV8W�3�46E~P$EGP�?V4��6P�B9AZ8��G8�nWBD=/?^BDd6d6�GE~C�BW?@EGFH=�FD��FH�6A��¤FHAZ7�BW�~EGPV7��

ZTZ\[�],^�_V`�a

Page 34: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

:/j ����� �����%�������

£�E~OD�6AV89ka« ± �¤8�� 8�¡SBD79d6�G8�P�FD��E~=/?V8�AV�~BDC�8�Q�E~7JBDOH8�P �$EG?V4 Bu46BD=6Q¦Q6EGPVd6�~BDC�8�798�=/?yN�BDP�6PV8�Q�EG= ?V46EGP�8L¡Sd�8�AZE~798�=�?@BW?@EGFH=�«�?@4S8�EG=/?@8�A\K �¤AVBD798�Q6E~PZd6�~BDC�8�7J8�=/?uEGP9naEGPVEGp6�G8IBW?q?V4684RBD=6Q�peFD�6=6QRBDA\`H�

<>=�FDAVQ68�A�?@FC�FH79dRBDAZ8_FH�6A�AV8�PV�6��?@P��$E�?@4uFW?@468�A�79FD?@EGFH=u8�PZ?@EG7JBW?@EGFH=�798�?V46FaQ6P�NS��8BD�~PZFIC�FH=6PVEGQ68�A?@468 6Z]^?V?V8�8 < jD:A@�EG7�BWOH8�PZ8����68�=SC�8�BDP�PV46Fo�$=�EG=�£�EGO6�!iSN��$46EGCM4�EGPFD�C�FH7979FH=��6PV8 �¤FHA�p�8�=6CM4S7�BWAV��E~=SOuPV�6CM4IBD�GOHFHAVE�?@4S7JP��

� ��z ��µ�� x{z6º 2 µ"J w ¹ � ��� � 2���z �Uµ v± ?lB OHEGnD8�= E~7JBDOH8 �~FaCyB{?@EGFH= � � �j�����{� �$E�?@4¯B�b ��» EG7JBDOH8�E~=/?V8�=6PZEG?>` � �>�$� ��� � �$�D� / ����� � �N�{��N³?@468qEG7JBDOH8�C�FH=/?@AVBDPZ?�BD=SQ�ODA@BDQ6EG8�=/?�EGP Q68�C�FH79deFDPV8�Q¦�6PZE~=SO�?V468�¤FH�~�GFo�$E~=SO�PZE~=6OD�6�¥BWA$nWBD�G�68 Q68�C�FH79d�FHPVE�?@EGFH=�«

� � \��\�� � � ,��j� L � � ,�� ��$E�?@4

� � /��� �� � ������ � � 2 BW=6Q�>� / u ����� � �

�� �� � � 2 ¬ >okH­

���TZ����

Page 35: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

������������� ��������������������������� �!��"�����#��$%��&!����')(*� � +,��'-����(.� :H:

£�E~OD�6AV8�iS«ª3�468 6Z]^?Z?@8�8�< jD:3@aE~7JBDOH8YPZ8����68�=SC�8DN/FW�SC�FH797JFD=�6PZ8�?VFcp�8�=6CM4S7�BWAV��79FD?@EGFH=8�PZ?VE~7JBW?VE~FD=IBD�GOHFHAZEG?V4679P��

�$468�AZ8 ��� � � � * BDAV8�?@4S8IPVEG=6OH�S�¥BDA9nWBD�G�68�P�N��$46EG�~8 ,�

F g��oN , �OF g���BDAZ8�?V468FHAZ?V46FH=6FHAZ7JBD�ªb ��»�PVEG=6OH�6�~BDA�nH8�C�?@FDAVPcBD=6Q �¢BD=6Q �?@468�AV8�?@EG=RBD�ªPZE~=6OD�6�¥BWA$nD8�C�?@FHAZP����FHAV8�d6AV8�C�EGPV8���`HNHBD�~FD=6O_BD=�8�Q6OD8DNW��8�8L¡Sd�8�C�?�?VF^4RBynH8�FH=6��`�FH=68�Q6E~AZ8�C�?@EGFH=�FD�SE~=/?@8�=�K

PVE�?>` nDBWAVE~BW?@EGFH=��!3�46EGP�798yBD=SP!?V4RBW? � � yK*�?@4��6P � y � ,��E�9BD=SQ ¬ E ­ � C�FHAZAV8�PZdeFD=6Q6P�?@F

?@468�8�Q6OH8�FDAVEG8�=/?MBW?VE~FD=qE~=?V468�EG7JBDOH8DN ¬ E~E¥­ ��C�FHAZAV8�PVd�FH=6Q6P�?VF^?@4S8�8�Q6OD8�7�BWOH=6E�?@�6Q68�BD=6Q¬ EGE~E¥­�?V468��6=RBDA\`�nD8�C�?@FHA ,

�?@468�8�Q6OD8C�FD�~FHA�FHAZE~8�=�?@BW?@EGFH=)E~=I?V468�b ��» PVdRBWC�8D�$3�46EGP^EGP

B�PZ?VA@BDEGOH4/?V�¤FDAZ��BDAVQuOD8�=68�A@BD�GE~��BW?@EGFH=uFW�ª8�Q6OD8_FHAVEG8�=/?@BW?@EGFH=uBW=6Qu7JBDOH=6E�?@�SQ68^Q68��R=6E�?@EGFH=6P�¤FHA�79FH=6FaCM46AVFH7JBW?VE~C�EG7JBDOH8�P��3�4SE~PJQ68��6=6EG?VE~FD=�EGP�EG=/?@8�AZ8�P\?@EG=6O�p�8�C�BD�6PV8)EG?JQ6Fa8�P9=6FW?�QS8�d�8�=6Q��6deFD= ?V468)C�FH�GFHA

PVdRBDC�8DNad6AVFonaEGQ6E~=SO�E�?�E~PYEG=��GE~=S8yBDAYAV8��¥B{?@EGFH=q�$EG?V4J?V468�b ��»�EG=�?V8�=6PZEG?>`D���)FHAV8$d6AZ8�C�E~PZ8���`HNBD=/`9�~EG=68yBWA�?VA@BD=6P\�¤FHAV7JBW?VE~FD=�FD�e?@468cb ��» CM4RBW=6=68��-NSPVBy` � � � 7 �WN/`aE~8��~QSP � � � 7 �BD=6Q�N�?@4RBW=6��P�?@F?V468 B � ®¯d6AZFHde8�AZ?VE~8�P�N�?V468^PVBD798_FHAZE~8�=�?@BW?@EGFH= � E~P�CyBD�GC��S�¥BW?V8�Q�N��$46E~�G8?@468_8�Q6OH8 7JBDOH=SEG?V�6Q68 BD=SQ�C�FH�GFHA�FHAZE~8�=/?MBW?VE~FH=�EGP�=6Fo� OHE�nH8�=�EG=�?@468_=S8�� C�FH�GFHA�PZdRBDC�8W�

��J 2¤w%2-z $ � ¹ w32 ¹�J ��z,4 µ v�w32�� zSw32 ¹ J3�468¦AV8�?VE~=6BD�_79FD?@EGFH= 8�P\?@EG7JBW?@EGFH= e%gp� h gp��BDPVPZF�C�E¥B{?@8�P�?VF�B¢AZ8�?VE~=RBW� deFHEG=/?� � k�j���3� � B¢Q6EGPVdS�¥BDC�8�798�=/? �j���3�O� ���j������ � � <>= FH�6A�EG79d6�G8�798�=/?MB{?@EGFH=�Nc?V468E~=6dS�S?0? E~P9FHp�?MBDEG=68�Q C�FD=6PVEGQ68�AZE~=SO¢B²PZ?@BD=6QRBDAZQ�7��6��?@E K>PVC�BD�G8)C�FHAVAZ8��~BW?@EGFH=�FHd�8�A@B{?@FHA��3�468 PV�6paK>d6E ¡�8��GE~C�Q6EGPVd6�~BDC�8�798�=/?_BW=6Q�?@468 Q6EGPVdS�¥BDC�8�798�=/?c�~8�BDPZ?\K>PZ�a�6BDAV8�d6AZ8�C�EGPVEGFH= ¬ E-� 8W�C�FonWBDAVE~BD=6C�8EG=²B�PZ?@BW?@EGPZ?VE~C�BD���¤A@BD798���FHAZ�S­�E~PcC�FH79d6�S?V8�Q²�6PZE~=SO�BujW=6QIFHAVQ68�A_BDdSd6AVFy¡�K

ZTZ\[�],^�_V`�a

Page 36: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

:Dh ����� �����%�������

E~7JBW?VE~FH= FD��?V468¦E~=/?@8�A\K C�FHAZAV8��~BW?VE~FH= d6AZFD�R�G8 � � 3�4SE~P�FHd�8�AVBW?@FHA�d6AVFonaE~QS8�P)B�AZ8��G8�nWBD=/?E~=6E�?@E~BD�$8�P\?@EG7JBW?@8lpS�S?��$E�?@4�PV8�nD8�AVBD�^Q6AVBy�$pRBDCM��P�«¦EG=��6=6E��¤FHAZ7 AZ8�OHEGFH=6P9?@4S8�AV8)E~P�=6F�~FaCyBD�Y79FD?VE~FH= E~=��¤FHAV7JBW?VE~FH=³N�BD�GFH=6O)8�Q6OH8�P�?V46E~P�E~=��¤FHAV7JBW?VE~FH= E~P�FH=6��` BonWBDEG�~BDp6�G8�EG=¢BQ6E~AZ8�C�?@EGFH=)=SFHAV7JBD��?@Fq?@468 8�Q6OH8WNRE~=�PVdS�6AVEGFH�6P ¬ 8W� OS�Y�$E�?@4�d6PZ8��6QSFWK>d�8�AZE~FaQ6EGC�d6BW?V?V8�AV=SPM­AV8�ODE~FH=SP�8�AVAVFD=68�FH�SP�8�PZ?@EG7JBW?@EGFH= F�C�C��6AZP��u3�468�PV8�BDAV8q`H8�?qBD=SFD?@468�A�AV8yBWPVFH=6P�?@F��6PV8�BAV8�OD�6�¥BWAVEG�yBW?VE~FH=�798�CM46BD=6EGPV7�� �c8�AZ8���8�C�FD=6PVEGQ68�AJBD= BW�J=68�BWd6d6AVFy¡�EG7�B{?@EGFH=�FW��?V468FHpS?MBWE~=68�Q)QSE~PZd6�¥BWC�8�798�=�?c�R8��GQ)BDP$E~=6E�?@E~BD��nWBD�G�68D�± P�AZ8�naE~8���8�Q9E~=Q<?>V@SBD=6Q���8��~���¤FHAV7JBD�GEG��8�Q8D� O6��EG=Q< j�@ NWEG?�EGP�BD�GPVF_EG=6Q68�8�Q�d�FHPZPVEGp6�~8�?@F

8�PZ?VE~7JBW?V8 ?@468 AZ8�?@EG=RBD�ª79FD?VE~FD=�QSE~AZ8�C�?V�G`u�6PVEG=6O6NREG=�FH�6A�8����RB{?@EGFH=�NR798yBDPZ�6AV8�P�?@BD�D8�=)EG=?@468�EG7JBDOH8�EG=�?V8�=6PZEG?>`D�Y3�468$E~7JBDOH8�EG=/?@8�=6PVE�?>`9Q68�AZEGnWBW?VEGnD8�P�BDAZ8�E~=9Q6EGAV8�C�?�BD=6Q9�GE~=68�BDA&AV8LK�¥BW?VE~FD=J�$E�?@49?@468�AV8�?@EG=RBD�U79FD?@EGFH=�N�C�FH=6PVEGQ68�AVEG=6O�?V468S>�PZ?�FHAVQS8�AYC�FH=SPV8�A\nWBW?@EGFH=�8����RBW?@EGFH=¬ ?@4S8�PZF�C�BD�G�~8�Q �cFDAV=�BD=6Q B CM4��6=6�q8����RB{?@EGFH=�N��$EG?V4�PV8�nH8�A@BD�U�GE~79E�?MBW?VE~FH=SP�Na8D� O6� < :DhA@ ­�FHAFD?@468�A�QSEG�e8�AZ8�=/?@E~BD�SAZ8��~BW?@EGFH= ¬ 8D� O6� < :H:3@��¤FHA�jW=6Q�FHAVQS8�A�8����RBW?@EGFH=6P@­�� � 8��$EG�G��=6FW?��¤FH�G�~Fo�?@46EGP ?@A@BWCM�l468�AZ8�p�8�C�BD�6PZ8JC�FHAZ?VE~C�BD�&79FD?@EGFH=�C�FH79d6��?MBW?VE~FH=SP � BWAV8qEG=6Q68�8�Q�p6�SE~�GQ68�Q FH=�~Fo��K>�G8�nD8���79FD?@EGFH=�Q68�?V8�C�?VFHA ¬ AV8�d6AV8�PV8�=�?V8�Q�468�AV8Jp/`²?@468JC�FHAZAV8��¥BW?VE~FD=�FHd�8�AVBW?@FHAZP�BD=6Qd6AV8�PV8�=/?$EG=�?@4S8 ����m FHA � j�C�FHA\?@EGCyBD�³BDAV8�BDPM­�BD=6Q�46EGOH468�A\K �~8�nH8��³7JFW?@EGFH=u8�P\?@EG7JBW?@FHA�BDPFHp6PV8�AZnD8�QlEG=²�)3¯BD=6QI� B 3 � �c8�AZ8DNR��8BDAZ8�C�FH=6C�8�AV=S8�QI�$E�?@4)p6E~FD�~FHODE~C�BD�~��`�d6�~BD�6PZE~pS�~8E~79d6�G8�798�=/?@BW?@EGFH=IFW��PZ�6CM4I79FD?VE~FH=�8�P\?@EG7JBW?@FHAZP��

��� � � K + [ ������������ � � ������������������������� ����!�" ����#�#��$�&%�� -!����&% ��'�(%)�*�'+����$#�� ,���-�#�! +&%���.�# �/�10�������#�, 0<21#&%5%B, .&�2(./�!� AD�*-5#?+,21%*G

3�4 �*�5� K 6 � �=#65/� + [ 2(+ [ A:-5��� A�.&�>%!#&2 0*.&�!-!+10*#?275 +,%+*=#?2 ;=#?-!� 6�#68 K %�.�2 �*-!+92(� % 0*#&2E2,� A:27#&4 [ .D0<� 2 C2 *�21#?�5 +1%5*=#&2 ;=# -5� 6 #68 �<; -!� [ %�+,. [�K + [ 68��+10>� -!��� [ �<*��5. [ %�+ [ 2,#68/�*� ^�= . ,?>A@ ;��5.�B �F0�-�-!.(-5��� -!��+10'C%�-!�5+,;$�F%�.�,D> ` +1%(0<. [ %�+1AD� �!�FA G � �!�F#E> ` -5��� [ ;��5.�B � 0<-5%�-!.F>HG K > aJI .&�LK"� K 2(+1A�AD2,� C -!�<2(;).&�>#?20*.&�!-!�<;$M K # [ AEKN��� I 2(� A�+,#&2 %+*�;)�*�5+E./�3-!��2(;$./�5#&2 0*.&�!-!�&; M<G�����+1% ;=# -5��6�#68 +1% # [ �<; -!� [ %�+,. [ .�,�-!���27#&4 [ .D0<� 2E2 *�21#?��;=# -5��6�#68 , �!.�2 -5��� �!�*-!+ [ # # [ A 9PO � K # [ A 0<. [ -5+ [ *��F% -5��� ;��!.D0*� %5%�+ [ 4:.�,Q5 +,%+*=#?2A��<-5#&+E2 2,� #&A�+ [ 4 -!.7-5����;)�*�>0<� ;D-!+,. [ .�, %��$#?;)� + [ #?�5� #R>HG # [ AS2 .T5/�<2(� [ - + [ #&�!�F#&%> a # [ AEKN�D� G�D�*�RU G�V�, .&�3#(AD+1%50 *=%5%�+,. [ G� % , #&� #/%W2(.?-5+E. [ ;)�*�>0<�*;�-!+,. [ +1%�0*. [ 0*�*� [ � A K %!+X2(;�2,+ ,Y8 + [ 4 -!��� %�+E-+*=#?-!+,. [[Z 0*�*2,2,% + [ > a #?�5� ;=#?�!-!+10 C*=2,#&�!298 %!� [ %!+E-!+95&� -!. %�27#?2,2[2(.T5 + [ 47.&'�B �F0�-5%3.&�8-5���\2(.T5 + [ 47�FAD4&� . , 2,#&�!4/� .&'�B �F0�-5%�]$0*�*2,2,%3+ [ AD./�5%5#?2KE�D� �!�F%�;). [ A(-!. -!���D2 .T5/�<2(� [ - .�,�2,#&�!4/� %50<� [ � % %+*=0>� #/% +1% 0*# *$%��FA(68+ -5� ���F#&A^2(.T5&��2(� [ -5%�]/0*�*2,2,%+ [ 5/� [ -!�>#?2_KE�D� �!�F%�;). [ A -!. -5���Q2(.T5&��2(� [ - . ,�%`27#?2,2=./'�B � 0<-5% #&4/#&+ [ %�- -!�=�*+,� '=#/0'C 4&�5.�* [ A�GP� � �F, .&�+ [ %�-5# [ 0<�RU aTV K_b �=#?;F@�c , .&�3#7A�+,%50 *=%5%!+E. [ G��*=0>�^27#?4 [ . 0*�*2,2?*=2,#&� [ ��*��5. [ % K AD�*� ;�298��5�*21# -5� A�-!.\2(.&-!+,. [ ;)�*�>0<�*;�-!+,. [�K %��=. 6 # �=+E4/� %�� [ %�+E-!+95 + -d8�-!.0*. [ -!�>#&%�- K 2,. 6 %!;=#?-!+1#?2 �5� %!.&2 *D-!+,. [�K # [ A ��+,4&� -!�<2(;).&�>#?2��5� %!.&2 *D-5+E. [ .&�G, #/% -8-5�5# [ %!+E� [ -3�5� %!;). [ %!� % -!.5 +1%5*$#?2 % -5+X2 *�2E+ G ����� %!�(0<�*2,2 *�2,#&��0>�=#&�5#/0�-5�*�5+,%�-!+10*%Q2(#�C&� -!���e27#?4 [ . 0*�*2,2?*=2,#&��AD+95 +,%!+E. [ . , -!���e5 +,%+*=#?2%`8D% -5�<2��F%�;)� 0*+,#&2E298 #&'�2E� -5.gf-*=+,0'C 298 AD�<-5� 0<- [ .T5&� 2)./�2(.T5�+ [ 4(% -5+X2 *�2,+ G

���TZ����

Page 37: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

������������� ��������������������������� �!��"�����#��$%��&!����')(*� � +,��'-����(.� ���

gradientSmoothed image

Multi−scale correlation

Interlaced imagesacquisition

Diffusion operator

Regularization layer

I(x)

g(x)

h(x)

h(x)

L(x)

£�������� � B���� ��������� ��� ��� � ���������� �!��"#���$���%�&��'�%���(���)����� �+*,�-�'�.���0/��1"2� � ��������&���30 � � -��'&��)����� �546���-� � ���-�����7�)����� �8�)"9�%������� �:�7�<;!4=�7���&>����� � ���?�<��-&�;!&��@;��'-�A��"#� � �B �������&C��)� ��D �@;E� DF� ��&��G� � �H-�'� �&���-��I'�)����� �J���� � �'�-�����$����K&���L)�'&M;N��� � � �-�'���O� � � ���� � P��� � ��& 6Q�7�)����� �?����'���98�R

S6� &�&�� D ����.� � �K�%�T� � � � � &�� ��;U��� �O� �-� � ���!VXW W�Y[Z D �1-��\6��1� � ���9����M������&]�'�P������������������^� � �%�-�'�-�'��� � ��� � ��T���%���7��&����7�������)����� �:��� �_� ������ � �'-�����?� � �%&�����<�)���I'� �!� �M"a`"2������ �!� �=����)��� b�-� �O� ��� � ���c*,��3TRAd5�.� � ��1�����%�&M; ��� ������� � �ce � �c�)�K��4��������"2�� �f*Pgh��3TZi�-��� � � D � D �����$��� � �Mjk�����A� � �.����"2����7�)����� �l���_���M"2� ��m����'���b4���1������ � -� ���$� � � �'��RKSn��-� � �'��%� -� D � � � ��-� � ��$� � �)�� � �o�)� � �]pqp���)\6&����$�[Rr��R�Zi"2� s��� �%�� � ��������-�F� � ���� � � & �ut �)� � �-� �%�1��'���&>�)���I<�)����� � � �E��v � �����(� � ��" � � t � � �'��� � e � pqp e � w ��>���������TA���U@ �yx;F$>������X�E� 7!����7�><P<�E��#$��FA����@ G���>-z��" � � t � � �'��� � e � ��� � �]pqp e|{ w @ �yx"F$>������e7!=����AG09AFA�a�$���W7������H>�>a��@ G���>-z [ ��� �

� � B �K���� � � � ��7} �.�7���-LE�~� � � D �N���NS����R6�%��� � S����R�R� �Q;���� � ��&�T/��O�'-���%�'������&6������&M���������-� �=����� � ���%S����R���"2��C� � ���-�������T�������(��'� � ��R� ���%��&>��-&�;�Zn�T/��=������%�'������&�������&M���F"2� 9�������'-&>� � � � ���7�����'� D ��� � � � ��� �?� �����&�� � �T`

�7�������s����$�-� �O� ��� � ���JSC��� �����Rn�� &�� � � �� � B ��-;�����&����%���6�)-; Z9� � ���U���7��&�&s��&�&���P�������� B ���0/��O�'-���%���(�?�)&�&�� D � � ���

B �'-��"�;^� � � � � � �'���� � �K��"C� � � ���� B �)����� ��~� � � � � � ��T���K�T/����%�&��'��R

� ���H�u�����u���T�H�

� �8��(4�����-� � ���%�&��'�%���(���)����� ����" � ��j=�'-�'��������&�� �O�'��)������K���� � ���:� � �����7��&����7����`���)����� �:��" � �Mjk������� �o��� � �����-�'�.����(���-� � ���8���� �&������I<�)�������o�7� ��� ��������%� � ���G4=���'�

��� ��¡�¢'£�¤T¥

Page 38: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

��� ��������� �������

��� ������������ ��� ��� ������������

S����������� "!F�'����&��H�T/����%�&���� 4���������� � � �!� � �.�-�������T�7�����(��'� � ��R#�$� ���%�&������$���'ZC"2� � � �%�6��-���-� �iZ DF� �)�9���9� 4����)���� � �������7���^���������� ��� �$� �Mj=������ �(')��� ��� �����&���������� DF� �)����~� 4���������� � 4�;^� � �G����'�-�'���b���%�&��'�%�'����������� �iR � &M� � � �� � �����7��&���'ZO���u� � �G&����-� � �)���D ��� � ��-�'� ��&>��-��I'�)����� �U;E���'& � �9�H&��'�-������ �&��� � ���-�&�� � ���7�����~\�'& � Z�����L(����H&�� � ��&n� � � ���������� ��� � ����'R

S��������K�� � "2� D �0/�)�7��&�������" � ��� �N� ���-�&�� � ���7�����$�'�P������������� �J��-������� � �K-�'� ��&>�� `��I�� �?� ���-�&�� � ���7������\6��& � � 4����)���� � "2�� � ���9�T/��O�'����%�'����������� �iR

��� �O� �-� � Zn��-����U���%��� � � � �-���%��&>��~���NVX� ��Y]"2� F� � ���6�)-;u�����)� � � �'�� B �)��� B �G� �O�'��h`��� -�'R

*,+��-*,.

Page 39: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

� ������������� ������������ ���� ��� ����� � ��� � ����� �%������ ������� � ����� � ���

�~�'-��Z � � �u�-� �=����� � � ��� �'�%�?���'���%�7��� � � B �^� � �^"2� &�&�� D ����!� � B �������)� �'� D �M� ���'�-�=� � �~���%��-�6��&i"2��)�7� D ���L(�'R

��� �b��� � ������� �� � ��� � �'-� B �G� B � � ��� �����& �A���=����)��� ���Zk�,RX�)Rb����-�'� �&���-��I�� B � � ���������&�7����'R � �U����������'�P������A�0/����'��-�����^��"k� � �s����'�-�'��� D � -L D � ��& � 4O�9��� � � ��-� � �'����$���&�; B � � ���������&�4���b�E��������M�����'� D ��� � �7���� � ���7��&��0/_�����=��-�����'�$�-� ��� ����������-"2����7�)����� � � -� ���^� � ��j=������ � ���'����� -�5Vr��W�Y[Z��7�<; 4O�l"2� &�&�� D ������� � ����� � Lu����M�����)��� � 4�;8VMg@�)Y[R � �J� �s"2����7��&����-� � � ��� D ���& � 4O�H���U������������(�$� � ��6������%������b���� � �.4�;����%�&�� � ���1���E��)����� ��1��� � �7������%��I��A� � �.�����%� � -�����'���� �4��� D �M� �N� � ��P������������'R���&��'�����K��T"2�'9���?VMg@�)Y]"2� F���u�0/����'� � � �J� ��� � ��-����� �iR

��� ���-� B � � ����� D �<;H���~�P�)����� �7�)��� � ��&�&�;�� � �'-� B � � ��(4������� �7� ��� � ��T���F���7��&����7����`���)�������:��"�� � � � � �������(�� ��H�'�(�6�)����� ��� � ���� B � � 4�;!� � ��'���&>�)���I<�)����� �!� � ��� -;�R�s������P������� �7�)��� � ���%�'��������������&�;K�~���7��&�& � � �%������'C������&�� DF� � ��� ��� B �#��� �%������%�_*[��� � ��� �%�^4����^ y3 DF� �'��� 4�������������l�E���7���� � ��&9� ��� �'�%����4���%��&����_�� ���� � �A���� � L!4=�T� D ���'��� � �����M/��'&�� B �@/���&�"2� ��7�)����� �:�7� � ��&���� � � � � � ��� � ��T���� �O�'������ �R! N� -�.��� � �����'&M; Z � �� D � �LN��'&����'�$� ��� � �H",� � �b� � ���1�U�� /��'&�� B �</��'&� B �'���� ���A� � ���Q���7��� �0��������������M�Q;o� B ��%�����A���P",� � �"� B ��&���%�)R$# � ���.��� �%� � � D����-��-� � ��� B �������-��%������� � � ���74=�F�<�)����&�;%� ����'���&���I�� � �M"=� ��~������4&��9��� � �)&���4������� � �1���7��� �b"2� -��������� �u� �����.� � �1�-�'��-� 'R�S6� �����-����� � �K� ����'���&���I<������� �?���7����;&�����'�� � � � B ��&����������N� �O�'��)����9���F�-�������� � ��"2�� D �� � R

� � �-���'�u"2�-� � �'�Z D � � � B �G� � � D �?� � �)�F�M" D � � � ��-� � �'F4=���� � � � �-���O� -����"2� � � �K���(���'� ���& � �O�'������ 9� � �G�-� � �)&�&�� �&% �'� � � � ��� � J��� `('1��&�&�� � ��������� ��� ��0`� � � �'�F���7� B �'P;u�����%�&��K� ��� �'�%�� *,�>3%4����� � � � � � �N� � �������M\ � �)�������c��"�� � ��#C�<;E&�� 7�T/��6�)������ � ��"s� � �?�������'� ���&����-�</����7�)����� � D ��� � � � �1� ���� ���6��&i���=����)��� 'Z*,���a3 \6� � ����7���?����-�</����7�)����� �?��� � &������ � ���9�O� ���-��4�&��b���%� � �$� -��� ���6��&=� �O�'��h`��� �Z� ��\�� � "2���� % ���� �^� ���P�����4���������� � �'-� B �)��� B �'��R � �%��� � &��'��A� � �)� DF� �)� � ���4=���'� � �'-� B � ��� �'��1���s���&�;^�.\��-�~� ����&�����K��"�� � ��� � � �4�&��K� � �<�7��� � � � �)�9� � ��P��� ` � &�� �-� � `Q���P` �=��������4&��T�1��������� �u���9���74O� D ���L�� � � ���<R

� �s",��s���s4����&�� ��� � ��& �&>�)�����4��&��M�Q;J��� � � � � �'���� � Zi�-� ��� � �O�'��)����s� �O�'�N� � � � ����"2� � � ��-� � ������� � ����) ���+* � �-,� ������������� � � ��� ����� �J*2�[Rr��R � � P��� � ��&~�7���� � � �%�������`����� ���3F���s��� �%��� � ���� B ��-; � �Mjk������(� D ��� � ������O� � �b��� � ��� �&���.� ��� ����) ����* �TRFS6-� � �� � �%������)����� �6�)&C�O� ���(����" B ��� D � � �G�������'��� � � B ��&�� ���7�����G� � � D ��� � �)�b� B �'�_��)� � ��

��� ��¡�¢'£�¤T¥

Page 40: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

� � ��������� �������

� � �%�&��T/ � � �%������)����� ���'Z�M"k� � � �-� � ��&�;��s���7��&����7������� � ZO�7�<;74=��� 4����)���� � 4�;�� B �'P;�����7��&�� � � �%������������ �^�7���^� �&M; � �<��&������ D �M� � �)�^�����'������ B �$&�� � ��& D �'��� � ��� � � B �'��)�)`�����R # � ��L)��;G� � �<������� � �#����������A��""2��� � 46� � LOZ(�)���=��������� � � ������ � �'����&�;H4(;�Vr�)Y����H� � �B �������& � ��-��� � �)&i�6�)� �(D �<;E�'R�# � �s�(� % ���$�7������"2���-�F�7�<;�4O� � ���� � �)������ � ����"2��&�&�� D �$ ��" ; ���u"2��� � 4� � L7� � � �-� � ��&M;(��Z�; ��� � ��� � � �%������K� B ��-; � � �%�&��0/u�� �E`Q&�����'���� &�� 46�)&��������M�Q;���������?�U�����%�&��%&�� � �)&C&������<�� s�Q�����M����4�&��0� � �Mj������� �_� ���� ������� �R # � �A"2�� -���)&� �� �� B �)����� ���~�� �� �O� ��� �N� �� �� � � B ������ � � � �1�����<�)&�&�� � % ����� � � ��� � J���P`-'K�)&�&����1�)��`�� ������ � ���:�� � �� 1���?� � -� D �N4� �� � ���U4���� D ���'�8� � ���'� ������������ D ��&�& ` � �T\6��� � � % �� � ���� -;���� �_DF� �)� D ���� ��%��4&��A���u���� P"2�� ������_�� ������������ DF� �'�!� �&M;��'� ����� � �� ������N�\6���M��7�����G��"�� �6�� -����'&��'� �J*2� � ���1��� �� 4������������� � ���5� � �7�� ����������&�� � ���� -;�30Z��)R �RU������7�����1��"C��� /!�'&���� B �@/!��&��b�� F�%�����~��"������� -� �6��&"����M���'R

� ��� � �#���� -���T/=Z�� � �U� ������ ����6��&$����M�-�%���7�&�'�� P����<��&'�'� &���%�iR)(*�T����+�'� � � � ���� ��������-����� �,�'� ����� � �� ������ � � D ���� -���%�&����+�'�����)������� ���<;�4��N�7������ � � �����.������&�'� �%�������)���� �6�)&��%� � ��&���"/�'�� -����<�)&��'� &���%��%�� -�!���'�����'�J*,�����!Vr�)Y�"2�� .�J�� ��<��������u� �� � �1����4!01���T�<ZO���~��&� ��<� � ;^�� -� �=����� � 4�;_VMg@�)Y[Z6��&M�2�3�����2#4A�65� �3����7�7���8�����8��:9-�<;=4<;u4��;�3� ��#4�9>92���7��?4�@��A3�B<;�4�/!� `6��3�@���;+8�7NVMg<��YC4�7+D���7�����7�7���DE��8 VXW)��Y[R 'F��3�;+��9� ����?4�@�@�;�Z92���7��#4���9�2�3� �7>��8G9 �3!D�������DH92��I����8��� 4�@$8�3�9��3�8H3�B~4���8�D�@�� D 2���@�� D �A ���719 ����J9=3��� BK3� �;�4�@���I�4�9��3�8L93M9�2��-;+3� ��%7�5�������\N�-8�3�9��3�8.3�B B ���J93� ��O4�@';�4�5iR � @:92�3�����2P3���9�3�B92��=7���3�5��%3�B$92��%5� ���7���8G9+5N4�5��� �ZQ7����R2S;+3D���@�7>4� ��-�UT�5����J9��DH9�3��JT!5�@�4���8P7�� B �� �4�@8�3�8�`V9 �� B �O4�@W5� �3�5��� �9�����7X3�BC��3� �9�����4�@Y��3�;+5���94�9��3�8�7�ZQ��RZ�R#92��=@�3�?4�@Y ���D���8�D�4�8���;[3�B8����� �3�8N4�@�7�����8N4�@�71VMg<��ZW)��Y�5� �3 B ��D���8���4�8A4�8���7�3�9 �3�5����<5� �3!����7�7$2�4�7�4�����8A��8G9 �3D�������D��8\5�4� �9�������@O4� =92��MB]4���9=92N4^9%��3�8�8����J9��3�8�7A4� ��M8�3�9%��7�3�9� �3�5����J4���9<ZC��RZ�R_BK3� =��D����D���9�����9���3�8I��8-9�2��`D���j���7���3�8%D��� �����9���3�8_V�g ��YQaK�[RZ��Rb��8-9�2��<D��� �����9��3�8 D 2����R2I��7���3D���D�4�;4+8����� �3�8dcTR

1

4

2/3 Local intra−cortical forward output

Local intra−cortical backward output

Extra−cortical input

Extra−cortical output

56

Remote intra−cortical backward input

or intra−cortical forward input

Internal connections

S������� ��.gfe�g � �R2���;�4�9����hD���7��� ���5�9���3�8M3�Bi4���3� �9�����4�@j��3�@���;�8kZdBK �3�; V ��Y[R

*,+��-*,.

Page 41: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

� ������������� ������������ ���� ��� ����� � ��� � ����� �%������ ������� � ����� � � �

�<�� `;����R2N4�8���7�; ;=4<;����>@���8�L���D�9�3%92��>��3� �9�����4�@i��3�@���;�8L4� ��R2��:9���J9�� ���Z* ���5� ��0`7���8G9���DM��8NSi����Rigfe+4�7$BK3�@�@�3 D 7�g` ��������� ����� ������ ����� �.� � ��� ��� �������������������� ����� �.� � , ��� � ���&��� �� � � ���� ���&��aK@O4����� �7 � 3�B92��F��3� �9�UT�c$��3� � ���7�5�3�8�D�7/9�3>92��F��8�5���9 B 4� ���4���@���� Z` ��������� ������������ � ��� �� ��* )�� ��� ��� �������������������� � � � � �.� �CaK@O4����� �7 3�BY9�2�� ��3� �9��JT�c`��3� ` ���7�5�3�8�D�7C93>92��F3��!95���9$9�2��F��3�;+5��!9��D���4� ���4���@�� Z` ��� ��� � ��� �%��� ����� ������ � ����� � �����%���� ��a]@�4����� �7 ��� � ����� 3�B�9�2��C��3� 19�UTNcb��3� � ���7�5�3�8�D�7b9�3F9�2����8G9���� 4^9��3�8�3����� $92��F3�5��� �4�93� ���4� ���4���@������Z` �� ��* )�� ��� ��� �%��� ����� �%���� � ����� � ���������� ��a]@�4����� �7 � 3�B�9�2��C��3� 19�UTNcQ��3� � ���7�5�3�8�D�7Y9�3F9�2����8G9�� P` 5N4� 4�;��J9�� /��8G9�� 4��J9��3�8iZN�,R �)R 9�2��FD��Mj"�� ���8G9 ;�4�9 �������7/��8�D��JT!��D������#4�8�D��QZ` ��� � ��� �.� ������� � ���������� �W��3� � ���7�5�3�8�D#9�3�9�2��F��9��� �4�9�����F3�5��� �4�9��3�8�7C��8.a g<��cTR

� 8�D�����DiZ�9�2���7/��7/4����� ��U� 5� �3�7�5����J9�����T��4�7�7���;�5!9��3�8iZG01��7�9C92� �3 D 8�2��� ���4�7C �3�����25� �3�5�3�7�4�@'93&��8���3��� 4����IBK�� 192��� +��8�����7�9����G4^9��3�8�7=4���3���9>92��A@���8�L7 ����9 D ����8) �������8G9��3�;+5���9��� !���7���3�8 � % �E4�5�5� �3G4��R2���7 4�8�D D 2N4�9/2N4�7"������8M3#��7��� �����D���8A92��h5� ���;=4^9���3� 19�JT=Z�9�2��F5� ���7���8G9 D 3� �L$������8���4�7�;=4�@�@ 719��5#��8#9�2���7CD��� �����9���3�8kR

%'&!()&!*+& �u� & �,.-0/�1�2�354 6879;:=<>7?A@CBA2EDCF89;:=4G2)HIF89;JK74.L.<M7ONPL.F8?Q7?A@QR=F8JTSAU�NV7ONWL.F8?I74�7XWSY:=R0NWX5FZ[L.JK7\8:]7?I74 ^�XPL.XM2�_5`Ma�b�c]d�eTf=g0hG`VbiSI7\8:=Xj-Vk�l8m�in-Mm8moA2

, pO/"qj2r35U�sY:=9�N�7?A@Kt�2ruvF89W?AS�9WF8sAX;Nw2yxzba|{AfMe}baGhG`Pb8~A�#gP�r�=~.fMej��h��T�Ve}bw��f���gW�w`PfM�V�Vh��������vbg0aGh�b8~A��h �5f=gPf=�IaGh�b8~����MdAb8�aGh���I��b�Y��a�{If+��b~ `Md�~ d����;�C��bg0h�b8a�hG��I�ViI6rF84.UAJT:T-=o���FZ#_��r�E~ h�fV��xzba|{Af=eTbaGh�`Vb~��n`=hGf=�Y`VfM�P2v��SA9;L.?A\8:=9;����:=9;4�7\AiBr7?n2Ep8�8�8p�2

, �O/!BA2E�#UA4.4.L.:=9=2[ ¡?�NW:=9W\89W7ONP:=@¢JTF�@�:M4YFZ[6�L.XWUI74nS�9WF�R=:MXWXPL.?A\A2�£vgWbh|�¥¤vf=�=¦�¤�fM§whGf=¨)�ViA�8©�ª m8©wkE-M�r��iYp8�8��-82, o/¬«�2A�#UA9;?AF�@�2�_5�­br��bV�EaGh�§8fj�Yf=d�gWb~��YfMaG¨��gP®��5a|{Afj`VfMgWfO�=gWb8~y`P�8g0a¡fV¯r2yD¥7XWXPF8?niIty79;L.Xwi�-Mm8m8��2#p?�@Q:=@AL NWL.F8?n2, lO/!t�2A°5:=\8F8?A@Q7?A@Q�Y2AD¥7X;�;q±74.4.L.R82�²�³A:5´#:ML.\8³rNW:M@�SI79�NPL.R=4.:±JT:0NW³AF�@KZ|F89#R=F8?�6r:=R0NPL.F8?��¡@AL µYUAXPL.F8?Q:M¶�UI7ONWL.F8?AXw2�x¥b8a�{��fMe}baGhG`=�>�;�K�)�e5�Ed�a�baGh���IiEl8��·;-M¸8¸r¹0ª or¸8lwk�l8p8l�iy-Mm8¸8m�2

, ©O/!º]2�°�:M9;L.RV³A:57?A@+»j2�HE7UA\8:=9P7XM2�1�:=X�¼)°±t¬:=?T²�9P7L NW:=JT:=?�N�@�:MX� ¡JK7\8:MX�:=N��±L.XPL.F8?�SI79�»59;@AL.?I7ONW:MU�9M25½EgWbh�a�fMe}fM�Ia�d��Yh �r�Yb~ i�-M��·�©r¹Vi�-Mm8m8©�2

, �w/!º]2O°�:M9;L.RV³A:8i�»j2MHE7UA\8:=9W7Xwi�qj2Oq5L.9W7UA@AF8?ni8²]2wt[[email protected]?�@�º]2=�#7L.4.4�7?rNw2HIF8UA9[7SASA4.L.RM7ONWL.F8?AX�FZI@AL µY:=9W:=?rNPL�74\8:=F8JT:0NP9�^¥NPFKR=F8JTSAU�NW:=9±6�L.XWL.F8?n2± ¡?­qj2n»59;sI7?¢7?A@z¾>2 ��¾�2Y¿57\8:=4Gi�:M@�L NPF89;Xwi�_5g0aGh À#`=hGb~)b�Y�+£vhG�~ �P�8hG`Vb~]�[h��VhG���YÁ8�Va�f=e��ViA��7XPL.R�º�:=XP:M79WRP³z��:=9WL.:=XMiISI7\8:=X5m8�wkE-=oA-82���SA9WL.?�\8:M9¡kr�):M9;4�7\Ai[-Mm8m8��2

, ¸O/!º]2I°5UA9;sAL.?niE±2ADCL�74.4GiA7?�@¥qj2IDCL NWRV³AL.?�XPF8?niI:=@AL NWF89;Xw2j½�{Af}`P�8e��Ed�aGh����+�YfMd�gW�8�I2)3�@[email protected]?��Gâ:=XP4.:0^ri�-Mm8¸8m�2, mO/�1�2�¼y67?AXw2)��bg0aGhGb~E��h ��fMgWfM�IaGh�b~E���MdAb8a�hG��I�Vi�6rF84.UAJT:>-Mm>FZ±Ä�gWbr�8dAba�f��YaGdA�8h�fM��h|�Qxzba|{AfMeTbaGh�`M�P2[t)9;F�R=:=:=@AL.?A\8XFZ[NP³�:]35JT:=9WL.RM7?QD¥7ONP³A:=JK7ONWL.RM74���F�R=L.:=N¡^ri�-Mm8m8¸�2

��� ��¡�¢'£�¤T¥

Page 42: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

�Ge ��������� �������

,.-M�O/"»j2AHE7U�\8:M9W7Xw2�½n{�gWfVf=����h�eTfM�I�PhG��Yb~����e��Yd�a�fMgQ��h|�Vh���Y�]bzÄvfP�8e}fMaGg0h�`¥��hGf=¨����h|�IaG2)DC ¡²�ty9W:=XPXMin-Mm8m8��2,.-8-0/�²]2�q5L.XPL.\8:=9MiI�Y2�°5:=³I7:=?A:8iI7?A@+BA2�t[2�Â#³I7?A\8:=U��Y2)Â#F8JTSAU�NP7ONPL.F8?I74YJTF�@A:=4.X�FZ[7XWXPF�RML�7ONWL.F8?KR=F89;NW:���2]�[d�g0gM¦����Eh��Y¦c>f=d�gW�r�Mh��~.¦.i�-M��ª p8l8�wk�p8l8m�i�p8�8�8��2

,.-MpO/"qj2�¾�:=9;JTF8XPL.4.4.FA2���bg0h�baGhG��Yb~[xzfMa�{I�M����=�g�xCd�~ aGh�eT�M�rb~[�PeTbM��f}xzba�`V{�h|���825ty³I° NW³A:=XPL.XMi� �¿�ºv ¡3>iE²�³A:j@�F�R=U��JT:=?�NvL.Xv7R=R=:MXWXPL.sA4.:�7ON�Z�NPS�ª ���wZ|NWS��¡XWF8Sn2 L.?A9;L�7�2 Z�9��O9;F8sEFNW6�L.X��O³rNPJT4��t[7SE:=9WX�O³A:=9WJTF8XWL.4.4.FAª �8p�2 SAXw2 \8<8iIp8�8�8p�2

,.-M�O/"qj2I¾v:=9WJTF8XWL.4.4.FAiAÂ52AÂ#³A:0Z�@� ³�FNP:=4GiI7?�@C»j2�HE7UA\8:=9P7XM2)��79;L�7ONPL.F8?I74�JT:0NP³AF�@AX�Z|F89�J�UA4 NWL.JTF�@A74IL.JK7\8:5JK7ONWRV³AL.?A\A2h �w`=§OiIp8�8�8p�2yNWFT7SASE:M79M2

,.-=o/!°j2[¾vUAsE:=4G2� � �MfMh�~ �>~ fC`VfMg0§fVbd fMa]~ b¢§Oh��Vh��� �C~ fM���Ma�bV��fM��`��=g��w�MgWb~.f=�Q�d!aGgWbh�a�fMe}fM�Ia]§Oh��VdAfM~ 2C1� UA?AL 6r:=9;X�@A:=XXPR=L.:=?AR=:=Xw2Et�F8UA9v4�7jXWR=L.:M?�RM:8i�-Mm8moA2

,.-MlO/!BA2EB8F8XWNM2#¤vhGf=eTb�I�IhGb�C��fV�e}fMaGg0Á+b�Y�j��fV�eTf=aGg0h�`}b�Yb8~ Á8�Vh��V2���SA9WL.?�\8:M9��):M9;4�7\AiEp8�8�8p�2,.-M©O/!D¬2Eu]7SI7@�L�7�inD¬2A GNPFAinÂ52�q5L.4.sE:M9�NMin7?�@zqj2Iâ:MX;NP³�:ML.JT:=9=25 ¡JTS�9WFM6r:MJT:=?rN5L.?�6�L.XWUI74�XP:=?AXWL NPL 6�L N¡^Qsr^CRP³I7?A\8:=X±L.?4.F�Rw74YR=F8?�NW:���NMª#SA79P74.4.:=4YXWNWUA@AL.:=X�L.?+³�UAJK7?TF8sAXW:=9;6r:=9;X57?A@+L.?T6�-5FZ�74.:=9�N�JTF8?��8:=^�Xw2[c>f=d�gW��IiIl8��ª �8lwk�oA-8in-Mm8m8l�2

,.-w�w/!º]2yu±L.JTJT:M4Gi�º�2yD¥74.4�7@ALGi)7?A@"¿�2)��F�RV³A:=?n2! ¡JK7\8:=X}7X�:MJjsE:M@�@A:=@!JK7SAX}7?A@!JTL.?�L.JK74)XWUA9;Z�7R=:=Xwª+JTFw6�L.:=XwiR=F84.F89MiINW:���NWUA9;:8i�7?A@�6rF84.UAJT:0NP9;L.R]JT:[email protected]�L.JK7\8:=Xw2��V�Ia�f=g0�YbaGhG��Yb~����d�g0�Yb8~)�;�K�)�e5�Ed�a�fMgC�[h��Vh��8�IiI�8m�·Gpr¹Vª.-8-8-Vk-Mp8m�iY��:=S�NM2Yp8�8�8��2

,.-M¸O/!BA2EBA2IuvF�:=?A@A:=9;L.?��E2#²�³A:]sA9W7L.?C7Xv7�\8:=F8JT:0NP9�^�:M?�\8L.?A:82��#�VÁ�`0{A�~.¦�¤vfM�0¦�iAl8p�ª.-Mp8pwkE-Mpr��iy-Mm8m8��2,.-MmO/!t�2AuvF89W?AS�9WF8sAX;NwiIº�2�t�:M:0NW:=9WXMiI²]2��5L.:=6�L.4.4.:8i�qj2AD¥74�7?A@A7L.?niI�E2ADCL.:=9;L.XPFw67�iE�Y2A��UA?A7:M9�NMiY»j2�HE7U�\8:M9W7XwiI7?A@Qt�2r��2¾�:=R��8:82v��UASE:M9;9;:MXWF84.U�NWL.F8?¥L.?CD¥º� �7?A@CL NWX�L.?��IUA:=?AR=:�L.?QXWNP7ONWL.XWNWL.Rw74[7?A74 ^�XWL.Xw2)²�:MRP³A?AL.RM74�9W:=SEF89�NwiY �¿5º� ¡3jiIBrU�4 ^p8�8�8p�2

, p8�O/�3j2�1�:=F8?I79;@n2��)F89;NW:��QJT:0NW³AF�@AXvZ|F89��IFw´�XWL.J�UA4�7ONWL.F8?AXM2���¦��)�8e��Ed�a�¦���{�Á8�ViE�r��ª p8¸8mwk��8�8l�i�-Mm8¸8��2, p�-0/!D¬2 Â�79P7?�@AL.?ALGi�°j2 BA2 ¾�:=:=\8:=9Mi�7?A@KBA2 3j2 DCFM6�XW³AF8?n2� yh��YfVbg0h|aGÁ�b�Y�]��bh��¥`V��IaGgW�~Yh|�����j�Ph|e��Y~ f�`VfM~�~ �Vi�RV³A7S�NP:=9±-M��2¿�:0´ «)F89 �Eª t)4.:=?�UAJ ty9W:=XWXwiI3�UA\A2n-Mm8m8¸�2

, p8pO/!¾>2)¿�7\8:M4�7?A@�à 2#¼y?��8:=4.JK7?A?n2¬35?"L.?�6r:=X;NPL.\r7ONWL.F8?"FZ±XPJTF�FNW³A?A:=XPXTR=F8?AX;NP9W7L.?�NTZ|F89jNW³A:C:=X;NPL.JK7ONWL.F8?!FZ±@AL.X;�SA4�7R=:=JT:=?�N]6r:=R0NPF89"!A:M4.X±Z|9;F8J�L.JK7\8:=X�XP:=¶�U�:M?�RM:=XM2K�;���)��½IgWb8�I�0b�`=aGh��8�I�}��­�vbaGa�f=g0�z_5�Yb~ Á8�Vh��Tb�Y�Cxzbr`0{�h��Yf�P�Ia�fM~�~ h ��f=�Y`VfMiA¸�ª l8©8lwk�l8m8��i�-Mm8¸8©�2, p8�O/!D¬2E»�N;NW:j7?�@C¾>2A¿57\8:=4G2�»5S�NWL.Rw74#�IFw´�:=XWNWL.JK7ONWL.F8?nªy3v@�687?AR=:=X±7?A@�R=F8JTSI79WL.XWF8?AXw2y ¡?QBI2 ��»j2A¼���4.UA?�@A³niI:=@AL NWF89Mi��gW�M`VfVfV�h����r�¢�;��a|{Af%$rgW�¢�#d�gW�V�AfVb� �)�8�w�=fMgWf=�Y`Vfz�8� ���e��Yd�a�fMg"�[h��VhG��Ii#6rF84.U�JT:C¸8�8�zFZ& �fV`MaGd�gWfCc��8a¡fM�+h|��)�e5�Ed�a�f=g��n`=hGf=�Y`VfMi�SI7\8:=X±l�-Vk����2E��SA9;L.?A\8:=9�kr�):=9W4�7\Ai[-Mm8moA2

, po/!BA2)t[:0NWL NPFN+7?�@"«j2y²�F8?A@AU�NM2!��:=9;XTUA?A:�?A:=UA9WF�G\�'MF8J('0NW9WL.:82�!IsA9W7ONPL.F8?AXKR=F89�NPL.RM74.:=Xwi�X;NP9;UAR0NPU�9W:=X+@A:�R=F8?rNV7R0N+:0NR=F8?�NWF8UA9;X±XPU�s�);:MR0NWL Z�X�JTF�@I7U��Y2�xzba|{��MeTbaGh��MdAfM� �)�V�w�=�g0eTbaGh��MdAf}fMa)�n`=hGf=�Y`VfM��*]d�e}bh|�Yf=�Vi�-=orl�ª lwkE-M��-8i�-Mm8m8m�2

, p8lO/!t�2#3j2�ºv7M6�L�7ONw2 3�? 7?I74 ^�XWL.XKFZ]SI79�NPL.R=4.:¥JT:0NP³�F�@AXM2  ¡? H�2��#9;:M<=<=LGiv:=@AL NPF89=i±c]d�eTfMg0h�`Vb~5x¥fMa|{A�M�8�Qh|�,+)~ d�h����Á8�Ybe�h�`M�Pi�6rF84.UAJT:�-8-Mpr��FZ� �fV`=a�¦nc>�a�fM�]h��¥xzba|{A¦.iASI7\8:=X±por�wk��8poA2���SA9WL.?�\8:M9��):M9;4�7\AiE�#:=9;4.L.?ni�-Mm8¸8l�2

, p8©O/�1�2I��RV³I79�ZW2)²�³A:>���±° 7?A@�9W:=@AUAR=:=@¥9W7?��KXPL.\8?I74�S�9WF�R=:MXWXPL.?A\A2��Yh �r�Yb~���gW�M`VfM�P�Vh|���8iEp8l�·�pr¹0ª.-8-M�wkE-M�8��iy-Mm8m�-82, pr�w/�1�2I��RV³r´�79;NW<82T½n{��O�g0hGf���f=���h|�PaGg0hG�=d�aGh���I�V2�¾�:=9WJK7?�?nin-Mm8lr��2

*,+��-*,.

Page 43: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

� ������������� ������������ ���� ��� ����� � ��� � ����� �%������ ������� � ����� � �g

, p8¸O/!¼v2nt�2[��L.JTF8?AR=:=4.4.Ly7?A@­°j2�¾v:=:M\8:=9=2T3�JTF�@�:M4[FZ�?A:=UA9;F8?I74#9;:=XPSEF8?AXW:MX>L.?¥6�L.XWUI74)79W:M7QJ>Nw2��[h��Vh��8�¬¤�fM�=fPb8gW`V{�i�8¸�ª �Oor�wk��©�-8i�-Mm8m8¸�2

, p8mO/!¿>2��F�RV³A:=?ni�º]2u±L.JTJT:=4GiM7?A@jº]2D¥74.4�7@ALG2�3!\8:=F8JT:0NP9;L.RM74�Z|9P7JT:0´�F89 �±Z|F89�4.Fw´�4.:06r:=4�6�L.XPL.F8?�2I�;���)� ½IgWb8�I�0b�`=aGh��8���C�Ve}bw��f���gW�M`VfM�P�Vh|��� �#����fV`Mh�b~n�V�V�PdIf}��C���±� �Vb�=fV�T�PeTbM��f���gW�M`VfM�V�Ph|���8i���·G�r¹Vª ��-M�wk���-M¸�i[-Mm8m8¸�2, �8�O/"�Y2w²�³AF89WSE:8i83>2°5:=4.F89;JT:8i7?A@jº]2M��7?Iº�UA4.4.:=?n2���SAL �8:�sI7XP:=@>XWNW9P7ONW:=\8L.:MX�Z|F89�9P7S�L.@>S�9WF�R=:MXWXPL.?A\A2Ic>f=d�gWb~�c�fMaG¨��gP®8�Vi-=oAª ��-Mlwk��p8©�iYp8�8��-82

, ��-0/�3j2�²�L ��³AF8?�Fw6Y2#º�:=\8UA4�79WL.<M7ONWL.F8?CFZyL.?AR=F89W9;:=R0NP4 ^QSYF8XW:=@QSA9;F8sA4.:=JTXw2#�n�§Oh�fMa�¦�xzba|{A¦n�j�w®8~.¦.iIoAª.-M©8poOkE-M©8pr��i�-Mm8©8��2, �8pO/!°j2�²�XPRV³�UAJTSE:=9W4 '±7?A@+º�2�°5:=9WL.RP³A:82)Â�F8?�XWNW9P7L.?A:=@Q7?A@�U�?AR=F8?AXWNW9P7L.?�:M@�SE@A:� X�Z|F89�6r:=R0NPF89vL.JK7\8:v9W:=XWNWF89W7ONPL.F8?n2y ¡? V23�UAXWN;6rF84.4Gi8:=@AL NWF89Mi���gW�w`PfVfV�h|���8�±�;�#a|{Af � � a|{>�n`Vb�Y�8h��Yb§Oh�b�­�)��w�Mf=gWfM�Y`Vf��8�}�PeTbM��f#_±�Yb~ Á8�Vh|�Pi8SI7\8:=X�-Ml8�wkE-M©8��i�#:=9W\8:=?niY¿vF89;´�7M^riEB8UA?A:>p8�8��-82

, �8�O/�3j2O��:=9;9WLGi�H�2�q5L.9;F8XPLGi�7?A@��j28²�F89;9W:82�°5L µY:=9W:=?rNPL�74INW:MRP³A?AL.¶�UA:=X�Z�F89yF8S�NWL.RM74��IFw´�2 ���8d�g0�Yb~n�;�va�{If ���EaGh�`Vb~��n�M`Mh�fMaGÁ�;�5_5eTf=g0hG`Pb�_]iE��ª m�-Mpwk�m8p8p�i�-Mm8m8��2

, �o/�3j2=�):=9W9;LA7?A@�²]2wt�F8\8\8L.FA2�3�\r7L.?AXWN�¶�UI7?rNWL NV7ONWL 6r:�F8S�NWL.Rw74 �IFM´>2r ¡?}��gW�M`VfVfV�h����r��+)h�g0�VaY�P�Ia�fMg0�YbaGh���Yb~��)�8�w�=fMgWf=�Y`Vf��"���e��Yd�a�fMgC�[h��Vh���IiASI7\8:=Xj-w��-VkE-M¸8��2E �¼)¼�¼ Â#F8JTSAU�NW:=9±��F�R=L.:0N¡^�in-Mm8¸r��2

, �8lO/�²]2)�5L '06�L.4.4.:Q7?A@ »j2#°j2)HE7UA\8:=9P7XM2�ºvF8s�UAXWN�7?A@"ZG7X;NKR=F8JTSAU�NP7ONPL.F8? FZ�UA?�sAL�7XP:=@ L.?�NW:=?AXPL N¡^ @A:=9;L 687ONWL 6r:MX+L.?L.JK7\8:=Xw2� ¡?zqj2Y��7?A@�L.?ALGiI:=@AL NWF89Mi���gW�M`VfVfV�h����r���;�>a|{Af��r�Y�T�±�v�5��iISI7\8:=X±p8�8�wk�p�-8-8in��7?rNV7O�¡D¥79W\8³A:=9;L NV7�i� GNP74 ^�i-Mm8m8p�2���SA9;L.?A\8:=9¡kr��:=9;4�7\A2

, �8©O/�²]2#�±L.:06�L.4.4.:8iv°j2�1�L.?A\89W7?A@ni57?A@ H�2vq±7XWSI79;@n2  ¡JTSA4.:=JT:=?rNPL.?A\�7¬J�UA4 NWL �¡JTF�@A:=4�:MX;NPL.JK7ONWL.F8? JT:0NW³AF�@n2 ½n{Af�P�Ia�fMg0�YbaGh���Yb8~ ���d�g0�Yb~y�;�K�)�e5�Ed�a¡fMgQ�[h��Vh��8�IiAo8oA·W-w¹ViYp8�8��-82

�������� ������������������ +ng �V� �=g0hG`T_5~ fV¯�b�Y�gWfj7?�@ ��~ h�§Oh�fMg +�bd8��fMgWb��79;:T\89P7ONW:0Z�U�4.4 ^¬7R���?AFM´v4.:M@�\8:M@�Z|F89�XPF8JT:SYFM´�:=9;Z|UA4�L.@�:w7X�7ON�NP³�:]F89WL.\8L.?�FZyNW³AL.X�´�F89 �Y2

� � �! � &#" � � * �G� �u� &%$ ( � * �'& ")( �G�'��� $$&!* �+* �-, ���G�?�

#$2��`BK3�@�@�3/.C��8�� ;�4��� �3�7W2N4���� ������8I��7���D%BK3� Y9�2��<7��; ��3�@����<D��� ��;��4�9���3�8�7�5� �3�5�3�7���DI��892���7C5N4�5��� �0

1%243�5�687�9:5�;43%3�<�5�783>=�6?=A@CBEDGF�64D�H�78D�5�ICJ:J?7�I>583�7�I?@?9KJML�I>5�;ON�IP943�D�7-J�@?9RQ?5�78DRIP985�Q:J?5�7N�3�D4Q?5�Q?F�64D�783TSVUXW874@8JZY[J]\^J?5�7_S�S`QC3�5/\ba8D�7�QcS�S`QC3�5�dN�@8JCD8N%N�\ea/\e7fSNgSVU:h�ijJCD�5Yjk�l8k�\mI�d+ion�I>U�pZq�qr9�@?WRQZYmJ?5�7�dCsS�atSVU%a8D�7�QM6�9�I?@?9uNS7tSVUOQ�@�NCa83�YJ�@?98a83�7�5YjN�IP94D8NCvfwVv�78D�H�xYJzy:Q{6?=|Y8ijJCD�5Yjk�l8k�\mI�d+io}8J?5�7fw[I>xf\mI>U�p]q�qr9R@?WRQZYPJ?5�7�d8d+\GJ�@?98a83�7�5Y~a/\^N�ICQ?5�d�d+\�QC3�5�d+\�a�dZSI>BX7:���G���8���%5�;43C9X=�DCW/Y�Y�6f\�N�d%�?�:I>BX9�@C5z=�3>=��43�7Yj@?W/YPp+\V6�d+\�N�d�5�;43C9%6EB�I+\e7/\bN�dMB�I3C98HfS1:��D8N8J{6�N�D�583%5�;43GW�@?L43�7u@CB%a834J?54@C7E<GL�I>5�;O7834Q{W434J?5E54@�=�6�NC5�I���IP98H�ICJC34QW�@?LTSVUcY~<_S�S�a834J?54@C7/\`HtS�SbN�ICQ?5YPIP98583�v83�7�d�du�?�

��� ��¡�¢'£�¤T¥

Page 44: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

��� ��������� �������

J�@?98a83�7�5Y =�DCW/Y�YPI+\^</\bH�dX�?�G<fw[I>x��?Hfw[I>x/\Ow~n�pZq�q =]IP9/Y~a834J?5�H�Ij=|Y~<�d+\V9�@?W�QZY~H�d8d>x/\�</\eH�d+\��j}��PdZS1��P98583�v�78D�583EDC9:3�<�W87834Q�Q4I?@?9-3E@Ca83�7ED:JCDC9�@?9�ICJG;�W43�7��CJ{6��43IP985��4@C<TSVUXW874@8JZYo3\b< S�S'a834J?54@C7�d@?W85�I?@?9O783>=�3>=��43�7fS�N�@8JCD8N%7/\�IZS7 SVUE3/S�B4@C7-I�54@Ga834J?5�H�Ij=|Y~<�dGH4@G7tSVU-IP985Y~7/\`<fw[I>x�U���p� ��/q�q[p� ��Rd:@CH3C98HfS1%243�5�687�9:5�;43:QC3�5:@CBz=�6�NC5�I���IP98H83�<834QXH%U wVH4k�pAq�q�H4k?98xXL�I>5�;E7EUOQ{6?=|Y~H4k�I+\�I>U�pZq�qr9�dIP98H83�<834QtSVUXW874@8JZY~7 S�S^IP98583�v83�7/\e9 S�S�IP98583�v83�7�d@?W85�I?@?9:783>=�3>=��43�7fSI>BX7%U��G5�;43C9hw��8n�I>U�pZq�qr98x4s38N8QC3=�DCW/Y�Y~H/\e9�d%�?�%@?W/Y=�DCW/Y�YPI+\e9f\eH�d%�?�=�DCW/Y�Y��\�I+\�H�d%�?�I>B-I�U��G5�;43C9OHfw���x%yupM38N8QC3XHfw���x:B�I+\w~n�pZq�qr98x/\�I+\eH�d+\h�n�pZq�qr9�s�\b9f\�H�d�d+\h�@?W/Y�W874@8J{94D>=�3�Y~7���p+\�9�d�d?s�\�9�dB�I3C98HfS1��43�B�IP943%5�;43��874@?9434J��43�7-Q�{=���@�NH�I>78D4JtSVUcYoD\���dX�?�OI>B:DXUG�E5�;43C9!pM38N8QC3��XB�IZS

*,+��-*,.

Page 45: Biologically plausible regularization mechanisms · HAL Id: inria-00071960

Unité de recherche INRIA Sophia Antipolis2004, route des Lucioles - BP 93 - 06902 Sophia Antipolis Cedex (France)

Unité de recherche INRIA Lorraine : LORIA, Technopôle de Nancy-Brabois - Campus scientifique615, rue du Jardin Botanique - BP 101 - 54602 Villers-lès-Nancy Cedex (France)

Unité de recherche INRIA Rennes : IRISA, Campus universitaire de Beaulieu - 35042 Rennes Cedex (France)Unité de recherche INRIA Rhône-Alpes : 655, avenue de l’Europe - 38330 Montbonnot-St-Martin (France)

Unité de recherche INRIA Rocquencourt : Domaine de Voluceau - Rocquencourt - BP 105 - 78153 Le Chesnay Cedex (France)

ÉditeurINRIA - Domaine de Voluceau - Rocquencourt, BP 105 - 78153 Le Chesnay Cedex (France)��������� ���� ���������� ��� ���

ISSN 0249-6399


Recommended