Redes NeuronalesRedes NeuronalesUnidad 2Unidad 2

Prof. Prof. FrancklinFrancklin Rivas EcheverrRivas EcheverrííaaUniversidad de Los AndesUniversidad de Los Andes

Laboratorio de Sistemas InteligentesLaboratorio de Sistemas Inteligentes

20052005

Configuraciones TopolConfiguraciones Topolóógicasgicas

�� En tEn téérminos de su estructura topolrminos de su estructura topolóógica, las gica, las redes neuronales pueden ser clasificadas en:redes neuronales pueden ser clasificadas en:

�� Modelos Neuronales en cascada:Modelos Neuronales en cascada:•• Una sola Neurona Una sola Neurona

•• Red Red UnicapaUnicapa

•• Red Red MulticapaMulticapa

�� Modelos neuronales retroalimentados:Modelos neuronales retroalimentados:•• Red RecurrenteRed Recurrente

�� Red AutoRed Auto--organizableorganizable

Una NeuronaUna Neurona

Modelos Neuronales en cascadaModelos Neuronales en cascada

�� ConfiguraciConfiguracióón de neuronas ordenadas formando n de neuronas ordenadas formando capas.capas.

�� Entradas a las neuronas provienen de las salidas Entradas a las neuronas provienen de las salidas de las capas precedentes.de las capas precedentes.

�� Salidas de la red corresponden a salidas Salidas de la red corresponden a salidas deseadas o sedeseadas o seññales de supervisiales de supervisióón.n.

�� No existen interconexiones entre neuronas No existen interconexiones entre neuronas pertenecientes a una misma capa, ni tampoco pertenecientes a una misma capa, ni tampoco interconexiones de retroalimentaciinterconexiones de retroalimentacióón.n.

Modelos Neuronales en cascadaModelos Neuronales en cascada

�� En general proporcionan un mapa estEn general proporcionan un mapa estáático, tico, instantinstantááneo, entre sus salidas y entradas.neo, entre sus salidas y entradas.

�� Ejemplos de estos modelos son:Ejemplos de estos modelos son:•• Redes PerceptrRedes Perceptróónicasnicas

•• Redes de funciones de base radial.Redes de funciones de base radial.

•• Modelo de articulaciModelo de articulacióón cerebelar.n cerebelar.

Red Neuronal UnicapaRed Neuronal Unicapa

Red Neuronal MulticapaRed Neuronal Multicapa

Redes De Redes De HopfieldHopfield

�� La operaciLa operacióón del sistema nervioso involucra el n del sistema nervioso involucra el encontrar estados estables que son encontrar estados estables que son atractoresatractores, , en su espacio de estado. Esto implica que los en su espacio de estado. Esto implica que los estados vecinos tienden a aproximarse a un estados vecinos tienden a aproximarse a un estado estable, permitiendo la correcciestado estable, permitiendo la correccióón de n de errores y proveyendo la habilidad de llenar errores y proveyendo la habilidad de llenar informaciinformacióón faltante. Una red neuronal n faltante. Una red neuronal recurrente de recurrente de HopfieldHopfield es una implantacies una implantacióón de n de estas propiedades y consecuentemente, estas estas propiedades y consecuentemente, estas redes constituyen memorias de contenidos redes constituyen memorias de contenidos direccionablesdireccionables..

Red Neuronal RecurrenteRed Neuronal Recurrente

-1

-1

1

n

∫

∫

x1

t1

tnxn

S1

Sn

w11

wn1

w1n wnn

Γ

Γ

z1

zn

Redes AutoRedes Auto--OrganizablesOrganizables

�� Las redes neuronales autoLas redes neuronales auto--organizablesorganizables o o mapas de mapas de KohonenKohonen, son dise, son diseññadas basadas adas basadas en el principio organizacional de las rutas en el principio organizacional de las rutas sensoriales del cerebro. Segsensoriales del cerebro. Segúún este n este principio, el posicionamiento de las principio, el posicionamiento de las neuronas es ordenado y refleja algunas neuronas es ordenado y refleja algunas caractercaracteríísticas fsticas fíísicas de los estsicas de los estíímulos mulos externos que son externos que son sensadossensados..

Red Neuronal Auto OrganizableRed Neuronal Auto Organizable

CATEGORIZACICATEGORIZACICATEGORIZACICATEGORIZACICATEGORIZACICATEGORIZACICATEGORIZACICATEGORIZACIÓÓÓÓÓÓÓÓN DE LOS ALGORITMOS DE N DE LOS ALGORITMOS DE N DE LOS ALGORITMOS DE N DE LOS ALGORITMOS DE N DE LOS ALGORITMOS DE N DE LOS ALGORITMOS DE N DE LOS ALGORITMOS DE N DE LOS ALGORITMOS DE ENTRENAMIENTOENTRENAMIENTOENTRENAMIENTOENTRENAMIENTOENTRENAMIENTOENTRENAMIENTOENTRENAMIENTOENTRENAMIENTO

�� Todos los mTodos los méétodos de aprendizaje pueden ser todos de aprendizaje pueden ser agrupados en dos categoragrupados en dos categoríías:as:

•• MMéétodos de aprendizaje supervisado.todos de aprendizaje supervisado.

•• MMéétodos de aprendizaje no supervisadotodos de aprendizaje no supervisado

Algoritmo

EntradasSalidas

Supervisor

Aprendizaje supervisado

Algoritmo

EntradasSalidas

Aprendizaje no supervisado

Algoritmos de Entrenamiento

FundamentaciónNeuro-Biológica

Aprendizajede Hebb

AprendizajeCompetitivo

FundamentaciónMatemática

Fundamentación enAnalogías Físicas

Aprendizaje porcorrección de error

Aprendizaje de Boltzmann

Algoritmos de entrenamiento

w1

w2

x

w

w’ ∆w

)( ))(),(),(( )( kXkSdkXkWfkw iiaα=∆

Algoritmos de entrenamiento

Algoritmos de Algoritmos de EntrenamientocEntrenamientoc

�� PerceptrPerceptróónn Discreto:Discreto:

XSnSdkWkW )(2

1)()1( −+=+ α

)(2

1 ))(),(),(( SnSdkSdkXkWf iia −=

* Clase 1

Clase 2

w1,x1

w2,x2

WTY=0

Función dedecisión

*

WTY>0

WTY<0

W(1)

Clase 2

Clase 1

w1(1)

w2(1)

α

Y

Algoritmos de EntrenamientoAlgoritmos de Entrenamiento

* Clase 1

Clase 2

w1,x1

w2,x2

WTY=0

Función dedecisión

WTY>0

WTY<0

W(1)

Clase 2

Clase 1

w1(1)

w2(1)

αY

Algoritmos de EntrenamientoAlgoritmos de Entrenamiento

Algoritmos de EntrenamientoAlgoritmos de Entrenamiento

�� Red Red UnicapaUnicapa Discreta:Discreta:

jiiijij XSnSdkWkW )(2

1)()1( −+=+ α

)(2

1 ))(),(),(( iiiia SnSdkSdkXkWf −=

Algoritmos de Entrenamiento

• Perceptrón continuo (Regla delta):

XXWSnSdkWkW T )()()()1( Γ−+=+ &α

)()( ))(),(),(( XWSnSdkSdkXkWf Tiia Γ−= &

Algoritmos de Entrenamiento

• Red Unicapa continua (Regla Delta):

jT

iiiiijij XXWSnSdkWkW )()()()1( Γ−+=+ &α

)()( ))(),(),(( XWSnSdkSdkXkWf Tiiiiiia Γ−= &

ym1

ymp

S1

SQ

11

L

Q

Wm11

Wm12

WmL1

WmLP

Wn11

WnQL

Yn1

YnL

J-ésima capa oculta

Algoritmos de Entrenamiento

Algoritmos de Entrenamiento

• Regla Delta Generalizada

(Algoritmo de Retropropagación)

)1)((2

1 ),,( kkka SnSnSdSdYnWnf −−=

ij

Q

iaja wnSdYnWnfymSdYmWmf ),,()1(

2

1 ),,(

1

2 ∑=

−=

Qk ,...2,1=

1,2,...Lj =

Algoritmos de Entrenamiento

• Regla Delta Generalizada

(Algoritmo de Retropropagación)

)(),,(Wn(k) 1 kYnSdYnWnf Taα=∆

)(),,(Wm(k) 2 kYmSdYmWmf Taα=∆

x1

x2

g(x)>0

g(x)=0

g(x)<0Función dedecisión

* **

*

**

**

* Clase 1

Clase 2

Clasificación utilizando Redes Neuronales

Ejemplo de clasificaciEjemplo de clasificacióónn

�� Emular el comportamiento de la funciEmular el comportamiento de la funcióón n llóógica O (OR), cuya tabla de la verdad es la gica O (OR), cuya tabla de la verdad es la siguiente:siguiente:

--11--11--11

1111--11

11--1111

111111

X1 O X2X1 O X2X2X2X1X1

* Clase 1

Clase 2

x1

x2 g(x)>0g(x)=0

g(x)<0

Funcionesde decisión

*

**

Algoritmos de Entrenamiento

Esquema de entrenamiento de Red Neuronal