Radial Basis Functions

RBF (Radial Basis Functions)

• Ciertas BNN (Biological Neural Networks) responden a entradas

específicas.

• Supervisada.

• RBF son redes neurales adaptativas.

• RBF Respuesta Localmente Sintonizada. j

Tomaso Poggio

•

Arquitectura

1

2

j

1n

1net

2net

2nnet

0 1 2

1x

jx

0nx

x

21y

2ky

2

2ny

1d

kd

2nd

11y

211w

221w

2

2n

2k

21

• El nivel 1 no tiene pesos.

Propiedades de las RBF

jjjj xxy ,)(1

• calcula la proximidad de a 1jy x

j

• es:

- Isotropa.

- Tiene un máximo en

- mide la anchura de campo receptivo.

j

j

j

k

n

jjjkk xywxy

)()(1

1

12

Radial Basis Functions

Radial Basis Functions

m

Algoritmo Simple

1.- Dado tomar un tal que}{ ix

}{ j }{#}{# ij x

2.- Clasificar según por Kohonen.}{ ix

}{ j

3.- Hacer imin ijj

4.- Calcular2

2

21 )( j

jx

j exy

5.- Calcular

1

01

1211

)( j

n

jjkk

n

jjjkkk yywnetxy

6.- Actualizar los pesos

)()()1( 2kkjkjk ydtwtw

Radial Basis Functions

RBF funciona como:

• Aproximador universal de funciones continuas.

con representando bases no ortogonales

• Clasificador.

j

jjjj xwxf ,)(

Interpolación con RBF

Aproximación de la función por una RBF (línea sólida), basada en interpolación estricta, utilizando 15 muestras (círculos). La red RBF usa 15 unidades Gaussianas ocultas, y su salida se muestra para tres anchuras de las unidades ocultas: =0.5 ( ), =1.0 ( ), =1.5 ( ).

)1/()]12)(2[()( 2xxxxg

Interpolacion con BKP

Aproximación de la función por una red neural (línea sólida). La línea punteada se obtuvo con una red feedforward de 3 capas ocultas. La línea rayada se generó utilizando una red feedforward de 12 capas ocultas.

)1/()]12)(2[()( 2xxxxg

RBF versus MLP en interpolaciones

RBF

• Carácter local Extrapola MAL.

• Interpola bien

• Si existen muchos datos mejor RBF.

• + Simple

• Aprendizaje + rápido.

BPN

• Carácter global Extrapola BIEN.

• Si existen pocos datos mejor BPN.

• - Simple

• Aprendizaje + lento.

RBF-BPN

Ejemplo RBF como clasificador XOR

x2

x1

(1 1)(0 1)

(0 0)(1 0)

21)(1

xex

22)(2

xex

)11(1

)00(2

11

01

00

10

1

0.367

0.135

0.367

0.135

0.367

1

0.367

x )(1x )(

2x

Ejemplo RBF como clasificador XOR

Un perceptrón puede acabar de clasificarlos ya que son linealmente separables.

1.0

0.8

0.6

0.4

0.2

)(2 x

)(1 x1.00.80.60.40.2

(1 0) (1 1)

(0 0)

(0 1)