Aprendizaje No Supervisado y Redes de Kohonen

Aplicaciones y Estado del Arte

Hoy vamos a ver:• Organización Tímbrica de Instrumentos Musicales

Utilizando Redes Neuronales. Néstor Spedalieri y Jorge Xifra. 2001.

• Analysis and Downscaling Multi-Model Seasonal Forecasts using Self-Organizing Maps.J. Gutierrez et al. 2004.

• Self Organization of massive document collection.Teuvo Kohonen et al. 2000.

• Un clasificador neuronal que explica sus respuestas: aplicación al reconocimiento de dígitos manuscritos. Leticia Seijas. 2002

Organización Tímbrica de Instrumentos Musicales

Organización Tímbrica de Instrumentos Musicales Utilizando Redes Neuronales. Néstor Spedalieri y Jorge Xifra. Tesis de Licenciatura. 2001.

Organización Tímbrica de Instrumentos Musicales

Timbre: “Atributo de la sensación auditiva en términos del cuál un oyente puede juzgar que dos sonidos presentados en forma similar son disímiles”

• Objetivo: A partir de un sonido, detectar de qué instrumento proviene.

• Características: – Utiliza transformada de wavelets para dividir el sonido por frecuencias

– Utiliza dos capas de mapas de Kohohen

Organización Tímbrica de Instrumentos Musicales

Esquema del modelo

Organización Tímbrica de Instrumentos Musicales

Esquema del modelo:- Entrada: Nota C4 (262Hz, DO de la cuarta octava) de diferentes

instrumentos musicales.- Preprocesamiento: Transformada de wavelets para dividir por

frecuencias. Compresión de las componentes más altas.- Redes inferiores: Clasifican cada rango de frecuencias del sonido.

El resultado es una posición de la grilla (x,y) para cada rango de frecuencias.

- Red superior: Clasificación final del sonido.

Organización Tímbrica de Instrumentos Musicales

Preprocesamiento

- Mono- Ventana de tiempo: incluye ataque y una porción de la

fase estable- Normalización de la intensidad (volumen)- Transformada de wavelets- Compresión de las frecuencias altas (para obtener 256

valores en cada una)

Organización Tímbrica de Instrumentos Musicales

Mapas inferiores

- 15 mapas- Tamaño: 10x10 (para tener una relación de 1 a 5 entre

la cantidad de entradas y de neuronas)- Dimensión de la entrada: 256

Organización Tímbrica de Instrumentos Musicales

Parámetros

- Cantidad de épocas: 256.000 para las inferiores y 150.000 para la superior para ordenamiento (para convergencia: 10%)

- Eta inicial: 0.32- Vecindario inicial: 10

Organización Tímbrica de Instrumentos Musicales

Colección Masiva de Documentos

Self Organization of massive document collection.Teuvo Kohonen et al. 2000.

Colección Masiva de Documentos

Objetivos

- Clasificar un conjunto muy grande de documentos. Proveer una herramienta gráfica para visualizar la colección y navegar por la misma y para presentar los resultados de una búsqueda.

- Verificar la escalabilidad de los mapas de Kohonen

Cantidad de documentos: 6.840.568 (abstracts de patentes)

Dimensión de la entrada: 500

Cantidad de neuronas: 1.002.240

Colección Masiva de Documentos

Modelos estadísticos de documentos

- Histograma de frecuencia de palabras (comprimido)- Clusters de palabras- Componentes principales- Proyecciones aleatorias

Colección Masiva de Documentos

Construcción rápida de los mapas

- Cómputo de la distancia: producto interno, almacenando sólo las componentes que no son cero.

- Estimación de mapas grandes a partir de mapas más chicos: agregando filas y columnas.

- Aceleración de la convergencia: guardando un puntero al último ganador para cada patrón de entrenamiento

- Procesamiento paralelo

Colección Masiva de Documentos

Implementación- 6.840.568 documentos con 132 palabras en promedio

- 733.179 palabras diferentes. Eliminando las palabras comunes y las que aparecen menos de 50 veces, quedan 43.222.

- Proyección random de las palabras a vectores de dimensión 500.

- Red final: 1.002.240 nodos.

- Cuatro pasos. Red inicial: 435 nodos.

Colección Masiva de Documentos

Resultados

Pronóstico meteorológico

• Analysis and Downscaling Multi-Model Seasonal Forecasts using Self-Organizing Maps.J. Gutierrez et al. 2004.

Pronóstico meteorológico

Objetivos- Discriminar diferentes “configuraciones meteorológicas”.- Poder predecir fenómenos con antelación (por ejemplo,

“El Niño”)

Datos utilizados:

- Diferentes registros meteorológicos de Perú, entre 1979 y 1999. Un patrón=un día

Pronóstico meteorológicoSe va a querer analizar la distribución de los datos y compararla con

distribuciones conocidas.

Arquitectura:- Preprocesamiento: componentes principales: de 7300 componentes

se quedan con sólo 30!

Pronóstico meteorológicoTamaño de la red: 8x8 (100 patrones por neurona)

Pronóstico meteorológico

Reconocimiento de Dígitos Manuscritos

Un clasificador neuronal que explica sus respuestas: aplicación al reconocimiento de dígitos manuscritos. Leticia Seijas. 2002.

Reconocimiento de Dígitos Manuscritos

Objetivos:- Reconocer dígitos manuscritos- Poder detectar patrones dudosos, y obtener las

posibles alternativas- “Explicar las respuestas”.

Arquitectura:- Múltiples redes de Kohonen que clasifican el patrón

considerando diferentes características- Un módulo analizador que combina las respuestas y emite una

respuesta global

Reconocimiento de Dígitos Manuscritos

Reconocimiento de Dígitos Manuscritos

- Cada red analiza una componente direccional- Tabla de confiabilidad: indica el porcentaje de errores de cada red

respecto de cada clase- Umbral de confiabilidad: determina a partir de qué valor una

respuesta se considera confiable.

Funcionamiento:- Para una entrada dada, cada red determina a qué clase pertenece.- El módulo analizador suma los votos de cada red, ponderados por

su confiabilidad.- La respuesta del sistema será la clase con mayor puntaje, si este

sobrepasa el umbral de confiabilidad.

Reconocimiento de Dígitos Manuscritos

¿Cómo se explican las respuestas?- Ante un patrón dudoso, se puede observar la decisión de cada una

de las redes (jueces) y determinar qué características del patrón son similares a cada clase

Reconocimiento de Dígitos Manuscritos

Reconocimiento de Dígitos Manuscritos

Reconocimiento de Dígitos Manuscritos

Reconocimiento de Dígitos Manuscritos

FIN