redes neuronales Som Slides
0 recomendaciones915 vistas
Este documento describe los mapas autorganizativos y el algoritmo de Kohonen. Los mapas autorganizativos realizan aprendizaje no supervisado para representar datos de entrada de alta dimensionalidad en una red de baja dimensionalidad. El algoritmo de Kohonen itera sobre los datos de entrada y ajusta los pesos de la unidad ganadora y sus vecinas para que se parezcan más al dato de entrada. Esto mapea datos similares a unidades adyacentes en la red.
redes neuronales Som Slides
- 1. RNA. Facultat d’Inform´ atica. UPV. Tema IV.1: Mapas autorganizativos Mapas autorganizativos ¯ Aprendizaje no supervisado ¯ “Learning Vector Quantization” ¯ Aplicaciones 2000-2001 1
- 2. RNA. Facultat d’Inform´ atica. UPV. Tema IV.1: Mapas autorganizativos Mapas autorganizativos UNIDAD j w 1j w w w 2j w w 6j 7j 3j 4j w5j ξ(t ,j) 0 ξ(t ,j) ξ(t ,j) x1 x2 x3 x4 x5 x6 x7 1 2 ¯ E SPACIO DE ENTRADA : Á Ê ¯ R ED DE Å UNIDADES : Ê ¯ C ONJUNTO DE PESOS : ª ¾Ê ¯ F UNCI ON DISTANCIA : ´ ´Üµ Ü ¾ ¯ F UNCI ON DE ENTORNO : ´ Á ¢Ê Æ È ´Êµ, ´Ø µ ¼ ´Ø µ ¾ Ê si ؼ Ø 2000-2001 2
- 3. RNA. Facultat d’Inform´ atica. UPV. Tema IV.1: Mapas autorganizativos Algoritmo de Kohonen algoritmo SOM( Ê ) Datos: : dimension del espacio de entrada; Ê: una red de Å unidades; ´ : ÜÔ ÜÔ ¾ Á ½ Ô Ò Ê Resultado: ª ¾ Ê : pesos de conexiones. para todo hacer ´ := valor aleatorio /* Inicializacion */ fin para t:=0 repetir t:=t+1 para todo ÜÔ ¾ hacer argmin½ Ü ¾ /* Eleccion de la unidad mas proxima* / ´ ´ Å para todo ¾ ´Ø µ /* ´Ø¼ µ ´Ø µ si ؼ Ø*/ hacer · ´Øµ´Ü µ /* ´Ø¼µ ´Øµ si ؼ Ø*/ fin para fin para hasta ´Øµ ¼ o ´Ø µ 2000-2001 3
- 4. RNA. Facultat d’Inform´ atica. UPV. Tema IV.1: Mapas autorganizativos Algoritmo de Kohonen w’’’(t) w(t) w(t+1) w’(t+1) x w’(t) w"(t) w"(t+1) - ξ (t,j) w’’’’(t) 2000-2001 4
- 5. RNA. Facultat d’Inform´ atica. UPV. Tema IV.1: Mapas autorganizativos Algoritmo de Kohonen ¯ Propiedad: La regla ´Ø · ½µ ´Øµ · ´Øµ ¡ ´Ü´Øµ ´Øµµ con ¼ ´Øµ ½ verifica: ܴص ´Ø · ½µ ¾ ܴص ´Øµ ¾ ¯ Recomendacion: ´ – ´Øµ ¼ ¨¡ ´½ Ø ½¼¼¼µ © – ´Ø µ ÜÔ´ Ö Ö ¼ ¼ ¾ ¾´ ´ µµ µ Ø ¾ ¯ ´Øµ ½ Øo ´ ¼ ¼¼½ Ö y Ö ¼ son las coordenadas de y ¼ . ¯ Convergencia: (Yang y Dillon, 1991) ¯ Propiedad: Datos proximos en Á tenderan a estar representados por ´ Ê ´ ´ unidades “proximas” en el mapa autoorganizativo. ¯ Aplicacion: visualizacion en 2D: Á ´ ´ Ê ½ Á ¢ ½ Á o en 1D Á Ê ½ Á ¯ Propiedad: A partir de una gran cantidad de datos de entrenamiento, la red es capaz de aproximar las distribuciones de probabilidad subyacentes del conjunto de datos con un numero reducido de unidades (Kohonen,1987) ´ 2000-2001 5
- 6. RNA. Facultat d’Inform´ atica. UPV. Tema IV.1: Mapas autorganizativos ´ Dinamica de un mapa autoorganizativo Dado un Ü ¾ Á , Ü es Ê si ¾ argmin Ü ¾Ê Ü ¾ ܾ · ¾ ¾¡ Ü ¡ ½ ½ ½ È si Ô ¾¡ y Ô¼ ½ ¾ argmin Ü ¾ argmax´Ü ¡ Ô · Ô¼ µ ¾Ê ¾Ê ´ Una funcion discriminante lineal 2000-2001 6
- 7. RNA. Facultat d’Inform´ atica. UPV. Tema IV.1: Mapas autorganizativos Clasificador basado en un SOM CAPA DE SALIDA CAPA DEL MAPA CAPA DE ENTRADA 2000-2001 7
- 8. RNA. Facultat d’Inform´ atica. UPV. Tema IV.1: Mapas autorganizativos Etiquetado algoritmo CALIBRADO-SOM( Ê ) Datos: ´ Ê : dimension del espacio de entrada; : una red de Å unidades; : ´ÜÔ ØÔµ ØÔ ¾ ÜÔ Á ½ Ô Ò ; ª Ê ¾ ¾Ê Resultado: ETIQ Ê ½ para ½ hasta Å hacer para todo × ¾ hacer VOTOS × ¼ fin para fin para para todo ´ÜÔ ØÔ µ ¾ hacer argmin½ Å Ü ¾ ; VOTOS ØÔ VOTOS ØÔ · ½; fin para para ½ hasta Å hacer ETIQ argmax×¾ VOTOS × fin para para ½ hasta Å hacer si VOTOS ETIQ ¼ entonces ETIQ fin si ½ fin para 2000-2001 8
- 9. RNA. Facultat d’Inform´ atica. UPV. Tema IV.1: Mapas autorganizativos Esquema general LVQ algoritmo ESQUEMA-LVQ( Ê ) Datos: : dimension del espacio de entrada; Ê: una red de Å unidades; ´ : ´ÜÔ ØÔµ ØÔ ¾ Ê ½ ÜÔ ¾ Á Ô Ò Resultado: ª ¾Ê ª SOM´ Ê µ ETIQ CALIBRADO´ Ê ªµ Ø ¼ repetir para todo ´ÜÔ ØÔµ ¾ hacer Ø Ø ·½ ª LVQ*´ÜÔ ØÔ ª ETIQµ fin para hasta ´Ø ÌÑ Üµ o convergencia 2000-2001 9
- 10. RNA. Facultat d’Inform´ atica. UPV. Tema IV.1: Mapas autorganizativos “Learning Vector Quantization” 1 algoritmo LVQ1(ÜÔ ØÔ ª ETIQ) Datos: Una muestra ÜÔ ¾ Á , ØÔ ¾ Ê ª ¾Ê ETIQ Ê ½ Resultado: ª ¾ Ê corregidos ¾ argmin½ Å Ü si (ETIQ´ µ ØÔ) entonces ´Øµ ¡ ÜÔ sino · ´Øµ ¡ ÜÔ fin si 2000-2001 10
- 11. RNA. Facultat d’Inform´ atica. UPV. Tema IV.1: Mapas autorganizativos “Learning Vector Quantization” 2 algoritmo LVQ2(ÜÔ ØÔ ª ETIQ) Datos: Una muestra ÜÔ ¾ Á , ØÔ ¾ Ê ª ¾Ê ETIQ Ê ½ Resultado: ª ¾ Ê corregidos argmin½ Ü ¾ Å argmin½ Ü ¾ Å si ´ETIQ´ µ ØÔ µ ´ETIQ´ µ µ ØÔ entonces ÜÔ ¾ ÜÔ ¾ si Ñ Ò´ ½ µ ´½ Úµ ´½ · Úµ entonces ´Øµ ¡ ÜÔ · ´Øµ ¡ ÜÔ fin si fin si 2000-2001 11
- 12. RNA. Facultat d’Inform´ atica. UPV. Tema IV.1: Mapas autorganizativos “Learning Vector Quantization” 3 algoritmo LVQ3(ÜÔ ØÔ ª ETIQ) Datos: Una muestra ÜÔ ¾ ÁÊ , ØÔ ¾ ; ª ¾ Ê ; ETIQ Ê ½ Resultado: ª ¾ Ê corregidos argmin½ Å Ü ¾ ; argmin½ Å Ü ¾ si ´ETIQ´ µ ØÔµ ´ETIQ´ µ ØÔµµ entonces si ´ETIQ´ µ ØÔµ entonces ´ µ ´ µ fin si si ´ETIQ´ µ ETIQ´ µµ entonces ·¯ ¡ ´Øµ ÜÔ ¡ ; · ¯ ¡ ´Øµ ¡ ÜÔ sino ÜÔ ¾ ÜÔ ¾ si ´Ñ Ò´ ½ µ ´½ Ú µ ´½ · Ú µµ entonces · ´Øµ ¡ ÜÔ ; ´Øµ ¡ ÜÔ fin si fin si fin si 2000-2001 12
- 13. RNA. Facultat d’Inform´ atica. UPV. Tema IV.1: Mapas autorganizativos “Decision Surface Mapping” algoritmo DSM(ÜÔ ØÔ ª ETIQ) Datos: Una muestra ÜÔ ¾ Á , ØÔ ¾ Ê ª ¾Ê ETIQ Ê ½ Resultado: ª ¾ Ê corregidos ¾ argmin½ Å Ü si (ETIQ´ µ ØÔ) entonces argmin½ Ü ¾ Å ETIQ´ µ ØÔ ´Øµ ¡ ÜÔ · ´Øµ ¡ ÜÔ fin si 2000-2001 13
- 14. RNA. Facultat d’Inform´ atica. UPV. Tema IV.1: Mapas autorganizativos Aplicaciones ¯ Reconocimiento del habla: mapas fonotonicos. ´ ¯ Procesamiento del lenguaje natural: mapas semanticos. ´ ¯ Control de robots. ¯ Compresion de imagenes. ´ ´ ¯ Clasificacion de icebergs por radar. ´ ¯ Clasificacion de las canciones de cortejo en insectos. ´ 2000-2001 14
- 15. RNA. Facultat d’Inform´ atica. UPV. Tema IV.1: Mapas autorganizativos ´ Mapas foneticos a a a ah h oe oe φ φ e e e o a a h r oe l φ y y j i o o a h r r r η η y j i o o m a r m n m n j i i l o u h v vm n n h hj j i l u v v p d d t r h hi j . . u v tk k p p p r k s . . v k pt t p t p h s s 2000-2001 15
- 16. RNA. Facultat d’Inform´ atica. UPV. Tema IV.1: Mapas autorganizativos ´ Mapas semanticos water meat dog horse beer bread little fast seldom Bob much Jim slowly often eats Mary well works poorly speaks phones buys visits sells runs drinks walks hates likes 2000-2001 16