![20
Red Backpropagation: Ejemplo XOR
[ ] 27.102.188.0
66.1
19.0
12.287.0
12.292.0
22
11
=−=
−
=
−
−
=
bw
bw
01.0=α
Parámetros iniciales](https://image.slidesharecdn.com/utpia2014-2s6backpropagation-141009132950-conversion-gate01/85/Utp-ia_2014-2_s6_backpropagation-20-320.jpg)
Utp ia_2014-2_s6_backpropagation
- 1. Inteligencia Artificial (W0I9) Sesión: 6 MSc. Ing. José C. Benítez P. Red Backpropagation
- 2. 2 La red Backpropagation Características. Arquitectura. Algoritmo de Aprendizaje(LMS). Aplicaciones.
- 3. 3 Red Backpropagation • Fue primeramente propuesto por Paul Werbos en los 70s en una Tesis doctoral. • Sin embargo, este algoritmo no fue conocido sino hasta 1980 año en que fue re-descubierto por David Rumelhart, Geoffrey Hinton y Ronald William, también David Parker y Yan Le Cun. • Fue publicado “Procesos Distribuidos en Paralelo” por David Rumelhart y Mc Clelland, y ampliamente publicitado y usado el algoritmo Backpropagation. • El perceptron multicapa entrenado por el algoritmo de retro propagación es la red mas ampliamente usada.
- 4. 4 Red Backpropagation • En muchas situaciones del mundo real, nos enfrentamos con información incompleta o con ruido, y también es importante ser capaz de realizar predicciones razonables sobre casos nuevos de información disponible. • La red de retro propagación adapta sus pesos, para adquirir un entrenamiento a partir de un conjunto de pares de patrones entrada/salida • Después que la red ha aprendido ha esta se le puede aplicar un conjunto de patrones de prueba, para ver como esta generaliza a patrones no proporcionados.
- 5. 5 Red Backpropagation • Red feedforward, completamente conectada. • El flujo de información fluye de la capa de entrada a la de salida a través de la capa oculta. • Cada unidad de procesamiento en la capa se conecta a todas las de la siguiente capa. • El nivel de activación en la capa de salida determina la salida de la red. • Las unidades producen valores reales basados en una función sigmoide.
- 6. 6 Red Backpropagation • Si n=0 a=0.5, conforme n se incrementa la salida se aproxima a 1, conforme n disminuye, a se aproxima a 0. • Funciones de transferencia (diferenciables) • Sigmoidales, • Lineales n e a − + = 1 1
- 7. 7 Red Backpropagation • La función de error define una superficie en el espacio de pesos, y estos son modificados sobre el gradiente de la superficie • Un mínimo local puede existir en la superficie de decisión: esto significa que no hay teorema de convergencia para la retropropagación (el espacio de pesos es lo suficientemente grande que esto rara ves sucede) • Las redes toman un periodo grande de entrenamiento y muchos ejemplos. • Además mientras la red generaliza, el sobre entrenamiento puede generar un problema.
- 8. 8 Red Backpropagation: Arquitectura R – S1 – S2 – S3 Network
- 9. 9 Red BP: Algoritmo de Aprendizaje • Los pesos se ajustan después de ver los pares entrada/salida del conjunto de entrenamiento. • En el sentido directo la red permite un flujo de activación en las capas. • En la retropropagación, la salida actual es comparada con la salida deseada, entonces se calcula el error para las unidades de salida • Entonces los pesos en la salida son ajustados para reducir el error, esto da un error estimado para las neuronas ocultas y así sucesivamente. • Una época se define como el ajuste de los pesos para todos los pares de entrenamientos, usualmente la red requiere muchas épocas para su entrenamiento.
- 10. 10 Red BP: Algoritmo de Aprendizaje 1. Inicialice los pesos de la red con valores pequeños aleatorios. 2. Presentar un patrón de entrada y especificar la salida deseada. 3. Calcule los valores de ajuste de las unidades de salida en base al error observado. 4. Empezando por el nivel de salida, repita lo siguiente por cada nivel de la red, hasta llegar al primero de los niveles ocultos: • Propague los valores de ajuste de regreso al nivel anterior • Actualice los pesos que hay entre los dos niveles. 5. El proceso se repite hasta que el error resulta aceptablemente pequeño para cada uno de los patrones aprendidos.
- 11. 11 Red BP: Algoritmo de Aprendizaje Gradiente Descendente: Después que se calcula el error, cada peso se ajusta en proporción al gradiente del error, retropropagado de la salidas a las entradas. El cambio en los pesos reduce el error total. Mínimo Local: Entre mas unidades ocultas se tengan en red, menor es la probabilidad de encontrar un mínimo local.
- 12. 12 Red BP: Algoritmo de Aprendizaje La superficie del error:
- 13. 13 Red BP: Algoritmo de Aprendizaje La superficie del error: En 2D
- 14. 14 Red BP: Algoritmo de Aprendizaje La superficie del error: En 3D
- 15. 15 Red BP: Algoritmo de Aprendizaje Selección de los Wij iniciales: • El error retro propagado a través de la red es proporcional al valor de los pesos. • Si todos los pesos son iguales, entonces el error retro propagado será igual, y todos los pesos serán actualizados en la misma cantidad • Si la solución al problema requiere que la red aprenda con pesos diferentes, entonces el tener pesos iguales al inicio previene a la red de aprender. • Es también recomendable tener valores pequeños de activación (umbral) en las unidades de procesamiento.
- 16. 16 Red Backpropagation: Aplicaciones Determinar si un hongo es venenoso • Considera 8124 variedades de hongo • Cada hongo es descrito usando 21 características.
- 17. 17 Red Backpropagation: Aplicaciones Diagnostico Medico • Basado en Visión por computadora. • Los síntomas son las entradas. • Los síntomas son trasladadas a un punto en el espacio de los patrones.
- 19. 19 Red Backpropagation: Ejemplo XOR 01 1 1 4 11 0 1 3 11 1 0 2 01 0 0 1 = = = = = = = = TP TP TP TP Diseñe una red de retropropagación que solucione el problema de la OR-exclusiva usando el algoritmo de retropropación (regla delta generalizada)
- 20. 20 Red Backpropagation: Ejemplo XOR [ ] 27.102.188.0 66.1 19.0 12.287.0 12.292.0 22 11 =−= − = − − = bw bw 01.0=α Parámetros iniciales
- 21. Resumen Las Tareas que no cumplan las indicaciones no serán considerados por el profesor. 21 Realizar un resumen mediante mapas conceptuales (CMapTools) de esta diapositiva. Serán mejor consideradas los resúmenes que tengan información extra a esta diapositiva. Las fuentes adicionales utilizadas en el resumen se presentarán en su carpeta personal del Dropbox y deben conservar el nombre original y agregar al final _S6. Las fuentes y los archivos *.cmap deben colocarse dentro de su carpeta personal del Dropbox, dentro de una carpeta de nombre: IA_PaternoM_S6
- 22. Preguntas El resumen con mapas conceptuales solicitado de la Sesión al menos debe responder las siguientes preguntas: 1. ¿Cuáles son las características de la red Backpropagation? 2. Describir el algoritmo de aprendizaje de la red BP. 3. Comparar las características del Perceptron, Adaline y Backpropagation. 4. Comparar la regla de aprendizaje de Adaline y BP. 5. Listar cinco aplicaciones de las redes BP. 22
- 23. 23 Sesión 6. Red Backpropagation Inteligencia Artificial http://utpiayse.blogspot.com