Deep learning: contexto, evolución, aplicaciones
0 recomendaciones581 vistas
El documento presenta un análisis del deep learning, abordando su contexto, evolución y aplicaciones, así como los conceptos de machine learning y la importancia de la representación de datos. Se discuten modelos y metodologías asociadas al deep learning, como redes neuronales convolucionales y el método de backpropagation. Además, se exploran diversas aplicaciones prácticas en campos como vehículos autónomos, reconocimiento de voz y generación de arte.
Deep learning: contexto, evolución, aplicaciones
- 1. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Deep Learning: contexto, evolución y aplicaciones
- 2. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es)
- 3. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es)
- 4. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es)
- 5. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Robots industriales (autómatas) Deep Blue versus Kasparov (1997) ELIZA: 1er Bot Conversacional (1966)
- 6. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Machine learning – Habilidad de las máquinas de adquirir conocimiento. – ¿Conocimiento? • Modelo que hay que definir (cada modelo tiene un número de parámetros) – ¿De quién o qué aprendo? • Datos en crudo (raw data): bases de datos • Representación de los datos (features) • Objetivos (targets) o salida deseada. – ¿Cómo aprendo? • Algoritmos matemáticos de optimización.
- 7. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Modelos (metodologías) Logistic regressionBoosting classifier Neural networks Nearest Neighbor SVM
- 8. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Parámetros
- 9. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Bases de datos
- 10. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Representación de los datos: key issue – La eficiencia en la representación de los datos es fundamental para el aprendizaje máquina • 1250 + 750 = 2000 o MCCL + DCCL = MM
- 11. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Representación de los datos: key issue – No aprendemos datos en crudo → extraemos features
- 12. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Deep learning – 1º Nueva forma de afrontar el problema de la representación • Se aprenden características relevantes (features) • Se aprenden representaciones complejas a partir de representaciones más simples. – 2º Si agrupamos en un grafo la relación de representaciones en capas conectadas, el grafo es muy profundo (deep) con muchas capas: muchos (pero muchos) parámetros. – 3º Para poder aprender los valores de los muchos (pero muchos) parámetros del modelo se necesitan muchos (muchos, muchos) datos: big data. – 4º Para poder entrenar estos mega modelos con cantidades ingentes de datos se necesita un HW muy (pero muy) potente
- 13. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) El círculo virtuoso del Deep Learning
- 14. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) 1998 LeNet 1998 Yann LeCUn The gap 2012 AlexNet Alex Krizhevsky
- 15. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) ILSVRC – 1000 categorías – 1.2M-14M imágenes de entrenamiento – 150K imágenes de test • 2017: top-5 error 2,25% • Desde 2018 este challenge ya no se hace (se da por resuelto)
- 16. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Speech recognition – Word Error Rate (%) – Google Assistant < 5% – Microsoft ~ 5% – Human error 2-4%
- 17. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es)
- 18. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Neurona artificial (ADALINE) Ejemplo: 2 dimensiones PERCEPTRON
- 19. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Entrenamiento – Estimar los parámetros (pesos y offset) a partir de N datos (entradas x y salida deseada d) – Descenso del gradiente: • Función de coste a minimizar: Error • Los pesos se actualizan en un proceso iterativo de forma proporcional a (-) la derivada del Error respecto de los pesos
- 20. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) El problema de la XOR – Partimos de una red con una sola capa de neuronas: solo se pueden resolver problemas separables linealmente. – Hasta este momento (1969) no se sabe como entrenar redes con más capas. Hasta 1986...
- 21. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) El problema de la XOR – Backpropagation (1986): método para propagar el error desde las capas de salida hasta la capa de entrada. • Permite crear modelos con capas intermedias. • Añadir capas implica añadir dimensionalidad al problema y capacidad de discriminación del modelo discriminante.
- 22. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Backpropagation – Aplicación recursiva de la regla de la cadena de la derivada ¡¡ Muy fácil de implementar y de paralelizar (GPUs) !!
- 23. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Redes Neuronales (Fully Connected FC)
- 24. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Redes Neuronales CONVOLUCIONALES
- 25. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Capas CONVOLUCIONALES
- 26. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Capas CONVOLUCIONALES 1 filtro para cada salida (filters) → pesos La profundidad del filtro depende de la profundidad de la capa de entrada A las salidas se les denominan “features” o “feature map”
- 27. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Capas CONVOLUCIONALES
- 28. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Capas CONVOLUCIONALES: parámetros principales – Tamaño del volumen de entrada (anterior): W x W x Cin – Tamaño del filtro (receptive field): FxF • La profundidad es la de la capa de entrada (anterior): Cin • Total: F x F x Cin (pesos de la red!!) – Stride o salto de pixel del filtro sobre el volumen de entrada: S – Padding: puede ser necesario rellenar con ceros el borde del volumen de entrada: P – Tamaño del volumen de salida: • El número de filtros Cout es un parámetro de diseño • El ancho y alto vendrá dado por: (W-F+2P)/S + 1 (debe dar un entero!!)
- 29. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Capas CONVOLUCIONALES – Ejemplo de filtros (pesos) aprendidos • 96 filtros de 11x11x3 de la primera capa de una red • Los filtros se comparten para todas las neuronas de cada “feature map” del bloque de salida. 96
- 30. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Capas CONVOLUCIONALES Mismos pesos (“filtro i”), conectados a las neuronas de la “feature i” de la siguiente capa” Entre diferentes features hay diferentes filtros (“filtro j” conectado a las neuronas de la “feature j” de la siguiente capa)
- 31. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Capas CONVOLUCIONALES W1 W1 Cin Cin F F Cout W2 W2 Capa convolucional: pesos solo conectados a una parte del tensor de entrada (FxFxCin) Pesos diferentes (Cout filtros) Capa “fully connected”: pesos conectados a todo el tensor de entrada (W2xW2xCout)
- 32. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Capas POOLING
- 33. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Capas POOLING
- 34. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es)
- 35. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es)
- 36. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es)
- 37. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es)
- 38. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) 14 millones de imágenes 1000 categorías (clasificación) 30 millones de imágenes 15 millones de regiones 600 categorías (clasificación + localización) 330K imágenes; 1.5M objetos; 250K personas con keypoints; Segmentación de objetos+pose
- 39. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es)
- 40. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es)
- 41. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) LeNet (1998) The gap AlexNet (2010) VGG (2013) GoogleLeNet - Inception (V1 2014 – V4 2016) ResNet (2015) SqueezeNet (2016); ENet (2016); Xception (2017); MobileNet (2017); DenseNet (2017); ShuffleNet (2017) Reducción del número de parámetros, número de operaciones, mejoras en la arquitectura, etc., manteniendo la precisión
- 42. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) https://medium.com/@culurciello/analysis-of-deep-neural-networks-dcf398e71aae
- 43. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) https://medium.com/@culurciello/analysis-of-deep-neural-networks-dcf398e71aae
- 44. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) https://medium.com/@culurciello/analysis-of-deep-neural-networks-dcf398e71aae
- 45. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es)
- 46. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es)
- 47. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es)
- 48. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Aplicaciones (I) – Síntesis de vídeo y audio – Coloreado de imágenes – Restauración de píxeles (CSI) – Estimación pose de personas
- 49. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Aplicaciones (II) – Descripción de fotos – Traducción idiomática – Síntesis de imágenes
- 50. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Aplicaciones (III) – Videojuegos DOOM Atari Breakout Google’s Deep Mind
- 51. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Aplicaciones (IV) – Vehículos autónomos – Robótica
- 52. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Aplicaciones (V) – Generación de voz, recomposición de sonidos, composición de música, etc. – Arte
- 53. INVETT Group at University of Alcalá INVETT – Intelligent Vehicles and Traffic Technologies David Fernández Llorca (david.fernandezl@uah.es) Deep Learning: contexto, evolución y aplicaciones ¡GRACIAS!