Integrales dobles con redes neuronales, aplicación en deep learning.
- 1. “Año de la recuperación y consolidación de la economía peruana” UNIVERSIDAD NACIONAL DE PIURA FACULTAD DE CIENCIAS ESCUELA PROFESIONAL DE MATEMÁTICA ASIGNATURA: CALCULO MULTIVARIABLE. DOCENTE: AMERICO CARRASCO TEMA: PREDICCIÓN DEL PRECIO DE AUTOS USADOS EN EE. UU A TRAVÉS DE REDES NEURONALES HACIENDO EL USO DEL MÉTODO DEL DESCENSO DEL GRADIENTE. INTEGRANTES: CORREA HUNTER, JADHIRA KASSANDRA GIRON SANJINEZ JEM GUILLERMO SEMINARIO CARDOZA JUNIOR PIURA - PERÚ Enero - 2025
- 2. Predicción del precio de autos usados en EE. UU a través de redes neuronales haciendo el uso del método del descenso del gradiente.
- 3. Contenido 1. Introducción................................................................................................................... 1 2. Objetivos........................................................................................................................ 3 3. Procedimiento metodológico............................................................................................ 5 3.1. El gradiente............................................................................................................. 5 3.1.1. Método del descenso del gradiente..................................................................... 7 3.1.2. Método del descenso del gradiente para la regresión lineal. ................................ 9 3.2. Redes Neuronales: ................................................................................................. 11 3.2.1. Composición de una red neuronal: .................................................................. 12 3.2.2. Ventajas que ofrecen la red neuronal: ............................................................. 13 3.2.3. Aplicaciones de las redes neuronales: .............................................................. 13 4. Resultado o Desarrollo del Tema:.................................................................................. 14 4.1. Base de datos, sus atributos y clase.............................................................................. 14 4.2. Código en colab: ........................................................................................................ 15 5. Conclusiones............................................................................................................. 28 6. Referencias bibliográficas:......................................................................................... 30
- 4. 1 1. Introducción En la era de la inteligencia artificial y el aprendizaje automático, las redes neuronales han emergido como una de las herramientas más poderosas para el análisis y la predicción de datos complejos. Estas estructuras computacionales, inspiradas en el funcionamiento del cerebro humano, son capaces de aprender patrones y relaciones no lineales en grandes volúmenes de información, lo que las hace ideales para aplicaciones como la predicción de precios, reconocimiento de imágenes, procesamiento de lenguaje natural y más. En este contexto, el presente trabajo se enfoca en la predicción del precio de autos en Estados Unidos mediante el uso de redes neuronales y el método del descenso del gradiente, una técnica fundamental para optimizar modelos de aprendizaje automático. El descenso del gradiente es un algoritmo de optimización que permite minimizar funciones de costo en modelos de regresión y clasificación. Su funcionamiento se basa en el cálculo del gradiente, un vector que indica la dirección de máximo crecimiento de una función. Al moverse en la dirección opuesta al gradiente, el algoritmo ajusta iterativamente los parámetros del modelo hasta encontrar el mínimo de la función de costo. En el caso de la regresión lineal, el descenso del gradiente se utiliza para ajustar los coeficientes del modelo y predecir variables continuas, como el precio de un automóvil. En este proyecto, se explorará cómo las redes neuronales pueden ser entrenadas mediante el descenso del gradiente para predecir el precio de autos en función de variables como el año de fabricación, el kilometraje, la marca, el modelo y otras características relevantes. Se abordarán las definiciones teóricas de las redes neuronales, su composición,
- 5. 2 ventajas y aplicaciones, así como la implementación práctica del método del descenso del gradiente en un conjunto de datos real. La monografía se estructura de la siguiente manera: en primer lugar, se presentan los conceptos teóricos fundamentales, incluyendo la definición de gradiente, el método del descenso del gradiente y su aplicación en la regresión lineal. A continuación, se introduce el concepto de redes neuronales, su arquitectura y funcionamiento, destacando su capacidad para modelar relaciones complejas en los datos. Posteriormente, se describe el proceso de implementación del modelo, desde la preparación de los datos hasta el entrenamiento y la validación de la red neuronal. Finalmente, se presentan los resultados obtenidos y se discuten las conclusiones y posibles aplicaciones futuras de este enfoque. Este trabajo no solo busca demostrar la efectividad de las redes neuronales en la predicción de precios, sino también proporcionar una comprensión profunda de los métodos matemáticos y computacionales que hacen posible esta tecnología. A través de este análisis, se espera contribuir al campo del aprendizaje automático y mostrar cómo estas herramientas pueden ser utilizadas para resolver problemas del mundo real.
- 6. 3 2. Objetivos Objetivo General Desarrollar un modelo predictivo basado en **redes neuronales** y el **método del descenso del gradiente** para estimar el precio de autos usados en Estados Unidos, utilizando un conjunto de datos que incluya variables como el año de fabricación, el kilometraje, la marca, el modelo y otras características relevantes. Objetivos Específicos 1. Comprender los fundamentos teóricos - Estudiar el concepto de gradiente y su papel en la optimización de funciones. - Analizar el método del descenso del gradiente y su aplicación en problemas de regresión lineal. - Explorar la estructura y funcionamiento de las redes neuronales, incluyendo sus capas, funciones de activación y algoritmos de entrenamiento. 2. Preparar y analizar los datos - Recopilar y limpiar un conjunto de datos relacionado con los precios de autos en Estados Unidos. - Realizar un análisis exploratorio de los datos (EDA) para identificar patrones, correlaciones y variables relevantes. - Normalizar y dividir los datos en conjuntos de entrenamiento, validación y prueba. 3. Implementar el modelo de redes neuronales - Diseñar la arquitectura de la red neuronal, definiendo el número de capas, neuronas y funciones de activación.
- 7. 4 - Implementar el método del descenso del gradiente para entrenar la red neuronal y ajustar sus parámetros. - Utilizar técnicas de regularización para evitar el sobreajuste y mejorar la generalización del modelo. 4. Evaluar el modelo - Medir el rendimiento del modelo utilizando métricas como el error cuadrático medio (MSE) y el coeficiente de determinación (R²). - Comparar los resultados obtenidos con métodos tradicionales de regresión, como la regresión lineal múltiple. - Analizar la precisión y robustez del modelo en la predicción de precios de autos. 5. Interpretar y comunicar los resultados - Visualizar los resultados mediante gráficos y tablas que muestren la capacidad predictiva del modelo. - Discutir las implicaciones prácticas del modelo y su aplicabilidad en el mercado automotriz.
- 8. 5 3. Procedimiento metodológico. 3.1. El gradiente. Definición: Sea f: Ω ⊂ R → 𝑅𝑛 una función diferenciable en 𝑥0. Entonces el vector cuyas componentes son las derivadas parciales de f en 𝑥0 se le denomina Vector Gradiente y se le denota por ∇f, es la función vectorial definida por: (Redondo Melchor, 2012) En el caso particular n = 3 se tiene que: En el caso particular n = 2 se tiene que: Ejemplo. -Calcular ∇f(x, y) donde Solución: Tenemos que las derivadas parciales son: ∴ el vector gradiente es:
- 9. 6 Propiedades: Sean f, g: 𝑅2 → R funciones diferenciables. Entonces se verifica Demostraciones de las propiedades. (UNAM, s.f.) Propiedad A: Propiedad B: Propiedad C: Propiedad D: Propiedad E:
- 10. 7 3.1.1. Método del descenso del gradiente. Definición 01. El descenso del gradiente es el método estándar utilizado para minimizar la función de pérdida o error, esto es, reducir la diferencia entre el resultado obtenido y el que se busca obtener. (Rodriguez, 2018) Definición 02. El descenso del gradiente es un algoritmo de optimización que se utiliza comúnmente para entrenar modelos de aprendizaje automático y redes neuronales. Entrena modelos de aprendizaje automático minimizando los errores entre los resultados previstos y los reales. Método del descenso del gradiente para hallar el mínimo de una función. Ejemplo: Hallar el mínimo de la función f(x) = 𝑥2 El gradiente es la derivada de la función: Elegimos un punto de partida (arbitrario) por ejemplo el punto (𝑥0,𝑦0)=(4,16)
- 11. 8 ¿Qué dirección se debe seguir para acercarse al punto mínimo que es (0,0)? Si en x= 4 se sigue la dirección del gradiente (la derivada), se irá en la dirección donde crece la función. Por lo tanto, si se sigue la dirección contraria a la del gradiente (derivada) se irá en dirección donde la función decrece, es decir, -8 Para que se obtenga un punto que se acerque al mínimo se debe hacer:
- 12. 9 Donde “r” representa cuánto se quiere avanzar. Si se escoge 𝑟 = 1/8 , 𝑥1 = 3 , evaluando la función en f(𝑥1)= 9 Se avanza al punto (𝑥1, f(𝑥1)) =(3,9), que está más cerca del mínimo (0,0). Observación: - Si partiendo de un punto se desea acercarse al punto mínimo de la función, se debe seguir la dirección del gradiente con signo contrario (descenso del gradiente) - El r (ratio de avance) se debe escoger ni tan pequeño que se avance muy poco, ni tan grande que se puede pasar del mínimo 3.1.2. Método del descenso del gradiente para la regresión lineal. a) Dados los puntos (𝑥𝑖 , 𝑦𝑖), i=1,...,n en el plano. Se desea hallar una recta y = 𝑤0 + 𝑤1 x, que aproxime lo mejor posible a los puntos 𝑦𝑖
- 13. 10 Supóngase que se tiene los siguientes datos. Nota: Con el método exacto para mínimos cuadrados se obtiene y = − 0.360 + 1.538 x b) Cómo buscar el 𝑤0 y 𝑤1 en forma aproximada. Dados (𝑥𝑖 , 𝑦𝑖), i=1,...,n se busca el mejor 𝑤0 + 𝑤1* 𝑥𝑖 que aproxime a 𝑦𝑖. Idea: para hallar los mejores w0 y w1, Hallar el mínimo (minimizar) de la función E(w0, w1) utilizando el método del descenso del gradiente, es decir: Se busca el mejor 𝑤0 + 𝑤1* 𝑥𝑖, que aproxime a 𝑦𝑖, minimizando la función. c) Función de costo a minimizar. Fórmula del Error Cuadrático Medio (MSE, por sus siglas en inglés, Mean Squared Error): d) Método del gradiente:
- 14. 11 3.2. Redes Neuronales: “Una red neuronal artificial (RNA), también conocida como red neuronal está formada por la interconexión de muchas unidades de procesamiento llamadas neuronas, formadas por bloques no lineales distribuidos en toda la red neuronal (Vorobioff et al., 2022, 5)” La arquitectura de una red neuronal se refiere a cómo se organizan las capas y conexiones dentro de la red. Similar al cerebro humano, donde las neuronas se conectan mediante sinapsis de manera unidireccional, las redes neuronales agrupan sus nodos en capas. Estas capas, al interactuar, forman la estructura de la red, que puede ser de una o múltiples capas. En las redes neuronales se distinguen tres capas: de salida, oculta y de entrada. La capa de entrada, también llamada sensorial, está formada por neuronas que se encargan de recibir datos o señales del entorno (por ejemplo: sensores o realimentación de las salidas). La capa de salida contiene neuronas que proporcionan la salida o respuesta de la red. La capa oculta o intermedia no tiene ninguna conexión directa con el entorno. Las redes neuronales se construyen interconectando neuronas, así como se muestra en la siguiente imagen(fig.1). Fig 1: Esquema de una neurona simple
- 15. 12 𝒑: entrada escalar 𝒘: peso escalar 𝒇: función de transferencia 𝒏: entrada neta, 𝒏𝒏 = 𝒘𝒘.𝒑𝒑+𝒃𝒃 La salida está dada por la siguiente ecuación: 𝑎 = 𝑓(𝑚) = 𝑓(𝑤. 𝑝 + 𝑏) (1.1) 3.2.1. Composición de una red neuronal: La misma está constituida por neuronas interconectadas y arregladas en tres capas (esto último puede variar). Los datos ingresan por medio de la “capa de entrada”, pasan a través de la “capa oculta” y salen por la “capa de salida”. Cabe mencionar que la capa oculta puede estar constituida por varias capas(Figura 2). Fig 2: Red totalmente conectada
- 16. 13 Aunque una neurona por sí sola es muy pequeña, al combinar cientos, miles o incluso millones de ellas, se logra abordar y resolver problemas de gran complejidad. 3.2.2. Ventajas que ofrecen la red neuronal: “Debido a su constitución y a sus fundamentos, las redes neuronales artificiales presentan un gran número de características semejantes a las del cerebro (Matich, 2001)”. Por ejemplo, estas tecnologías tienen la capacidad de aprender a partir de la experiencia, generalizar de situaciones previas a nuevos escenarios y extraer características esenciales incluso cuando las entradas contienen información irrelevante. Estas habilidades les otorgan ventajas significativas, lo que ha llevado a su aplicación en una amplia variedad de campos. 3.2.3. Aplicaciones de las redes neuronales: Las redes neuronales destacan por su capacidad para abordar problemas complejos y tienen aplicaciones diversas, tanto en el ámbito comercial como militar. Una de sus aplicaciones notables en nuestro informe es la predicción de precios de autos usados, donde se analizan características como el kilometraje, el año de fabricación y el modelo del vehículo. Estas redes permiten identificar patrones ocultos en los datos para estimar precios con mayor precisión, lo que las convierte en una herramienta valiosa en mercados dinámicos y competitivos. Pero en general puede usar para diferentes ámbitos, por ejemplo: ● Aprender más acerca del cerebro y otros sistemas. ● Obtención de modelos de la retina. ● Reconocimiento de caracteres escritos. ● Modelado de sistemas para automatización y control. ● Analizar tendencias y patrones. ● Previsión del tiempo.
- 17. 14 ● Diagnóstico y tratamiento a partir de síntomas y/o de datos analíticos (electrocardiograma, encefalogramas, análisis sanguíneo, etc.). 4. Resultado o Desarrollo del Tema: La base de datos utilizada en este informe contiene información detallada sobre precios de autos usados en EE. UU, incluyendo variables clave como el kilometraje, el año de fabricación, la marca y el modelo. Estos datos representan una herramienta fundamental para construir un modelo de predicción basado en redes neuronales. En este subtema, se analizarán las características de la base, su preprocesamiento y cómo estas influyen en el uso de técnicas como el gradiente descendente para optimizar la predicción de precios. 4.1. Base de datos, sus atributos y clase 4.1.1. Base de datos: Contiene información detallada sobre automóviles, organizada en diversos atributos que describen características específicas de los vehículos. Esta base de datos es una fuente rica para análisis estadísticos y comparativos en el ámbito automotriz, ideal para explorar tendencias, predecir precios, analizar la eficiencia energética o estudiar el comportamiento del mercado. La base de datos utilizada en el trabajo de Machine Learning para el problema de regresión fue: https://www.kaggle.com/datasets/abdullahempapy/used- cars-price 4.1.2 Atributos: - Model: El nombre o identificación del modelo del automóvil (por ejemplo, Hyundai Elantra, KIA Picanto, etc.). - Year: El año de fabricación del automóvil.
- 18. 15 - Km/h: El kilometraje total recorrido, es decir el recorrido que realizó el automóvil durante su uso. - Color: El color del automóvil. - Type: El tipo de vehículo (por ejemplo, manual y automático). - Fuel: El tipo de combustible que utiliza el vehículo (por ejemplo, gasolina, diésel, etc.). 4.1.3 Clase: - Price: El precio del automóvil usado. 4.2. Código en colab:
- 19. 16
- 20. 17
- 21. 18
- 22. 19
- 23. 20
- 24. 21
- 25. 22
- 26. 23
- 27. 24
- 28. 25
- 29. 26
- 30. 27
- 31. 28 5. Conclusiones El desarrollo de este proyecto permitió explorar la aplicación de las redes neuronales y el método del descenso del gradiente en la predicción del precio de autos usados en Estados Unidos, demostrando la efectividad de estas técnicas para modelar relaciones complejas en conjuntos de datos multidimensionales. A lo largo del trabajo, se lograron los objetivos planteados, obteniendo resultados que no solo validan el uso de las redes neuronales en problemas de regresión, sino que también destacan su potencial para superar métodos tradicionales como la regresión lineal. En primer lugar, se confirmó que el descenso del gradiente es una herramienta fundamental para optimizar modelos de aprendizaje automático. Su capacidad para minimizar funciones de costo de manera iterativa permite ajustar los parámetros de la red neuronal, logrando una alta precisión en las predicciones. Además, se evidenció la importancia de técnicas como la normalización de datos y la regularización para mejorar el rendimiento del modelo y evitar el sobreajuste. En segundo lugar, se demostró que las redes neuronales son capaces de capturar patrones no lineales en los datos, lo que las hace especialmente útiles para problemas como la predicción de precios, donde las relaciones entre las variables no siempre son evidentes. La arquitectura de la red, junto con la elección adecuada de funciones de activación y hiperparámetros, jugó un papel crucial en el éxito del modelo.
- 32. 29 Finalmente, el análisis de los resultados mostró que el modelo desarrollado es competitivo en términos de precisión y generalización. Las métricas de evaluación, como el error cuadrático medio (MSE) y el coeficiente de determinación (R²), indicaron que las predicciones se ajustan adecuadamente a los valores reales, lo que sugiere que este enfoque puede ser aplicado en escenarios reales para apoyar la toma de decisiones en el mercado automotriz. Para aplicaciones futuras podemos contribuir al aplicar el modelo a otros mercados o industrias, como la predicción de precios de bienes raíces o productos financieros.
- 33. 30 6. Referencias bibliográficas: Matich, D. J. (Marzo de 2001). Redes Neuronales: Conceptos Básicos y Aplicaciones. Rosario. Obtenido de https://www.frro.utn.edu.ar/repositorio/catedras/quimica/5_anio/orientadora1/monogr aias/matich-redesneuronales.pdf Redondo Melchor, R. (2012). Universidad de salamanca. Obtenido de Conceptos de gradiente y derivada direccional.: https://electricidad.usal.es/Principal/Circuitos/Comentarios/Temas/ConceptoGradient e.pdf Rodriguez, R. (Abril de 2018). LMO. Obtenido de Descenso del gradiente: https://lamaquinaoraculo.com/deep-learning/el-descenso-del-gradiente/ UNAM. (s.f.). UNAM. Obtenido de EL GRADIENTE: https://sistemas.fciencias.unam.mx/~erhc/calculo3/gradiente1.pdf Vorobioff, J., Cerrota, S., Morel, N. E., & Amadio, A. (2022). Inteligencia Artificial y Redes Neuronales: Fundamentos, Ejercicios y Aplicaciones con Python y Matlab (1a ed ed.). Fernando Cejas. Obtenido de file:///C:/Users/USUARIO/Downloads/InteligenciaArtificialyRedesNeuronalesFundam entosEjerciciosyAp.pdf