Técnicas de análisis de datos
- 1. Módulo 3 - 05: Técnicas de análisis de datos Transformación digital de los negocios
- 2. Tabla de contenidos 1. Técnicas de descubrimiento del conocimiento 2. Text Mining 3. Análisis de redes sociales
- 3. Modelo multidimensional (I) Antes de analizar, identificar elementos cuantitativos y cualitativos
- 4. Modelo multidimensional (II) Cuantitativo Representa la parte medible de un hecho. Equivale a lo que conocemos como métricas.
- 5. Modelo multidimensional (III) Cualitativo Tienen características calificadoras o diferenciadoras del hecho Qué, a quién, dónde, cómo, cuándo…
- 6. Modelo multidimensional (IV) Componente o dimensión Tiempo, tipo de producto o canal de distribución Tienen asociados diferentes métricas que lo describen
- 7. Modelo multidimensional (V) Las dimensiones pueden tener diferentes niveles en función de las necesidades o de las posibilidades
- 8. Modelo multidimensional (VI) Dimensión: área geográfica Niveles: Continente, País, Autonomía, Provincia
- 9. Modelo multidimensional (VII) Bases de datos multidimensionales que almacenan los datos en matrices o cubos hiperdimensionales
- 10. Modelo multidimensional (VIII) Analizamos los hechos desde la perspectiva de sus componentes o dimensiones 1. Abarcando todos los niveles de sus dimensiones 2. Análisis en conjunto o de forma individualizada 3. Analizamos un componente o un conjunto de ellos
- 12. Modelo multidimensional (IX) Tres tipos de ficheros 1. Dimensiones de la empresa: Eje del análisis; proporcionan el índice a los datos 2. Tablas de hecho o ficheros transaccionales: recogen la actividad diaria de los procesos 3. Cruce de dimensiones con las tablas de hecho: generan las tablas agregadas o Datawarehouse
- 13. Modelo multidimensional (X) Estructura de los ficheros basada en 1. Dimensión tiempo: Ejercicio o mes fiscal 2. Métricas: importes/cantidades
- 14. Modelo multidimensional (X) Beneficios 1. Conjunto de datos centralizados 2. Disposición estructurada y ordenada de los datos 3. Acceso rápido y eficaz a los datos 4. Información histórica para realizar estudios de evolución
- 15. Generar datos de prueba
- 17. Análisis en función de objetivos
- 18. Métodos (I)
- 19. Métodos (II) Diferentes métodos para analizar datos 1. Predictivos 2. Descubrimiento estructuras 3. Minería de relaciones
- 22. Método Predictivo (III) La clasificación es muy importante en minería de datos Permite obtener un modelo, patrón o función que discrimine entre dos o más clases excluyentes Utiliza el error (% de instancias mal clasificadas) para evaluar los resultados
- 23. Método Predictivo (IV) Árboles de decisión • Plantea el problema desde distintas perspectivas de acción • Analiza de manera completa todas las posibles soluciones • Cuantifica el coste del resultado y su probabilidad de uso • Facilita las mejoras decisiones en base a la información existente • Analiza alternativas, eventos, probabilidades y resultados
- 24. Método Predictivo (V) Árboles de decisión
- 26. Descubriendo estructuras (I) Clustering Identifica agrupaciones o clústeres de elementos de acuerdo a una medida de similitud entre ellos
- 29. Descubriendo estructuras (III) Clustering jerárquico Dendograma o árbol que representa las relaciones de similitud entre los elementos Aglometarivo: se comienza con tantos clústeres como individuos y se van aglomerando según similitud División: se comienza con un único clúster y se va dividiendo según similitudes
- 30. Descubriendo estructuras (IV) Clustering de partición En torno a centroides Realiza una distribución de los elementos entre un número prefijado de clústeres o grupos Recibe como entrada el número de clústers aemás de los elementos a clasificar y la matriz de similitudes
- 31. Descubriendo estructuras (V) Análisis factorial
- 32. Descubriendo estructuras (VI) Análisis factorial Reduce una matriz de datos a dimensiones estructurales más pequeñas Detecta patrones subyacentes
- 33. Descubriendo estructuras (VII) Análisis factorial Método clásico: Se basa en la creencia de que las correlaciones observadas en la matriz son principalmente el resultado de alguna regularidad subyacente a los datos Componentes principales: Es un método de transformación directa de un conjunto dado de variables dentro de un nuevo conjunto de variables compuestas o componentes
- 34. Descubriendo estructuras (VIII) Tipos de factores General: variables cargan en un mismo factor Grupo: solo algunas variables son salientes Común: variables que miden el mismo factor Unipolar: variables con un mismo signo Bipolar: variables con signo + y – Singular: una sola saliente Nulo: no tiene saliente
- 35. Descubriendo estructuras (IX) Aplicaciones del análisis factorial Como técnica exploratoria: examinar estructura subyacente a una Base de Datos Como técnica confirmatoria: probar la hipótesis acerca de la estructura subyacente en la Base de Datos Como técnica de medición: construcción de índices a partir de los coeficientes de las cargas factoriales
- 36. Descubriendo estructuras (IX) Aplicaciones Etapas Opciones Referencias Matriz de datos Única (sujetos por medidas) Martiz tipo - X Matriz de correlación Correlación entre las medidas Matriz tipo - R Correlación entre unidades Matriz tipo - Q Extracción de factores iniciales Factores definidos Análisis Componentes Principales Factores inferidos Análisis Factorial Correspondencia Rotación hasta la solución final Factores no- correlacionados Rotación ortogonal Factores correlacionados Rotación oblicua
- 37. Descubriendo estructuras (X) Social Network Analysis
- 38. Minería de relaciones (I) Reglas de asociación Encontrar hechos que ocurren en común dentro de un conjunto de datos
- 39. Minería de relaciones (II) Reglas de asociación
- 40. Minería de relaciones (III) Reglas de asociación Product Placement Objetivo: identificar productos que muchos clientes compran conjuntamente Solución: Procesar los datos de las ventas
- 41. Minería de relaciones (IV) Análisis correlacional
- 42. Minería de relaciones (V) Análisis correlacional Correlación bivariada (relación o asociación entre dos variables) o múltiple (entre más de dos variables) Forma gráfica (dispersión, dispersigrama o nube de puntos) o analítica (ecuación matemática de Karl Pearson)
- 43. Minería de relaciones (VI) Análisis correlacional
- 44. Minería de relaciones (VII) Análisis correlacional
- 45. Minería de relaciones (VIII) Patrones secuenciales
- 46. Minería de relaciones (IX) Patrones secuenciales Minería de patrones que ocurren frecuentemente relacionados al tiempo o a otras secuencias «Un cliente que compra un iPad, dos días después probablemente comprará la funda y las aplicaciones de ofimática» Igual que reglas de asociación pero con orden
- 47. Minería de relaciones (X) Patrones secuenciales Aplicaciones • Secuencias de compra del cliente • Tratamientos médicos, desastres naturales, procesos de la ingeniería y las ciencias, mercados y valores, etc. • Patrones de llamadas telefónicas, flujos de navegación en la web, etc. • Estructuras de ADN y genes
- 48. Minería de relaciones (XI) Análisis de causalidad Muchas preguntas en la vida diaria requiere la identificación y medida de efectos causales • ¿El tabaco provoca cáncer? • ¿La aspirina reduce el riesgo de infarto? • ¿Los cursos de formación para desempleados ayudan a encontrar empleo? • ¿Cuál es el impacto del salario mínimo sobre el empleo? • ¿Afectan los subsidios salariales o los impuestos a la oferta de trabajo de los individuos?
- 49. Minería de relaciones (XII) Podemos medir la correlación estadística, pero esta no implica que exista causalidad Análisis experimental
- 50. Tabla de contenidos 1. Técnicas de descubrimiento del conocimiento 2. Text Mining 3. Análisis de redes sociales
- 51. Introducción (I) «De media, el 80% de la información de una empresa está almacenada en forma de documentos»
- 52. Introducción (II) Se basa en aplicar técnicas que faciliten la categorización de texto, el procesamiento de lenguaje natural, la extracción y recuperación de la información o el aprendizaje automático entre otras
- 53. Pasos
- 54. Paso 1: Obtención y agrupación del texto Identificar todos los lugares donde se encuentra la información (documentos, páginas web, informes, etc) y agrupar para poder comenzar a trabajar
- 55. Paso 2: Pre-procesamiento (I) Eliminamos el ruido - Texto equivocado - Texto ambiguo - Texto erróneo - Ruido en el formato (tags, enlaces…) - Multiplicidad de idiomas - Sinónimos - Frases típicas
- 56. Paso 2: Pre-procesamiento (II)
- 57. Paso 2: Pre-procesamiento (III) Convertir el documento en un vector de palabras: tokenization
- 58. Paso 2: Pre-procesamiento (IV) Con Weka…. 1- Importamos los datos en CSV 2- Eliminamos caracteres como: ;,.:’ % ( ) {} 3- Aplicamos el filtro NominalToString 4- Aplicamos el filtro StringToWordDetector
- 59. Paso 3: Generación de atributos (I) Representación del texto (bag of words)
- 60. Paso 3: Generación de atributos (II) Se crea un diccionario de términos
- 61. Paso 4: Selección de atributos En Weka… 1- Ir a Select attributes 2- Seleccionar Latent Semantic Analysis 3- Start 4- Guardar el nuevo Data Set
- 62. Paso 5: Minería de datos Utilizaremos cualquiera de las técnicas vistas en el punto anterior 1- Clasificación 2- Descubrimiento de estructuras 3-Reglas de asociación
- 63. Paso 6: Interpretación y evaluación 1- Interpretar Descubrimiento de estructuras 2- Evaluar los resultados Clasificación Reglas de asociación 3- Sacar conclusiones o iterar sobre los pasos anteriores
- 64. Herramientas (I)
- 67. Tabla de contenidos 1. Técnicas de descubrimiento del conocimiento 2. Text Mining 3. Análisis de redes sociales
- 68. Análisis de redes sociales No es solo análisis de Social Media (aunque puede ser una parte) Es sociología + matemáticas Estudio numérico + representación gráfica
- 69. ¿Qué se estudia? Redes egocéntricas Actor principal con sus relaciones hasta grado n (amigos de amigos de amigos) Redes completas Número de nodos completos determinados por una característica completa Grandes redes El investigador determina el límite
- 70. Elementos (I) Actores Nodos de la red (personas, países, actividades,…) Vínculos Lo que une a los actores. Definen propiedades o características de la relación
- 71. Elementos (II)
- 72. Ejemplos (I)
- 73. Ejemplos (II)
- 74. Proyecto real leads (I) Proyecto real: ETL
- 75. Proyecto real leads (II) Proyecto real: Normalizar datos
- 76. Proyecto real leads (III) Proyecto real: Clustering
- 77. Proyecto real leads (IV) Proyecto real: Clustering
- 78. Proyecto real leads (V) Proyecto real: Clustering Tradución
- 79. www.smartup.es gblanco@smartup.pe Las Begonias 552, ofc 35 San Isidro, Lima T.: (511) 637 3013 T.: (511) 637 3015 agala@smartup.ph B. Nagac Street, Kauswagan, Cagayan de Oro City, Philippines, 9000 CP: +63 9054451917 Land-Line: 088-8802561 info@smartup.es C/ Segunda, 43, oficina 132. 37188 Carbajosa de la Sagrada Salamanca T.: (+34) 923 015 199 mteixeira@smartup.pt Avenida da Noruega. São Diniz – Vila Real. 5000-508 Vila Real T.: +351 910539930 cllano@smartup.com.co Calle 93 No. 19B - 66 Of 204 Bogotá T.: 3104449453 rnunez@smartup.mx Chihuahua 230, Colonia Roma, México, Distrito Federal, 11800 T.: (+52) 1 5539736899 desteban@smartup.es Unit 1010, 10/F, Miramar Tower, 132 Nathan Road, Tsim Sha Tsui, Kowloon, Hong Kong T.: +86 136 0277 9697 España Portugal Perú Colombia México Filipinas China Emilio Rodríguez (Analytics & SEO Director) Smartup España T. (+34) 923 015 199 M. (+34) 667 594 159 erodriguez@smartup.es España T. (+34) 923 015 199 C/ Segunda 43 Oficina 132 C.P: 37188 Carbajosa de la Sagrada Salamanca