Minería de datos y textos
11 recomendaciones3,075 vistas
El documento describe la minería de datos y de textos. Explica que la minería de datos es el proceso de identificar patrones válidos y útiles en grandes volúmenes de datos mediante técnicas matemáticas. El análisis manual es caro y lento, por lo que se necesitan estas técnicas. La minería de textos se aplica específicamente a datos no estructurados como documentos, con el fin de organizar y clasificar su contenido. El proceso general de minería de datos se conoce como KDD y consta de
Minería de datos y textos
- 1. Minería de datos y de textos Dr. Jesús Tramullas Dpto. CC. de la Documentación
- 2. Planteamiento Existen ingentes volúmenes de información estructurada, sobre actividades de todo tipo desarrolladas a lo largo de periodos de tiempo En esta información acumulada podrían rastrearse asociaciones y patrones no apreciables directamente Es necesario aplicar técnicas matemáticas con plataformas informáticas para poder identificar las posibles relaciones Estas relaciones pueden mostrar formas de conocimiento derivadas del dominio que haya sido objeto de tratamiento
- 3. Problemas El análisis manual de datos es caro, consume muchos recursos en especialistas, dinero y tiempo Necesidad de formular hipótesis, probar, y ajustar, y volver a probar Necesidad de tomar en consideración un número cada vez mayor de parámetros, y de las relaciones existentes entre ellos El análisis estadístico tipo OLAP (On Line Analytic Proccesing) debe completarse con otras técnicas para patrones y búsquedas
- 4. Definición Proceso no trivial de identificar patrones válidos, nuevos, útiles y comprensibles en los datos Actualmente se prefiere hablar de Knowledge Discovery (descubrimiento de conocimiento), entendiendo que conocimiento es una verdad sobre un dominio, representado mediante un lenguaje formal. KDD: Knowledge Discovery in Databases Se trata del proceso completo, de todas las fases, necesarias para encontrar el conocimiento oculto en los datos. La minería de datos definiría a la parte central del proceso global
- 5. Aplicaciones En todos los dominios posibles KDD es útil cuando muchas dimensiones son relevantes al problema planteado, y cuando deben estudiarse muchos subgrupos Cinco propósitos principales: predicción, descripción, explicación, optimización y exploración
- 6. El proceso de KDD Iniciativa CRISP-DM, CRoss-Industry Standard Process for Data Mining : Comprensión del negocio Comprensión de los datos Preparación de los datos Modelado Evaluación Deployment
- 7. Fases, 1 Comprensión del negocio: determinar los objetivos del negocio y la situación del mismo, establecer los objetivos del proceso de KDD. Comprensión de los datos: recopilación inicial de datos, descripción de las propiedades de los datos, exploración de datos y verificación de calidad Preparación de los datos: selección de datos, limpieza, construcción de nuevos datos, integración y formato definitivo
- 8. Fases, 2 Modelado: selección de técnica de modelado, diseño del test, construcción del modelo, assess del modelo Evaluación: evaluación del resultado, de acuerdo con los objetivos del negocio, revisión de resultados, nuevas fases Deployment: estrategia de aplicación de resultados, plan de monitorización y control, informe final, revisión del proyecto
- 9. Tareas y métodos, 1 Clasificación: descubrimiento de árboles de decisión, reglas de decisión, clasificación bayesiana, aproximaciones de “vecino más próximo”, regresión, redes neuronales, clasificación multicriterio Descubrimiento de reglas: rought set, reglas características, de asociación, programación de lógica inductiva Descubrimiento de subgrupos: análisis de desviación, de cambio, métodos drill-down
- 10. Tareas y métodos, 2 Fitting de ecuaciones: buscadores de ecuaciones, análisis de regresión multidimensional Clustering: clustering numérico y clustering conceptual Redes probabilísticas y causales Análisis espacial Escalabilidad Métodos paralelos
- 11. Minería de textos Enormes volúmenes de información textual organizados en documentos, internamente poco estructurados Aplicación de la minería de datos /KDD Mayor volumen de parámetros y variables que en la información de datos Mayormente utilizada en la organización y clasificación del contenido de los espacios de información digital
- 12. Definición La minería de textos puede definirse como una forma especial de minería de datos, o KDD, que se aplica a grandes volúmenes de ficheros de texto no estructurado Su objetivo es analizar un texto o los textos de una colección para seleccionar textos relevantes o extraer partes
- 13. Disciplinas relacionadas Lingüística computacional Extracción de información Lingüística estadística Recuperación de información Reconocimiento de patrones Reducción de features Clasificación Análisis cluster
- 14. Aplicaciones de la minería de texto Búsqueda de información: búsquedas más avanzadas, centradas en conceptos, ofrecer alternativas Extracción de información: ofrecer conceptos o frases de documentos para decidir la relevancia, o formar nuevos documentos Análisis de colecciones de texto: revisión de colecciones. Tareas de categorización (previas) y de clasificación/clustering (automática)
- 15. Minería del web Aplicación de las técnicas de minería a la información textual del web Detectar patrones de organización de información y de comportamiento de usuario: Análisis de logs Análisis de estructura hipertextual Clasificación de documentos Secuencias de navegación Trabajo en colaboración