Aplicaciones de text mining para gestión de información.
Descargar como PPTX, PDF3 recomendaciones1,559 vistas
El documento aborda las aplicaciones de text mining en la gestión de información, resaltando el incremento esperado de datos digitales y la creación de empleos en el área de tecnologías de la información para proyectos de big data. Detalla diversas técnicas de minería de textos, como clasificación y análisis de sentimientos, y presenta ejemplos de su implementación en trabajos académicos y herramientas tecnológicas. Se destacan metodologías como el aprendizaje supervisado y no supervisado para el manejo eficiente de grandes volúmenes de información textual.
Aplicaciones de text mining para gestión de información.
- 1. Aplicaciones de text mining para gestión de información. Sebastián Alvarado Psicólogo | Magíster en Procesamiento y Gestión de Información Centro de Innovación en Tecnologías de Información para Aplicaciones Sociales (CITIAPS) Universidad de Santiago de Chile cl.linkedin.com/in/saav123/ sebastian.alvarado.v@usach.cl
- 3. Contexto Se espera que para el 2020 la cantidad total de información digital aumente desde los actuales 3.2 zettabytes a 40 zettabytes. 1 ZB= 103 EB = 106 PB = 109 TB = 1012 GB = 1015 MB = 1018 kB = 1021 bytes. Cada minuto enviamos 204 millones de mails, 1,8 millones de likes en FB, 278 mil tweets, y subimos 200 mil fotos a FB. En Estados Unidos se crearán 1,9 millones de empleos relacionados con TICs para proyectos de Big Data; cada uno de ellos será apoyado por 3 empleos fuera del ámbito directo de las TIC, sumando un total de 6 millones de empleos gracias al Big Data. Bernard Marr http://linkd.in/11uKNMk
- 4. Text Mining Text Mining = Text Data Mining = Text Analytics = Minería de Textos Procedimiento mediante el cual se deriva nueva información a partir de fuentes de datos textuales. Integración de métodos y técnicas de Lingüística, Estadística, Aprendizaje de Máquina
- 5. Ámbito de aplicación Largas colecciones de texto cuya lectura y análisis requieran más tiempo que el disponible por una o un conjunto de personas.
- 6. Tareas y aplicaciones Resumen automático de textos Detección de fraude Modelación de tópicos Análisis de sentimientos Clasificación de textos
- 7. Clasificación de textos Asignación de un documento a una CLASE Algunas restricciones: Pueden pertenecer a 1 clase o más de 1 Se puede resolver como una pertenencia (1) a una clase y una no pertenencia (0) a las demás clases Hard categorization v/s ranking categorization
- 8. Clasificación de textos Asignación de un documento a una CLASE Enfoque manual v/s automático
- 9. Clasificación de textos Asignación de un documento a una CLASE Enfoque manual v/s automático Predefinida Desconocida
- 10. Clasificación de textos Asignación de un documento a una CLASE Enfoque manual v/s automático Predefinida Desconocida Aprendizaje supervisado (Clasificación) Aprendizaje no supervisado (Clustering)
- 11. De texto a datos Enfoque de Bag of words (bolsa de palabras) No importa el orden de las palabras ni la gramática
- 12. De texto a datos Bag of words Gramática no es relevante N-gram: una subsecuencia de n elementos de una secuencia dada. Bi-gram, tri-gram, four-gram Normalización: Minúsculas, stemming, lemma Stopword list Palabras que no aportan información
- 13. Word vector (de símbolos a números) Cada término recibe un valor
- 14. Word vector (de símbolos a números) Ocurrencia de términos: 1 – 0 Frecuencia de términos: tf(i) = el número de veces que apareció en un documento alguna palabra o n-gram Frecuencia inversa de términos Idf(i) = total de documentos dividido por el número de documentos que contienen el término Tf-idf = Tf*idf
- 15. Word vector (de símbolos a números) Ocurrencia de términos: 1 – 0 Frecuencia de términos: tf(i) = el número de veces que apareció en un documento alguna palabra o n-gram Frecuencia inversa de términos Idf(i) = total de documentos dividido por el número de documentos que contienen el término Tf-idf = Tf*idf
- 16. Word vector (de símbolos a números) Ocurrencia de términos: 1 – 0 Frecuencia de términos: tf(i) = el número de veces que apareció en un documento alguna palabra o n-gram Frecuencia inversa de términos Idf(i) = total de documentos dividido por el número de documentos que contienen el término Tf-idf = Tf*idf
- 17. Machine Learning Classificación Algoritmos de aprendizaje supervisado k-NN Bayesiano Decision Tree SVM Algoritmos de aprendizaje no supervisado Jerárquicos Divisivo Aglomerativo Particionales K-means Bisecting K-means Kohonens Algoritmos de aprendizaje semisupervisado Co-training Expectation- Maximization Basado en grafo
- 18. Esquema general Modelo de Bird, Klein & Loper (2007)
- 19. Aplicaciones para gestión de información Análisis de opiniones en período de elecciones el 2007 en EE.UU. Franz Wanner et al., 2009 http://bit.ly/1w8vX8O
- 20. Aplicaciones para gestión de información Interfaz de text mining de TAKMI. A: Número de documentos que devolvió la búsqueda. B: Títulos de documentos relevantes. C: Distribución de conceptos que han sido extraídos de esos documentos. D: Estadísticas de los conceptos. Marti A. Hearst, 2009
- 21. Aplicaciones para gestión de información Relaciones entre entidades extraídas del sistema Jigsaw. Las entidades seleccionadas en amarillo; entidades conectadas indicadas con líneas y color anaranjado; color más oscuro representa una conexión más fuerte. Marti A. Hearst, 2009
- 22. Aplicaciones para gestión de información La interfaz del sistema TRIST respondiendo a una búsqueda relacionada a la gripe aviar. Izquierda: querys ejecutadas, historial de querys, panel de dimensiones. Centro: dimensiones con resultados categorizados y visor de documentos. Derecha: panel de entidades. Marti A. Hearst, 2009
- 23. Aplicaciones para gestión de información Ejemplo de marcado automático en una entrevista. Louise Corti & Arofan Gregory, 2011
- 24. Aplicaciones para gestión de información Sistema VOSviewer. Mapa de calor del Journal of the American Society for Information Science and Technology. El color de un término indica el índice de citación promedio de las publicaciones en que el término ocurrió. http://www.vosviewer.com/maps/term_maps/
- 25. Aplicaciones para gestión de información Sistema BILBO (Bibliographical Robot). Detecta, identifica, analiza y codifica referencias bibliográficas en los artículos (título, revista, año y lugar de publicación de cada referencia). http://oep.hypotheses.org/
- 26. ¡Muchas gracias! www.citiaps.cl cl.linkedin.com/in/saav123/