Metodología de Data Mining CRISP
4 recomendaciones7,759 vistas
La metodología CRISP-DM (CRoss-Industry Standard Process for Data Mining) fue creada en 1996 por tres líderes de la industria para proporcionar un proceso estándar para proyectos de minería de datos. CRISP-DM describe el ciclo de vida de un proyecto de minería de datos a través de seis fases principales: comprensión del negocio, comprensión de los datos, preparación de datos, modelado, evaluación y despliegue. La metodología ha sido adoptada por muchas organizaciones y proporcion
Metodología de Data Mining CRISP
- 1. Metodología CRISP-DM Abstract Durante 1996 el interés en data mining (a partir de ahora DM) iba creciendo pero se trataba de una industria joven e inmadura lo que provocaba que los acercamientos a este tipo de proyectos fueran dubitativos. A finales de este año tres líderes de la industria: DaimlerBenz, SPSS (entonces ISL) y NCR formaron un consorcio, inventaron un acrónimo CRISP-DM (CRoss-Industry Standard Process for Data Mining) y comenzaron a proponer ideas. Actualmente existen alrededor de 200 miembros del CRISP-DM Special Interest Group (SIG), incluidos proveedores de DM, consultores y usuarios finales. La metodología CRISP tiene la ventaja de que no ha sido construida de manera teórica y académica sino que se basa en experiencias reales de cómo la gente hace proyectos de DM. El modelo CRISP-DM La metodología se describe en términos de un proceso jerárquico, consistente en un grupo de tareas descritas en cuatro niveles de abstracción (de general a específico): fase, tarea genérica, tarea especializada e instancia de proceso (ver figura 1). FIGURA 1 – NIVELES DE LA METODOLOGÍA En el nivel superior encontramos las fases, que se dividen en varios niveles de tareas genéricas. Este segundo nivel es llamado genérico porque pretende ser lo bastante general como para cubrir todas las situaciones posibles. En el tercer nivel, el de las tareas especializadas, describe cómo las tareas genéricas del segundo nivel han de ser tratadas en determinadas situaciones. P.e. en el segundo nivel puede haber una tarea llamada limpieza de datos y en el tercer nivel describir cómo esta tarea cambia en situaciones diferentes, tales como la limpieza de valores numéricos frente a la limpieza de valores categóricos. El cuarto nivel es un registro de las acciones, decisiones y resultados del proyecto representando lo que ha sucedido en un caso particular en lugar de lo que sucede a nivel general. El modelo provee una representación completa del ciclo de vida de un proyecto de DM, que se divide en seis fases, sus tareas y relaciones entre ellas.
- 2. La secuencia de estas fases no es estricta y son frecuentes los movimientos hacia delante y hacia atrás. Éstos dependen del resultado de cada fase o cuál es la tarea siguiente que se ha de ejecutar. Estas fases ayudan a las organizaciones a entender el proceso y proveen de un “mapa del camino” a seguir: conocimiento del negocio, conocimiento de los datos, preparación de los datos, modelado, evaluación, despliegue. FIGURA 2 - FASES DEL MODELO CRISP-DM La figura 2 muestra las fases de un proceso de DM. Las flechas indican las más importantes y frecuentes dependencias entre las fases, mientras que el círculo exterior simboliza la naturaleza cíclica de un proyecto de estas características e ilustra que las lecciones aprendidas durante el proceso y a partir de la fase de evaluación pueden hacernos tener nuevas cuestiones relativas al negocio. Los siguientes procesos se beneficiarán de las experiencias obtenidas en los anteriores. El plan del proyecto describe los timing para alcanzar los objetivos, un estándar de facto es que el reparto sea: • 50-70 % fase de preparación de los datos, • 20-30 % fase de conocimiento de los datos, • 10-20 % en el modelado, evaluación y conocimiento del negocio, y • 5-10 % fase de despliegue. Fase 1: Conocimiento del negocio La fase más importante de cualquier proyecto de data mining consiste en entender los objetivos del proyecto desde una perspectiva de negocio para a continuación desarrollar un plan preliminar para alcanzar los objetivos.
- 3. Con el objetivo de entender qué datos deben ser analizados y cómo, es vital que los diseñadores del proyecto tengan un completo entendimiento del negocio para el que están encontrando una solución. La fase de conocimiento del negocio involucra pasos clave como determinar los objetivos del negocio, comprender la situación, determinar los objetivos del proyecto de data mining y producir el plan del proyecto. Fase 2: Conocimiento de los datos Esta fase arranca con una colección inicial de datos. El analista procede a familiarizarse con los datos, identificar la calidad de los mismos, descubrir ideas iniciales en los datos o detectar subconjuntos para formar hipótesis sobre información escondida. Esta fase incluye cuatro pasos: • recolección inicial de los datos, • descripción de los mismos, • exploración y • verificación de su calidad. Fase 3: Preparación de los datos Cubre todas las actividades para construir el conjunto final de los datos que serán utilizados en la(s) herramienta(s) de modelado. Las tareas incluyen la selección de tablas, registros y atributos, así como la transformación y limpieza de los datos para las herramientas de modelado. Las cinco tareas incluidas en la fase de preparación de los datos son: • selección, • limpieza, • construcción e • integración y • formateo de los datos. Las técnicas utilizadas para asegurar la calidad de los datos y que estén en la forma adecuada son: • limpieza, • transformación y • reducción de la dimensionalidad. Fase 4: Modelado En esta fase, varias técnicas de modelado son seleccionadas y aplicadas y sus parámetros son calibrados a valores óptimos. Usualmente existen varias técnicas para los mismos problemas de data mining. Algunas de ellas tienen requerimientos específicos en el formato de los datos, por lo que el paso atrás a la fase de preparación de los datos puede ser necesario. Las tareas de modelado incluyen: • selección de la técnica de modelado, • generación de las pruebas, • creación de los modelos e • interpretación.
- 4. Fase 5: Evaluación Antes de proceder a la fase de despliegue final es importante evaluar el modelo y revisar la construcción a fin de comprobar que se cumplen los objetivos del negocio. Aquí es crítico determinar si partes importantes del negocio han sido lo suficientemente consideradas. Al final de esta fase, el líder del proyecto debe decidir exactamente cómo utilizar los resultados del proceso de data mining. Las fases son: • evaluación de los resultados, • revisión de los procesos y • determinar los siguientes pasos a seguir. Es en esta fase y con la ayuda del analista de los datos que gracias a la naturaleza iterativa de un proyecto de data mining pueden surgir nuevas preguntas a responder que hagan que el proyecto retorne a la fase de conocimiento del negocio a fin de poder responderlas. Fase 6: Despliegue La creación del modelo no es el final del proyecto. El conocimiento obtenido debe ser organizado y presentado de manera que el usuario lo pueda utilizar. Dependiendo de los requerimientos, esta fase puede ser tan simple como la generación de un informe o tan compleja como implementar un proceso de data mining repetible a través de la organización. Es importante que el usuario entienda qué acciones deben ser llevadas a cabo para utilizar los modelos creados. Las tareas son: • planificar el despliegue, la monitorización y el mantenimiento, • generar un informe final y • revisar el proyecto a fin de identificar fracasos y éxitos y potenciales áreas de mejora para el uso en futuros proyectos.
- 5. FIGURA 3 – TAREAS GENÉRICAS Y RESULTADOS DEL MODELO La figura 3 presenta las fases del modelo acompañadas de las tareas genéricas (en negrita) y los resultados (en cursiva). ¿Por qué utilizar un proceso estándar? CRISP se diseñó para dar una guía a inexpertos en DM y para proveer un modelo genérico que se puede especializar de acuerdo con las necesidades de cualquier compañía o sector particular, lo que permitirá a los analistas tener una razonable seguridad de que sus esfuerzos serán útiles y válidos. Se provee una manera de reaprovechar la experiencia y ayuda a la planificación y gestión del proyecto. DaimlerChrysler ha adaptado CRISP-DM para desarrollar su herramienta de CRM especializado, SPSS y NCR han adoptado el modelo y lo han utilizado en numerosos proyectos en diferentes industrias y con requerimientos de negocio. No obstante el modelo no pretende ser un libro mágico de instrucciones que instantáneamente haga al más inexperto triunfar en proyectos de DM. Sin embargo, combinado con formación, así como con la ayuda de consultores expertos, puede ser una valiosa herramienta para ayudar a los analistas más inexpertos a comprender las tareas involucradas en un ciclo de vida de un proyecto de DM. BIBLIOGRAFÍA Peter Chapman, Julian Clinton, Randy Kerber, Thomas Khabaza, Thomas Reinatz, Colin Shearer, Rudiger Wirth. CRISP-DM 1.0, Step by step data mining guide, www.spss.com, 2000. Colin Shearer. The CRISP-DM Model: The New Blueprint for Data Mining. Journal of Data Warehousing, volume 5, number 4, fall 2000. CRISP-DM, www.crisp-dm.org Autor: Oscar Alonso Llombart (oalonsol@uoc.edu)