Datawarehouse2
- 2. Objetivos: • Conocer el DW como repositorio único de información dentro de la empresa. • Reconocer las diferencias respecto a las bases de datos operacionales. • Conocer los procesos de integración, validación y consolidación de la información dentro de un DW. • Conocer las fases de construcción. • Reconocer tipos de documentos de la información contenida: catálogos y metadatos • Conocer las soluciones departamentales: datamarts
- 3. Datawarehouse • Dentro del entorno empresarial actual, la información es la clave para determinar cómo obtener una ventaja competitiva. El problema, sin embargo, es como manejar los enormes volúmenes de datos en bruto que los sistemas informáticos recopilan, procesan, derivan y diseminan. • Dentro de este cuadro, la tecnología ha ubicado el concepto de datawarehousing como alternativa para abordar el problema de la sobre carga de información.
- 4. Colección de información corporativa, derivada de las fuentes de datos internas y algunas externas, cuyo fin es soportar la toma de decisiones de la empresa, no las operaciones del negocio Un datawarehouse es un repositorio único de información empresarial.
- 5. a. Ayudar a los gestores y responsables encargados de la toma de decisiones a transformar los datos en bruto en información. b. Ayudar a los gestores a identificar tendencias claves. c. Ayudar a las empresas a predecir detrminados sucesos y actuar con anticipación con respecto a ellos. d. Ayudar a comprender lo que sucedió, prmitiendo a la empresa a reaccionar, redefiniendo los procesos y sacando beneficios de la experiencia Un prerrequisito fundamental para todo esto es que los datos para soportar los análisis tienen que ser accesibles, tienen que estar actualizados, y su acceso debe poder hacerse de forma flexible y en un formato válido para los usuarios.
- 6. Datos e información • Business Intelligence (BI) describe los procesos de aprovisionamiento, gestión y análisis de kso datos operacionales sobre clientes, productos y servicios de una empresa, con el fin de soportar y mejorar la toma de decisiones estratégicas. • Datos Información Reservas Pedidos Inventario Datos operacionales Datos Informacionales • Integración limitada • Orientados a la aplicación • Actualización constante • Sólo valores actuales • Soporte de las operaciones diarias • Orientados a un área. • Integración total. • No volátiles. • Valores a lo largo del tiempo. • Soporte de las decisiones de gestión. Clientes geografía Tiempo
- 7. Ejemplo de datos operacionales • Los analistas de negocios pueden usar información sobre que productos fueron vendidos en determinadas regiones en un momento determinado del año, con el fin de buscar anomalías o diseñar futuros planes de venta. Sin embargo, existen diversos problemas cuando los analistas acceden directamente a los datos operacionales.
- 8. 1 • Es probable que no tengan conocimiento ni experiencia para realizar consultas en la base de datos operacionales 2 • El rendimiento es algo crítico para la mayoría de las bases de datos operacionales, por ejemplo las bancarias. Esto implica que estos sistemas no pueden soportar consultas libres por parte de los usuarios 3 • Los datos operacionales no están en el formato mas adecuado para ser explotados por los analistas de negocios. Ejemplo: datos de ventas agregados por producto, región, época, etc. 4 • Los analistas del negocio necesitan acceder a información histórica para analizar tendencias y modelizar comportamientos.
- 9. Data warehouse puede solucionar los problemas Como? Ejemplo: El data warehouse copia los datos de venta del sistema operacional realiza cálculos con el fin de sumarizarlos e integrarlos de forma consistente. De esta manera los analistas pueden consultar la información en el formato que ellos necesitan
- 10. Integración • Los datos del DW deben responder a todas las necesidades globales corporativas, o sea hay información que debe ser compartida entre los departamentos. Profundidad • En los sistemas operacionales los datos se renuevan en cada transacción, sin embargo en un Datawarehouse, las operaciones de actualización sobre los datos son mas bien escasas. Desde el punto de vista de consulta, es fundamental que los valores que han tomado los datos a la largo del tiempo se mantengan y el acceso sea algo fácil. Detalle • La cantidad de datos que pude llegar a almacenar es muy grande, principalmente por su carácter corporativo y por la profundidad histórica requerida. En este sentido el nivel de detalle de los datos no será necesariamente igual a del sistema operacional. • Es importante el nivel de agregación que debe corresponder al tipo de análisis que realizará el usuario
- 11. Integración y consolidación de los datos Reservas Facturas Inventario DW Central Integración y carga de datos Base de datos operacional Integración, consolidación y limpieza de datos: • A partir de fuentes dispares • Las fuentes pueden tener características temporales diferentes. • Los datos de origen pueden tener diferentes significados e interpretaciones. • La consolidación se efectúa una vez para todos los datos. Información derivada: • En la forma que necesitan los usuarios finales. • A partir de un único y consistente origen. • Enlazada a partir de diferentes fuentes. • La información derivada puede hacerse persistente y automatizarse.
- 12. ¿Qué es un Datawarehouse? • Un DW s un conjunto de datos provenientes de los sistemas operacionales y de fuentes de datos externas cuyo fin es el soporte de las decisiones de negocio, no la operativa del mismo Reservas Facturas Inventario Pedidos Catálogos Clientes Fuentes de datos externa Integración y carga de datos Datawarehouse Base da datos operacional Las características de un DW son: . Los datos están organizados de cara al soporte de decisiones y para su explotación mediante aplicaciones informacionales. . Es un almacenamiento no volátil de datos de negocio, transacciones y sucesos. Está construido en base a un modelo de datos histórico. . Los datos están integrados, consolidados y limpios. . Es la única fuente de información para todas las aplicaciones de soporte a la toma de decisiones.
- 13. Un Data mart es una base de datos separada del datawarehouse en a misma base de datos. Desde un punto de vista mas funcional, el data mart es una vista del datawarehouse orientada a un aspecto concreto del negocio: marketing, compras, direccion general, etc.
- 14. • Construir inicialmente el nucleo del datawarehouse para despues utilizarlo como base para realizar rapidamente muchos datamarts, la construccion inicial dura mas, ya que se debe analizar las necesidades de los datos de toda la empresa, identificando los elementos de informacion que se usaran de forma global. • La ventaja de esta aproximacion radica en que el esfuerzo inicial facilitara la implementacion paulatina de los datamarts.
- 15. • Construir un data mart especifico para un grupo de trabajo. Esta aproximacion pone rapidamente los datos en manos de los usuarios. Sin embargo, el peligro puede surgir a la hora de intentar replicar el esfuerzo para construir otro datamarts y, sobre todo el datamarts corporativo. • Es importante resaltar que un conjunto de datamarts no constituyen por si solos un datawarehouse corporativo si no se realiza un esfuerzo de consolidacion e integracion de la informacion que comparten.
- 16. Un Data Mart es una implementacion de un DW con funciones y alcance mas restringido que este, y que esta delicado a dar servicio a un unico departamento o parte de una organizacion.
- 17. Satisface las necesidades de los grupos de trabajo, departamentos u organizaiones Pequeñas Permite una implementacion rapida, siendo un buen candidato para un prototipo. Normalmente se conciben para soportar analisis de datos multidimensional.
- 18. • El catalogo del DW contiene la definicion, caracteristicas, formato y ambito de los datos que contiene el Data Warehouse: los metadatos • “Los metadatos son los datos sobre los datos” Catalogo de Datos Integración y carga de Datos Entorno de aplicaciones • Consultas • Manipulacio nes • Análisis • Visualización DW
- 19. • Constituyen una parte integral del entorno del usuario final. • Permiten a los usuarios inspeccionar todos los aspectos de DW. • Simplifica el acceso a los usuarios al DW • Los usuarios finales estan interesados en los metadatos de negocio • Los metadatos tecnicos son del interes del administrador de DW, facilitando y automatizando los procesos.
- 20. • La experiencia y la evolución de las situaciones son el mejor fundamento sobre el que basar cualquier iniciativa de implementación. • Hay diferentes criterios que se deberían contemplar en la implementación de un DW, pero básicamente se pueden agrupar en tres categorías: • Criterios de negocio • Criterios de proceso • Criterios tecnológicos
- 21. • Conjunto de criterios tiene que ver con el problema de negocio que se debe abordar y los beneficios esperados de la solucion que se implemente.
- 22. • Sera satisfactorio si no esta debidamente alineado con la mision del negocio, su vision global y sus objetivos. Por ello es importante conocer los puntos estrategicos que se deben plantear: • ¿Cuál es el problema que se quiere resolver? • ¿Cuál de los objetivos departamentales o corporativos están directamente relacionados con el problema? • ¿Cuáles son los factores críticos para el éxito de la solución, es decir, que cosas tienen que ser realizadas correctamente para resolver el problema?
- 23. • ¿Cuál es de los componentes de la organización esta mejor posicionado para resolver el problema? • ¿Qué usuarios dentro de la organización usaran de forma mas efectiva la nueva tecnología? ¿Por qué la necesitan y que beneficios obtendrán de ella? • ¿Cómo puede emplearse esta tecnología para resolver el problema?
- 24. • Una vez que los beneficios tecnologicos han sido alineados con los objetivos de negocio, deberian ser cuantificados.
- 25. • Una de las cosas más evidentes es el aumento de la productividad en los usuarios finales que acceden y analizan los datos. • El analista que debe interrumpir un análisis para obtener cierta información, solicitándosela a alguien, .pierde eficacia en dos sentidos. • El primero está en el círculo descrito anteriormente, donde habrá varias solicitudes y respuestas entre el analista y los técnicos de informática antes de que el primero vea satisfechas sus necesidades. • El segundo reside en la interrupción del análisis, y las ineficacias asociadas al proceso de recuperación y terminación del mismo.
- 26. • Hay un considerable número de decisiones basadas en análisis que sólo podrían venir de datos residentes en un datawarehouse. Esto viene condicionado por la circunstancia de que en los sistemas operacionales pudieran no existir ciertas relacion es entre los datos y, por lo tanto, no estarían disponibles para el análisis. • Construyendo las asociaciones y relaciones requeridas en el datawarehouse se llega a una situación la que el todo es más grande que la suma de las partes, de forma que los análisis serán más efectivos.
- 27. • Un Sistema de soporte a la decisión (DDS) comprende un DW así como el entorno de aplicaciones para consultar, manipular, analizar y visualizar los datos y la información
- 28. Un cierto número de los elementos de una estrategia de datawarehouse tiene que ver con los procesos; mediante los cuales la estrategia será implementada, y los procesos que son soportados por la estrategia global.
- 29. • Muchos grandes proyectos de datawarehouse han fracasado debido a la incapacidad de la organización para manejar el tamaño y el alcance del proyecto. • Una estrategia mas sencilla, basada en datamarts, será menos arriesgada. • Una aproximación basada en datamarts es, por definición, más pequeña en cuanto a su alcance, más centrada en sus objetivos, más rápida y menos costosa.
- 30. • El riesgo radica en la construcción de islas de datos. • Sin embargo, si una organización determina que un datawarehouse corporativo es la estrategia apropiada, debería comenzar por desarrollar una estrategia global.
- 31. • Decidir si la opción apropiada para una empresa es un datawarehouse o un datamart es el punto de partida idóneo. • Contratar a una organización que pueda proporcionar una solución completa es, por supuesto, una implementación más rápida, un cumplimiento de los objetivos de negocio más ajustado, y una mayor certeza de que las cosas finalmente funcionaran como se espera.
- 32. • ¿Cómo debería realizarse el diseño y la construcción del datawarehouse? • Top-down, en la cual se define una arquitectura corporativa y después se construyen los datamarts que la componen. • Bottom-up, comenzando con proyectos específicos de datamart en función de necesidades críticas de negocio, e ir creciendo hasta llegar a una estructura informacional corporativa.
- 33. • Probablemente, a largo plazo, la aproximación top-down dará los mejores resultados, pero implica involucrar importantes recursos de la organización. • Por el contrario, la aproximación bottom-up favorece el uso de datamart más pequeños, en los cuales se pueden evitar los inconvenientes del diseño top-down. • Cada departamento es responsable del diseño de los datos que necesita, la definición de sus propios metadatos y el uso de su propio repositorio de información. • Esta aproximación funciona especialmente bien si la organización tiene un problema de negocio con un único foco y los datos para solucionarlo existen en unas pocas ubicaciones.
- 35. La dimensión tecnológica jugará un papel principal en la estrategia corporativa. Diferentes estrategias requerirán diferentes características tecnológicas y capacidades. En este sentido de la flexibilidad y la rapidez de la implementación, hay otros puntos que se deben considerar.
- 36. • Se refiere a la habilidad de un sistema para aumentar su capacidad a medida que los usuarios demandan más información, el volumen de datos almacenados crece, más usuarios explotan el sistema y más aplicaciones se ejecutan contra el datawarehouse.
- 37. • La escalabilidad es un requerimiento ligado al propio uso de la solución. • Empresas que adquieren tecnología de datawarehouse necesitan asegurarse que ésta puede crecer a medida que lo hacen las necesidades corporativas.
- 38. • Un datawarehouse necesita el desarrollo y la implementación de nuevos procesos y herramientas para gestionar la extracción y la transformación de los datos, la administración de los usuarios, etc.
- 39. • El último árbitro en el éxito o fracaso del proyecto será el rendimiento del sistema. • Un datawarehouse tiene que ayudar a los usuarios a realizar su trabajo de forma más efectiva y eficiente. • Si los tiempos de respuesta no son los adecuados, los usuarios no utilizarán el sistema, la empresa no sacará beneficio de la inversión.