Ensayo tutoria 1 sep
- 1. El Impacto De La Adminsitracion De Datos E Información En El Mundo José Martin Sánchez Cardoso Código: 084951132019 Mauricio Moya Garzón Código: 084950952019 Juan Jairo Vélez Código: 084951202019 Karen Romero Vaquiro Código: 084951092019 Agosto 2019. Tutor: Ángel Alberto Vargas Cano Universidad del Tolima Ingeniería de Sistemas. Minería de Datos Grupo 1
- 2. EL IMPACTO DE LA ADMINSITRACION DE DATOS E INFORMACIÓN EN EL MUNDO En la actualidad, la administración de la información se ha convertido en el eje central del mundo, esto ha llevado a que muchas empresas e ingenieros inviertan horas de trabajo en la implementación de diversas alternativas para manejar eficientemente los datos, con el fin de facilitar y competir contra otras, por consiguiente , muchos académicos han llamado esta época de la historia de la Humanidad como la "Cuarta Evolución industrial", ya que, a llevado a que las fabricas o industrias se modernicen y pasen a ser fábricas inteligentes o Industria 4.0, convirtiendo a los procesos físicos sean controlados por sistemas ciberfisicos. Igualmente se están creando diversos ambientes digitales como realidad virtual y el uso masivo del Internet de las cosas. Pero para que estos sistemas funcionen se debe de tener como base los datos, ya que sin ellos no tendríamos información para cumplir esos propósitos.
- 3. Es por ello que se han creado diversos paradigmas y tecnología como la Inteligencia Artificial (IA), que se usa en diversos campos de la sociedad, como en celulares, robots, electrodomésticos, cámaras, videojuegos, entre otros, con un el fin resolver diversos problemas que sin ella no se podría solucionar; o bien, complementar y ayudar a que nuestro diario vivir sea más cómodo. Debido a esto, muchas organizaciones han puesto el ojo en la IA, con el fin de competir eficientemente en el nuevo mercado laboral en el que se encuentra el mundo actualmente, por esto han sido creadas diversas arquitecturas y tecnologías para alcanzar sus objetivos (por ejemplo marketing, ventas, acceso más cercano al consumidor, entre otros). Por un lado, para tener una idea bien fundamentado sobre el tema, se debe tener en cuenta los conceptos de inteligencia artificial, redes neuronales, Big data y Data Warehouse. Igualmente tener en cuenta como estos se relacionan y se diferencian, con el fin de observar como estos términos se conectan. En primer lugar, tocaremos la definición de Big Data y Data Warehouse , de por si las dos nociones están interconectados y la perspectiva es que, cada vez más, la mayoría de empresas utilicen el análisis generado por este tipo de tecnologías para tener una visión más analítica de su negocio y así poder tomar las mejores decisiones para crecer. Llamamos Big Data a un gran volumen de datos con una variedad, complejidad y velocidad de crecimiento enorme y que además tienen la característica de no ser estructurados. Eso significa que no son relacionales, estando además fuera del entorno corporativo. Es un tipo de tecnología que te permite analizar los datos en tiempo real y puede provenir de diferentes fuentes y formas, tales como mensajería instantánea, redes sociales, registros de grabaciones, imágenes, mensajes de correo electrónico, etc. El big data constituye una gran revolución en la gestión de grandes volúmenes de datos y, fruto de ella, han surgido nuevas soluciones capaces de comportarse de manera autodidacta, sin necesidad de asistencia humana. Programas como AlphaGo de Google representan un paso
- 4. adelante en la puesta en marcha de máquinas que consiguen capacidades sobrehumanas sin la intervención del hombre. En otras palabras, el conocimiento humano ya es prescindible. Una disrupción así y las que estén por llegar obligan a rediseñar sistemas educativos dirigidos a formar unos perfiles profesionales nunca vistos hasta ahora. No solo el sector privado es plenamente consciente de este gran cambio para las empresas, sino que también las propias instituciones trabajan para poder estar a la altura de tan abrumadoras novedades. De hecho, en el ámbito político, los Emiratos Árabes Unidos, como región puntera en tecnologías de datos y una de las mejores referencias a escala mundial de Esri, ha hecho público el nombramiento de su primer ministro de Inteligencia Artificial para aplicar estas herramientas a todos los servicios que gestiona el gobierno. Estados Unidos también ha asumido el potencial que tiene la inteligencia artificial (IA) en todos los sectores y su apuesta se ha concretado en un plan estratégico. Paralelamente, en Europa ya se trabaja en una regulación para el tratamiento ético del uso de los robots. En el sector privado, las organizaciones están creando un nuevo perfil en sus organigramas tras la aparición de estas tecnologías. El chief artificial intelligence officer (CAIO) estará al mando de estas soluciones, nacidas para tratar problemas complejos para los que habitualmente no hay información disponible. Este nuevo directivo debe reunir, por un lado, habilidades científicas, principalmente para la resolución de procesos cognitivos, tareas de predicción, simulación, etc., y, por otro, una visión de ingeniería, para aplicar paradigmas simbólicos, conexionistas e híbridos. El avance de la neurociencia ha permitido el desarrollo de nuevas técnicas informáticas para tener una mejor aproximación a estos problemas. La aparición
- 5. de estas herramientas representa una de las características de este nuevo ciclo de la IA, presente en el mundo desde mediados de la década de los cincuenta. No solo a nivel de empresas y negocio, sino que en cualquier profesión se hace necesaria ya la presencia de un experto en estas disciplinas. La policía de Vancouver, en Canadá, por ejemplo, trabaja con el machine learning y las soluciones geoespaciales de Esri para conocer los índices de criminalidad y profundizar en ellos. Gracias a estos datos, capaces de predecir situaciones delictivas, han conseguido una precisión del 80 % en el modelo y una reducción del 27 % de la criminalidad en las zonas estudiadas. Otro nuevo perfil, el data scientist, podrá resultar de gran ayuda para el gobierno de cualquier municipio del mundo. Este experto casa a la perfección con la smart city, ya que su labor resuelve problemas de diferentes disciplinas haciendo uso del análisis de datos. Un ejemplo real fue el episodio de legionela en una ciudad como Nueva York: el análisis de los edificios permitió asignar recursos de forma óptima para ubicar el foco y buscar soluciones; una operación eficiente en la que, además, se ahorraron costes de manera muy significativa. Es solo un ejemplo, pero el data science y la localización pueden aplicarse en otros campos, como la movilidad, las telecomunicaciones y un largo etcétera.
- 6. Además, se encuentra otros ejemplos de sectores en los que el Big Data puede contribuir generando valor con los siguientes: En el ámbito de la educación, al analizar el Big Data se pueden: Identificar alumnos en riesgo Monitorizar el desarrollo adecuado de cada estudiante Implementar un sistema de evaluación y apoyo de la docencia más satisfactorio En el sector de la salud, cuando se gestionan los datos adecuadamente, se pueden analizar y descubrir nuevas opciones sobre cómo mejorar la atención de los pacientes. En el sector retail, las empresas pueden recabar información diversa sobre sus clientes y así encontrar maneras efectivas de gestionar transacciones o mejorar la relación con los clientes y conseguir usuarios satisfechos, entre otros beneficios.
- 7. En el sector bancario, se están buscando nuevas e innovadoras formas de gestionar la ingente cantidad de información, al mismo tiempo que se busca minimizar el riesgo y el fraude. Por tanto, el big data permite resolver problemas difíciles y por esta capacidad es por la que la figura del científico de datos cobra relevancia y su demanda, con altos salarios actualmente por la naturaleza de su actividad, la que seguirá al alza en los próximos años. Este nuevo perfil profesional ya ha puesto de manifiesto el alto ROI que conlleva el uso de las tecnologías de big data y cuán disruptivo es en muchas industrias, cambiándolas completamente gracias al uso de datos en tiempo real y permitiendo la optimización de la planificación de acciones con una metodología que es siempre la misma: dedicar tiempo a buscar los datos, construir modelos con la operación del join espacial, entrenar distintas redes y distintos modelos y, al final, hacer el despliegue. Solo así, con metodologías y plataformas tecnológicas como la de Esri, aplicables en toda la cadena de valor de los datos geolocalizados, desde su captura y almacenamiento hasta el análisis y visualización de resultados, se conseguirá hacer un uso exitoso de las oportunidades que ofrecen estas nuevas tecnologías.
- 8. Por otro lado, un Data Warehouse almacena datos consolidados de diversas fuentes o sistemas de la empresa. Se trata de datos estructurados, que tiene como objetivo principal ser precisos y de alta calidad para de esta forma poder dar soporte a la toma de decisiones de la empresa. Se trata de conseguir tener todos los datos juntos para después poder dividirlos para hacer un análisis de determinados sectores o estrategias. Los almacenes de datos (data warehouses en inglés) toman cada día mayor importancia, a medida que las organizaciones pasan de esquemas de sólo recolección de datos a esquemas de análisis de los mismos. Sin embargo a pesar de la gran difusión de los conceptos relacionados con los almacenes de datos, no existe demasiada información disponible en castellano en cuanto a las metodologías para implementarlos. Desde un inicio, las bases de datos se convirtieron en una herramienta fundamental de control y manejo de las operaciones comerciales. Fue así como en unos pocos años en grandes empresas y negocios existía un considerable número de información almacenada en diferentes fuentes de datos y estas ya habían alcanzado un tamaño considerablemente grande. Con esta gran acumulación de información, los directivos de tales empresas y negocios se dieron cuenta que esta podría tener un fin útil, al estar reflejada la mayoría de sus operaciones comerciales durante los llamados ciclos de negocios propios del mercado. A su vez, los mercados empresariales han experimentado una transformación radical. Las empresas demandan mayor rapidez y eficiencia en la entrega de productos, y mejora en todos los servicios existentes, por lo que se hace imprescindible encontrar formas más eficaces de distribuir los productos, más facilidades para hacer estudios de mercado basados en la información de las operaciones comerciales de las empresas y de sus clientes y, en definitiva, mayor rapidez a la hora de tomar decisiones.
- 9. Por tanto, pensaron en lo ideal que sería unificar las diferentes fuentes de información de las cuales disponían, en un único lugar, al que sólo se le incorporaría información relevante, sobre la base de una estructura organizada, integrada, lógica, dinámica y de fácil explotación. La respuesta a esto fueron los Almacenes de Datos o Data Warehouse (DW). Sin embargo, para hacer un uso eficiente de la información histórica almacenada en un DW para la ayuda a la toma de decisiones, era vital garantizar que estos datos fueran fáciles de obtener, estandarizados y confiables. Así y todo, el problema de la limpieza de datos es poco tratado o evitado por muchas empresas, al no considerar adecuadamente el impacto para el negocio de tener almacenada información deficiente. Un Almacén de Datos o Data Warehouse (DW) es un almacén de información temática orientado a cubrir las necesidades de aplicaciones de los sistemas de Soporte de Decisiones (DSS) y de la Información de Ejecutivos (EIS), que permite acceder a la información corporativa para la gestión, control y apoyo a la toma de decisiones. Dicha información es construida a partir de bases de datos que registran las transacciones de los negocios de las organizaciones (bases de datos operacionales), y su importancia reside en elementos como los siguientes: Contribuye a la toma de decisiones tácticas y estratégicas proporcionando un sentido automatizado para identificar información clave desde volúmenes de datos generados por procesos tradicionales o elementos de software. Posibilita medir las acciones y los resultados de una mejor forma. Los procesos empresariales pueden ser optimizados. El tiempo perdido esperando por información que finalmente es incorrecta o no encontrada, es eliminada. Permite a los usuarios dar prioridad a decisiones y acciones, por ejemplo, a qué segmentos de clientes deben ir dirigidas las siguientes acciones de marketing.
- 10. En general un DW es un conjunto de datos con las siguientes características: Temático Los datos están almacenados por materias o temas (clientes, campañas, productos). Estos se organizan desde la perspectiva del usuario final, mientras que en las Bases de Datos operacionales se organizan desde la perspectiva de la aplicación, con vistas a lograr una mayor eficiencia en el acceso a los datos Integrado Todos los datos almacenados en el DW están integrados. Las bases de datos operacionales orientadas hacia las aplicaciones fueron creadas sin pensar en su integración, por lo que un mismo tipo de datos puede ser expresado de diferente forma en dos bases de datos operacionales distintas (Por ejemplo, para representar el sexo: „Femenino‟ y „Masculino‟ o „F‟ y „M‟). No volátil Únicamente hay dos tipos de operaciones en el DW: la carga de los datos procedentes de los entornos operacionales (carga inicial y carga periódica) y la consulta de los mismos. La actualización de datos no forma parte de la operativa normal de un DW. Histórico El tiempo debe estar presente en todos los registros contenidos en un DW. Las bases de datos operacionales contienen los valores actuales de los datos, mientras que los DW contienen información actual y resúmenes de esta en el tiempo. Arquitectura Los bloques funcionales que se corresponden con un sistema de información completo que utiliza un DW se muestran gráficamente.
- 11. Nivel operacional Contiene datos primitivos (operacionales) que están siendo permanentemente actualizados, usados por los sistemas operacionales tradicionales que realizan operaciones transaccionales. Almacén de datos o DW Contiene datos primitivos correspondientes a sucesivas cargas del DW y algunos datos derivados. Los datos derivados son datos generados a partir de los datos primitivos al aplicarles algún tipo de procesamiento (resúmenes). Nivel departamental (Data Mart) Contiene casi exclusivamente datos derivados. Cada departamento de la empresa determina su nivel departamental con información de interés a dicho nivel. Va a ser el blanco de salida sobre el cual los datos en el almacén son organizados y almacenados para las consultas directas por los usuarios finales, los desarrolladores de reportes y otras aplicaciones.
- 12. Nivel individual Contiene pocos datos, resultado de aplicar heurísticas, procesos estadísticos, etc., a los datos contenidos en el nivel anterior. El nivel individual es el objetivo final de un DW. Desde este nivel accederá el usuario final y se podrán plantear diferentes hipótesis, así como navegar a través de los datos contenidos en el DW. Entre las ventajas que ofrece el Data Warehouse estan: Proporciona información clave para la toma de decisiones en la empresa. Mejora la calidad de las decisiones tomadas. Estos datos son útiles a mediano y largo plazo. Si las fuentes de los datos y los objetivos están claros, los sistemas son sencillos de instalar. Es útil para el almacenamiento de análisis y consultas históricas. Como podemos ver en las definiciones, las diferencias son gigantescas, Big Data en una tecnología que nos permite almacenar y manejar grandes volúmenes de datos y data Warehousing es una forma o arquitectura para organizar datos que proporcionan credibilidad e integridad en un único entorno. En el ámbito turístico el Data warehouse es muy importante ya que por medio de esto se ve que la revolución ha avanzado y permite tener nuevas tecnologías para que puedan proporcionar cualquier tipo de información. Existen grandes ventajas en relación al turismo ya que existe lo que es la competitividad, por medio de esta podremos menorar los errores ya que nos ayuda a corregir alguna información que esté mal proporcionada y estar actualizados en cuanto el sector turístico. Gracias a estos tipos de tecnologías en el ámbito turístico será beneficioso ya que por medio de este podremos tener u desarrollo en cuanto a la informática y las comunicaciones, en el turismo se necesita tener una facilidad de comunicaciones que sean con rapidez, que sean de confianza y sumamente seguros, porque por
- 13. medio de ello podemos promocionar y comercializar los tipos de productos que estemos ofreciendo al turista, pero ante todo debemos mostrar una buena imagen para poder realizar todo esto, ya que así no se mostrara un buen interés haciael turista. Estas tecnologías se desarrollan por medio de la comunicación ya que si no existiría comunicación no tendría sentido realizarlo porque no habría de donde sacar temas, ni tener cierta información para poder satisfacer las necesidades en todo el sector turístico. También cabe recalcar que es muy importante que este tipo de información exista en el ámbito turístico ya que no existe uno específico en este ámbito sinomás bien en general pero si sería importante que existiera uno aplicable para tener una gran aplicabilidad y utilidad para poder desarrollar aúnmás al sector turístico. Aquí se proporciona lo que es sistemas tecnológicos que ayudan a una creación de recursos turísticos y ayudan también a obtener nuevos productos de una mejora manera y adecuada por medio de estas tecnologías, para ello es importante tener en cuenta la I+D sobre nuevos productos turísticos de contenido, para esto se debe tener en cuenta el desarrollo de las tecnologías para la creación de algún tipo de centro turístico, puede ser parques temáticos, parques con un gran tecnología, complejos turísticos, etc. “El Sistema de Información de Estadísticas Turísticas DATATUR, se constituye como un gran Almacén de Datos Estadísticos con un carácter principal de consulta y extracción de los mismos para su análisis con herramientas diseñadas para tal fin. Este Almacén o Banco de Datos tiene que considerar los datos estadísticos en sí mismos, así como todos los registros de notas documentales necesarios para su correcto entendimiento. El Objetivo final del proyecto es por tanto la construcción e implantación de un Sistema de Información de Estadísticas Turísticas (en adelante DATATUR) que integre de forma armoniosa datos estadísticos y datos documentales. Tiene que cubrir las siguientes funciones:
- 14. Conservar y mantener al día los datos estadísticos, complementados con las correspondientes informaciones documentales para su correcta utilización · Facilitar un sistema de actualización ágil y libre de errores · Cubrir las demandas externas de información coyuntural turística. Alimentar de forma automática las publicaciones e informes periódicos que elabora el IET. Permitir el acceso a la información, su tabulación, representación gráfica y navegación por los datos así como su posterior tratamiento mediante herramientas de análisis final. Definir y desarrollar los procesos de carga de información en el Sistema de tal manera que queden integrados en los actuales procedimientos de generación de datos estadísticos del IET. El sistema de información debe permitir también acceder, con la definición de derechos y accesos bien diferenciados a las distintas bases de datos (datos primarios y datos agregados), una vez eliminadas todas las informaciones y referencias de los titulares a fin de salvaguardar el secreto estadístico. Siendo el objetivo principal del proyecto el diseño de un Sistema de Información de Estadísticas Turísticas, el IET dispone en la actualidad de una Base de Datos Documental con más de 65.000 referencias y de un Sistema de Información Geográfica (SIG) para el Análisis del Turismo, que se pretenden integrar y ampliar en el Sistema de Información. Por tanto, el Sistema de Información de Estadísticas Turísticas debe permitir como flujo de salida a parte de otros (informes y publicaciones periódicas), la difusión de la información elaborada a partir de sus bases de datos en los sistemas web internet, intranet y extranet del IET, definiendo los niveles de acceso adecuados”. El data warehouse en el turismo es una herramienta importante y es por es que se menciona el poder incrementar en nuestro país el data Warehouse para poder incentivar más el turismo para así que nos pueda permitir fácil acceso a
- 15. información y poder obtener datos confidenciales y así poder brindar a los turistas buenas publicidades para obtener una oportuna demanda turística. Las tecnologías de BigData están en capacidad de analizar fuentes de diferentes tipos de información estructurada y no estructurada, almacenada en diferentes medios, provenientes de diferentes plataformas que no tienen ningún tipo de relación entre si, todo esto sin necesidad de darle estructura a los datos ni almacenarlos dentro de un único contenedor. Por otra parte, están las redes neuronales y la Inteligencia artificial. Actualmente los avances de la inteligencia artificial (IA) hacen posible que las redes neuronales artificiales aprendan a resolver problemas complejos en un tiempo razonable. Las redes neuronales artificiales (RNA) o Artificial Neural Networks son modelos computacionales conformados por un grupo interconectado de nodos. Cada nodo representa una neurona artificial donde se realizan operaciones y la red simula la estructura de un cerebro biológico. Las redes resuelven problemas mediante representaciones abstractas de datos en capas de entrada (input), capas de procesos (hidden) y capas de salida (output). Sirva como ejemplificación, el uso de la redes neuronales y el clima, a pesar de lo caotico que es el tiempo, hasta cierto punto se puede predecir conjuntando variables el clima a corto plazo, por medio de dar peso a redes neuronales, dándole peso a la capa de entrada y las capas ocultas de una red neuronal sintética. Mientras que la inteligencia artificial es Campo de las ciencias informáticas encargado de comprender y replicar la inteligencia humana, además proporciona un conjunto de técnicas, herramientas y métodos que han demostrado su aplicabilidad. Un ejemplo de inteligencia artificial son los programas de reconocimiento y respuesta por voz. Micrófonos y sensores servirían de dispositivos de entrada, se
- 16. utilizaría un algoritmo para decodificar y procesar la información usando una base de conocimientos con frases acordes con la intensidad, tono, vibración, etc., de la voz. (en respuesta a lo del ajedrez, la base de conocimiento seria una serie de líneas teóricas que se valoran de acuerdo a puntos.) Una vez obtenida una respuesta lo más exacta, se codificaría y procesaría nuevamente para obtener un audio o acción de salida. Sin embargo, a pesar de las grandes diferencias entre estos términos, están interconectados y la perspectiva es que, cada vez más, la mayoría de empresas utilicen el análisis generado por este tipo de tecnologías para una visión más analítica de su negocio y así poder tomar las mejores decisiones para crecer. Para concluir, la gestión de datos se ha convertido en la materia prima de este siglo XXI, esto ha conllevado a que el hombre cree diversos tipos de herramientas y tecnologías como las anteriormente mencionada con el fin de facilitar su vida. Esto a su vez, ha hecho que el ser humano quiera dar un nuevo Paso hacia la perfección, tanto laboral, como en el ámbito de entretenimiento. A causa de estos actualmente las empresas invierte en la implementación de máquinas más sofisticadas que además de cumplir funciones mecánicas puedan aprender a realizar nuevas, gracias al aprendizaje y con esto a la experimentación. Dándole características propias Del ser humano, es decir dar más humanidad a una máquina y a sus algoritmos.