Afc module 1 translated

This programme has been funded with
support from the European Commission
Module 1:
Introduccion
Big Data

Module 1:
Big Data
Introducción
AGE FRIENDLY ECONOMY | FUTURE OPPORTUNITIES FOR SMES
El objetivo de este modulo es proporcionar una vision
general de la informarción básica sobre big data.
Una vez completado este modulo serás capaz de:
- Comprender el papel emergente de big data
- Comprender los términos claves respecto al big y
smart data
- Saber cómo los macrodatos se pueden convertir en
datos inteligentes
- Ser capaz de aplicar los términos claves del Big Data
Duracion del módulo: aproximadamente 1 – 2 horas

El papel emergente del Big Data en la
Formación Profesional y en las Empresas1
– Una breve historia del Big Data
– ¿Qué es Big Data?
– Fuente de datos
– La importancia del Big Data
Las 5 V‘s de los datos
– Darle valor al Big Data
– Aplicaciones de datos inteligentes
– Cómo empezar con los datos
inteligentes?
– Retos
Cómo los macrodatos llegan a ser datos
inteligentes?
– Cómo se usó el poder de los datos
Estudio de casos
2
3
4
This programme has been funded with support from the European Commission. The author
is solely responsible for this publication (communication) and the Commission accepts no
responsibility for any use that may be made of the information contained therein.

El emergente papel de los
datos en la formación
profesional y empresas
1. Qué es el Big Data?
2. Clasificación de los datos
3. Fuente de datos
4. La importancia del Big Data

Big Data es la base de
todas las
megatendecias que
están surgiendo hoy,
desde lo social al móvil,
a la nube y a los juegos.
Chris Lynch

“Datos de un tamaño
muy grande,
generalmente en la
medida en que su
manipulación y gestión
presentan desafíos
logísticos significativos "
Oxford English Dictionary, 2013
Qué es el Big Data?
Hay algunas cosas que son tan grandes que tienen
implicaciones para todos, lo queramos o no.
El big data es una de esas cosas, y está
transformando completamente la forma en que
hacemos negocios y está afectando a la mayoría
de las otras partes de nuestras vidas.
La idea básica del “Big Data” es que todo lo que
hacemos está dejando cada vez más una huella
digital, que podemos usar y analizar.
Big Data, por lo tanto, se refiere a nuestra
capacidad para hacer uso de los volúmenes cada
vez mayores de datos.

AGE FRIENDLY ECONOMY | FUTURE OPPORTUN
CLASIFICACION DE LOS DATOS
“Datos” se define como “las cantidades, caracteres o símbolos en los que se realizan las operaciones en una computadora, que
pueden almacenarse y transmitirse en forma de señales eléctricas y grabarse en medios de grabación magnéticos, ópticos o
mecánicos”, como una búsqueda rápida en Google.
“Big Data” se refiere a grandes cantidades de datos los cuales son:
-demasiado largos para ser procesados
-Demasiado abundante para ser analizado por herramientas tradicionales
-no almacenado o administrado de manera eficiente
sin embargo, también hay un gran potencial en el análisis de Big Data.
La gestión y el estudio adecuados de los datos pueden ayudar a las empresas a tomar mejores decisiones en función de las
estadísticas de uso y los intereses de los usuarios, ayudando así a su crecimiento. Algunas compañías incluso han creado nuevos
productos y servicios, en función de los comentarios recibidos de las oportunidades de análisis de Big Data.
clasificación es esencial para el estudio de cualquier asignatura. Así que Big Data se clasifica ampliamente en tres tipos
principales, que son:
DATOS
ESTRUCTURADOS
DATOS NO
ESTRUCTURADOS
DATOS
SEMIESTRUCTURA
DOS
1 2 3

DATOS
ESTRUCTURADOS
1
Los datos estructurados se utilizan para referirse a los datos que ya están almacenados en bases de datos, de
manera ordenada. Representa alrededor del 20% del total de datos existentes.
Hay dos fuentes de datos estructurados, las máquinas y los humanos.
Todos los datos recibidos de sensores, registros web y sistemas financieros se clasifican en datos generados
por una máquina. Estos incluyen dispositivos médicos, datos de GPS, datos de estadísticas de uso capturados
por servidores y aplicaciones y la enorme cantidad de datos que generalmente se mueven a través de
plataformas comerciales, por nombrar algunos.
Los datos estructurados generados por humanos incluyen principalmente todos los datos que un humano
ingresa en una computadora, como su nombre y otros detalles personales. Cuando una persona hace clic en
un enlace en Internet, o incluso hace un movimiento en un juego, se crean datos.
Ejemplo de Datos Estructurados
Una tabla de 'Empleado' en
una base de datos es un
ejemplo de Datos
estructurados.
Employee_ID Employee_Name Gender Department Salary_In_Euros
2365 Rajesh Kulkarni Male Finance 65000
3398 Pratibha Joshi Female Admin 65000
7465 Shushil Roy Male Admin 50000
7500 Shubhojit Das Male Finance 50000
7699 Priya Sane Female Finance 55000

DATOS NO
ESTRUCTURADOS
2 Los datos no estructurados son lo opuesto a los datos estructurados: no tienen un formato claro en el
almacenamiento.
Alrededor del 80% de los datos totales contabilizados son datos grandes no estructurados.
La mayoría de los datos con los que se encuentra una persona pertenecen a esta categoría, y hasta hace
poco no había mucho que hacer excepto almacenarlos o analizarlos manualmente.
Los datos no estructurados también se clasifican según su origen, en generados por máquina o
generados por humanos. Los datos generados por máquina representan todas las imágenes satelitales,
los datos científicos de varios experimentos y los datos de radar capturados por varias facetas de la
tecnología.
Ejemplo de datos no estructurados
Output returned by 'Google Search‚.
Los datos no estructurados generados por el hombre
se encuentran en abundancia en Internet, ya que
incluyen datos de redes sociales, datos móviles y
contenido de sitios web. Esto significa que las
imágenes que cargamos en Facebook o Instagram,
los videos que vemos en YouTube e incluso los
mensajes de texto que enviamos contribuyen a la
gigantesca pila de datos no estructurados.

DATOS
SEMIESTRUCTURA
DOS
3 Los datos semiestructurados parecen no estar estructurados en una vista simple, por lo que puede ser
difícil de analizar.
La información que no se encuentra en el formato de base de datos tradicional como datos
estructurados, pero que contiene algunas propiedades organizativas que facilitan su procesamiento, se
incluye en los datos semiestructurados.
Por ejemplo, los documentos NoSQL se consideran semiestructurados, ya que contienen palabras clave
que se pueden usar para procesar el documento fácilmente.
Un mensaje de correo electrónico es un ejemplo de datos semiestructurados. Incluye campos de datos
bien definidos en el encabezado, como el remitente, etc., mientras que el cuerpo real del mensaje no
está estructurado.
Si desea averiguar quién envía correos electrónicos a quién y cuándo (información contenida en el
encabezado), una base de datos relacional puede ser una buena opción. Pero si está más interesado en
el contenido del mensaje, las herramientas de big data, como el procesamiento en lenguaje natural,
serán mejores.
Ejemplo de datos semiestructurados
Personal data stored in a XML file.

Fuente de datos
Datos de la Máquina consiste en información generada a partir de equipos
industriales, datos en tiempo real de sensores que rastrean partes y monitorean maquinaria (a
menudo también se denomina Internet de las cosas) e incluso registros web que rastrean el
comportamiento del usuario en línea. En el cliente de Arcplan CERN, el centro de investigación
de física de partículas más grande del mundo, el Gran Colisionador de Hadrones (LHC) genera
40 terabytes de datos cada segundo durante los experimentos during experiments.
Datos transacionales, los grandes minoristas e incluso las empresas B2B
pueden generar multitud de datos de forma regular, considerando que sus transacciones
consisten en uno o varios artículos, identificaciones de productos, precios, información de
pago, datos de fabricantes y distribuidores, y mucho más.
Datos de las redes sociales brinda a las compañías información destacada sobre
el comportamiento y el sentimiento del consumidor que se puede integrar con los datos de
CRM para el análisis, con 230 millones de tweets publicados en Twitter por día, 2.700 millones
de Me gusta y comentarios agregados a Facebook todos los días y 60 horas de video subido a
YouTube Cada minuto (esto es lo que entendemos por velocidad de datos).

WhatsApp users
share
347,222
photos.
CADA
MINUTO DE
CADA DÍA
E-mail users send
204,000,000
messages
YouTube users
upload
4,320
minutes of new
videos.
Google recieves over
4,000,000
search queries.Facebook users
share
2,460,000
pieces of content.
Twitter users tweet
277,000
times.
Amazon makes
83,000$
in online sales.
Instagram users
post
216,000
new photos.
Ejemplos de datos de las redes sociales

Datos de máquinas
Los datos de la máquina están en todas partes. Lo crea todo, desde aviones y ascensores hasta semáforos y
dispositivos de control de estado físico.
Más recientemente, los datos de la máquina han ganado más atención a medida que ha crecido el uso de Internet
of Things, Hadoop y otras tecnologías de gestión de grandes datos.
Los registros de aplicaciones, servidores y procesos de negocios, registros de detalles de llamadas y datos de
sensores son ejemplos principales de datos de máquinas. Los datos de la cadena de clics de Internet y los registros
de actividad del sitio web también se incluyen en las discusiones de los datos de la máquina.
Se espera que la combinación de los datos de la máquina con otros tipos de datos empresariales para el análisis
proporcione nuevas vistas y conocimientos sobre las actividades y operaciones comerciales. Los datos generados
por una máquina son el alma de la Internet de las cosas (IoT).
Internet of Things (IoT)
En pocas palabras, IoT es básicamente el concepto de conectar cualquier dispositivo con un interruptor de encendido y
apagado a Internet (y / o entre sí). Esto incluye todo, desde teléfonos celulares, cafeteras, lavadoras, audífonos,
lámparas, dispositivos portátiles y casi cualquier cosa que se pueda imaginar. Esto también se aplica a los componentes
de las máquinas, por ejemplo, un motor a reacción de un avión o el taladro de una plataforma petrolera.

Datos transaccionales
Los datos transaccionales son información derivada directamente de las transacciones. A diferencia
de otros tipos de datos, los datos transaccionales contienen una dimensión de tiempo, lo que
significa que existe puntualidad y, con el tiempo, se vuelve menos relevante.
En lugar de ser el objeto de transacciones como el producto que se compra o la identidad del
cliente, es más bien un dato de referencia que describe la hora, el lugar, los precios, los métodos de
pago, los valores de descuento y las cantidades relacionadas con esa transacción en particular,
generalmente en El punto de venta.
compras Devoluciones Facturas Pagos Creditos
Donaciones comercios Dividendos Contratos Intereses
Nóminas préstamo Reservas Inscripciones Suscripciones
Ejemplos de datos transaccionales

LA IMPORTANCIA DEL BIG DATA
La importancia de los grandes datos no gira en torno a la cantidad de datos que tiene una empresa, sino a cómo una
empresa utiliza los datos recopilados. Cada empresa utiliza los datos a su manera; Cuanto más eficientemente una empresa
usa sus datos, más potencial tiene para crecer. La compañía puede tomar datos de cualquier fuente y analizarlos para
encontrar respuestas que permitan:
Ahorro de costes
Algunas herramientas de Big Data pueden aportar ventajas de costo para las empresas
cuando se almacenan grandes cantidades de datos y estas herramientas también ayudan a
identificar formas más eficientes de hacer negocios.
Tiempo de
reduccion
La alta velocidad de las herramientas y los análisis en memoria pueden identificar
fácilmente nuevas fuentes de datos que ayudan a las empresas a analizar datos de forma
inmediata y tomar decisiones rápidas basadas en los aprendizajes
Nuevo producto
desarrollado
Al conocer las tendencias de las necesidades y la satisfacción de los clientes a través del
análisis, puede crear productos de acuerdo con las necesidades de los clientes
Comprendiendo
las condiciones
del mercado
Al analizar Big Data, puede comprender mejor las condiciones actuales del mercado. Por
ejemplo, al analizar los comportamientos de compra de los clientes, una empresa puede
descubrir los productos que más se venden y producir productos de acuerdo con esta
tendencia.
Control de la
reputación en
línea
Las herramientas de big data pueden hacer análisis de sentimiento. Por lo tanto, puede
obtener comentarios sobre quién está diciendo qué sobre su compañía. Si desea
monitorear y mejorar la presencia en línea de su negocio, las herramientas de big data
pueden ayudar en todo esto.

LAS 5 V‘s DEL DATA

LAS 5 V‘s DEL DATA
Volumen
Velocidad
Variedad
Veracidad
Valor
El 90% de los datos en el
mundo de hoy se ha
creado solo en los últimos
2 años.
Literalmente la velocidad
de la luz! Los datos se
duplican cada 40 meses.
Datos estructurados,
semiestructurados y no
estructurados..
Debido al anonimato de
Internet o posiblemente a las
identidades falsas, la fiabilidad
de los datos a menudo se
cuestiona.
Tener acceso a big data no
es bueno a menos que
podamos convertirlo en
valor.
La magnitud de
los datos que se
generan.
La velocidad con la
que se agregan los
datos.
Los diferentes
tipos de datos
La veracidad de los
datos
El valor económico
de los datos
Big Data hace un buen trabajo al decirnos lo que sucedió, pero no por qué sucedió o qué hacer al
respecto. Los 5 V representan características y propiedades específicas que pueden ayudarnos a
comprender tanto los desafíos como las ventajas de las iniciativas de big data.

VOLUMEN
El volumen se refiere a las vastas cantidades de datos
generados cada segundo.
Solo piense en todos los correos electrónicos, mensajes de
twitter, fotos, videoclips, datos de sensores, etc. que
producimos y compartimos cada segundo.
Solo en Facebook enviamos 10 mil millones de mensajes por
día, haga clic en el botón "Me gusta" 4.5 mil millones de veces y
cargue 350 millones de fotos nuevas cada día.
Esto hace que los conjuntos de datos sean cada vez más
grandes para almacenar y analizar utilizando la tecnología de
base de datos tradicional. Con la tecnología de big data ahora
podemos almacenar y usar estos conjuntos de datos con la
ayuda de sistemas distribuidos, donde partes de los datos se
almacenan en diferentes ubicaciones y se unen mediante
software.

VELOCIDAD
La velocidad se refiere a la velocidad a la que se
generan los nuevos datos y la velocidad a la que se
mueven los datos.
Solo piense en los mensajes de las redes sociales que
se vuelven virales en segundos, la velocidad a la que
se comprueban las actividades de las tarjetas de
crédito en busca de actividades fraudulentas o los
milisegundos que los sistemas comerciales toman
para analizar las redes sociales para detectar señales
que desencadenan decisiones para comprar o vender
acciones.
La tecnología de Big Data nos permite ahora analizar
los datos mientras se generan, sin tener que
colocarlos en bases de datos

VARIEDAD
Variedad se refiere a los diferentes tipos de
datos que ahora podemos utilizar. En el
pasado, nos centramos en datos estructurados
que encajan perfectamente en tablas o bases
de datos relacionales.
Piensa en fotos, secuencias de video o
actualizaciones de redes sociales.
Con la tecnología de datos grandes, ahora
podemos aprovechar diferentes tipos de
datos, incluidos mensajes, conversaciones en
redes sociales, fotos, datos de sensores, video
o grabaciones de voz, y reunirlos con datos
estructurados más tradicionales.

VERACIDAD
Veracidad Se refiere a la confiabilidad de los
datos.
Con muchas formas de big data, la calidad y
la precisión son menos controlables.
Solo piense en las publicaciones de Twitter
con etiquetas hash, abreviaturas, errores
tipográficos y palabras coloquiales, así
como la confiabilidad y precisión del
contenido.
La tecnología de Big Data y análisis nos
permite trabajar con este tipo de datos. Los
volúmenes a menudo compensan la falta de
calidad o precisión.

VALOR
Valor: es bueno tener acceso a big data,
pero a menos que podamos convertirlo en
valor, es inútil. De modo que puede
argumentar con seguridad que el "valor" es
la V más importante de Big Data. Es
importante que las empresas hagan un caso
de negocios para cualquier intento de
recopilar y aprovechar Big Data. Es muy fácil
caer en la trampa del buzz y embarcarse en
iniciativas de big data sin una comprensión
clara de los costos y beneficios.
Big Data puede entregar valor en casi cualquier área de negocios o
sociedad:
✓ Ayuda a las empresas a comprender y atender mejor a los clientes: los
ejemplos incluyen las recomendaciones de Amazon o Netflix. UNA
✓ Permite a las empresas optimizar sus procesos: Uber puede predecir la
demanda, tasar dinámicamente los viajes y enviar el controlador más cercano
a los clientes. UNA
✓ Mejora nuestra atención médica: las agencias gubernamentales ahora
pueden predecir los brotes de gripe y hacerles un seguimiento en tiempo
real, y las compañías farmacéuticas pueden usar el análisis de big data para
acelerar el desarrollo de medicamentos. UNA
✓ Nos ayuda a mejorar la seguridad: el gobierno y los organismos encargados
de hacer cumplir la ley utilizan datos importantes para frustrar los ataques
terroristas y detectar delitos cibernéticos. UNA
✓ Permite a las estrellas del deporte mejorar su rendimiento: los sensores en
bolas, las cámaras en el campo y los rastreadores de GPS en sus ropas
permiten a los atletas analizar y mejorar lo que hacen.

¿CÓMO LOS DATOS GRANDES SE
CONVIERTEN EN DATOS INTELIGENTES?
1. Convertir Big Data en valor
2. Aplicaciones de datos inteligentes
3. ¿Cómo iniciar Smart?
4. Desafíos de Big Data

APLICACIONES INTELIGENTES DE
DATOS
• Detección /
Prevención de
Fraude
• Análisis de
sentimiento de
marca.
• Precios en tiempo
real
• Colocación de
productos
• Publicidad micro-
dirigida
• Monitorear las
visitas de los
pacientes
• Atención y
seguridad del
paciente.
• Reducir las tasas
de readmisión
• Smart meter-stream
analysis
• Proactive equipment
repair
• Power and
consuption matching
• Diagnóstico de
torre celular
• Distribución de
banda ancha
• Mantenimiento
proactivo
• Disminuyendo el
tiempo de
comercialización.
• La planificación del
suministro
• Aumentar la calidad
del producto.
• Network intrusion
detection and
prevention
• Disease outbreak
detection
• Detección y
control de
conducción
insegura.
• Planificación de
rutas y tiempos de
transporte
público.
SERVICIOS FINANCIEROS AL POR MENOR TELECOM FABRICACIÓN
CUIDADOS DE SALUD
UTILIDADES, PETRÓLEO Y GAS
Sector público TRANSPORTE
Todas las empresas del mundo necesitan datos para prosperar.
Los datos son lo que te dice quiénes son tus clientes y cómo operan, y es lo que
puede guiarte hacia nuevas perspectivas y nuevas innovaciones, pero primero
Es necesario encontrar primero el área de interés correcta.

¿CÓMO COMENZAR SMART?
A pesar de que el análisis de datos y las herramientas de visualización han recorrido un largo
camino en la última década, el análisis de big data aún depende de la intervención y coordinación
humanas para tener éxito. Necesita saber cómo hacer las preguntas correctas, cómo eliminar su
propio sesgo y cómo formar ideas procesables en lugar de conclusiones básicas.
1. Revise sus
datos.
•¿Qué datos tienes?
•¿Cómo se usa?
•¿Tiene la
experiencia para
gestionar sus
datos?
2. Haga las
preguntas
correctas.
• ¿Qué datos
tiene y cómo se
utiliza?
• ¿Estás siendo lo
suficientement
e específico?
3. Sacar las
conclusiones.
•¿Podría un experto
ayudar a revisar
sus resultados?
•¿Puedes validar
tus hipótesis?
•¿Qué otros datos
necesitas?

Grandes desafíos de datos
FALTA DE
TALENTO
Para implementar con éxito
un proyecto de big data se
requiere un equipo
sofisticado de
desarrolladores, científicos
de datos y analistas que
también tengan suficiente
conocimiento del dominio
para identificar información
valiosa.
Es fácil quedar atrapado en la exageración y la oportunidad de los grandes datos. Sin embargo, una de las razones por las
que el big data está tan subutilizado es porque las tecnologías del big data y el big data también presentan muchos desafíos.
Una encuesta encontró que el 55% de los proyectos de big data nunca se completan. Entonces, ¿cuál es el problema con big
data?
Escalabilidad
Muchas organizaciones
no tienen en cuenta la
rapidez con la que un
proyecto de big data
puede crecer y
evolucionar. Las cargas de
trabajo de Big Data
también tienden a ser
ráfagas, lo que dificulta la
asignación de capacidad
para recursos.
IDEAS
ACCIONABLES
Un desafío clave para
los equipos de ciencia
de datos es identificar
un objetivo de negocio
claro y las fuentes de
datos adecuadas para
recopilar y analizar
para cumplir con ese
objetivo.
CALIDAD DE
LOS DATOS
Las causas comunes
de los datos sucios
incluyen: errores de
entrada del usuario,
datos duplicados y
enlaces de datos
incorrectos.
SEGURIDAD
Los desafíos específicos incluyen:
Autentificación de usuario para
cada equipo y miembro del equipo
que accede a los datos.
Restricción del acceso en función
de las necesidades del usuario.
Registro de historiales de acceso a
datos y cumplimiento de otras
normativas de conformidad.
Uso correcto de encryprion en
datos en tránsito y en reposo
GESTION DE
COSTE
Las empresas que
realizan proyectos de big
data deben recordar el
costo de la capacitación,
el mantenimiento y la
expansión.

CASO DE ESTUDIO:
Cómo AG usó el poder de Big Data
ANTECEDENTES
Cada vez que va de compras,
comparte detalles íntimos sobre
sus patrones de consumo con los
minoristas. Y muchos de esos
minoristas están estudiando esos
detalles para descubrir qué le
gusta, qué necesita y qué es más
probable que le haga feliz. AG: el
minorista de golf más grande de
Europa, por ejemplo, ha
descubierto cómo extraer los datos
de manera inminente en las
carteras de jubilados inminentes,
antes de que realmente se retiren.
LA FUENTE DE LOS GRANDES
DATOS DE AG
AG asigna a cada cliente un número
de identificación de invitado,
vinculado a su tarjeta de crédito,
nombre o dirección de correo
electrónico que se convierte en un
cubo que almacena un historial de
todo lo que compró y cualquier
información demográfica que AG haya
recopilado de ellos o comprado de
otras fuentes. Usando eso, su analista
miró los datos históricos de compra
de todos los hombres que habían
registrado sus registros en el pasado.
LA GRAN CONCLUSIÓN DE DATOS l
analista realizó una prueba tras otra,
analizando los datos, y en poco tiempo
surgieron algunos patrones útiles.
Guantes, por ejemplo. Muchos hombres
compran guantes de golf, pero uno de los
colegas de Pole notó que los hombres en
el registro de golf estaban comprando
periféricos de golf más pequeños,
especialmente guantes de golf en los seis
meses previos a su retiro. Otro analista
observó que en esta ventana de 6 meses,
la frecuencia de las visitas a las tiendas
aumentó.

STUDIO DE CASO:
Cómo AG usó el poder de Big Data
LA REACCIÓN
Así que AG comenzó a enviar bonos
para kits de golf, especialmente
artículos de entradas más altas,
como controladores y juegos
completos. Duhigg comparte una
anécdota, tan buena que suena
inventada. Un hombre enojado
entró en una tienda en las afueras
de Milton Keynes, exigiendo hablar
con un gerente.
EL RETO
Lo que AG descubrió con
bastante rapidez es que asustó a
la gente que la compañía sabía
de antemano su jubilación.
LA SOLUCIÓN
AG se volvió más astuto al enviar los bonos. La
empresa puede crear folletos personalizados;
en lugar de enviar a los hombres bonos de
jubilación solo para artículos de alto precio de
golf masculino, los distribuyen más sutilmente:
descubrieron que mientras un hombre piense
que no ha sido espiado, usará los vales.
Simplemente asume que todos los demás en su
calle recibieron el mismo correo.

Gracias
Alguna pregunta?
www.website.how
www.facebook.com

Afc module 1 translated

Más contenido relacionado

La actualidad más candente (19)

Similar a Afc module 1 translated (20)

Más de SoniaNaiba (20)

Último (20)

Afc module 1 translated