Una visión de las técnicas y métodos de análisis en entornos Big Data utilizando tecnologías de última generación

Una
visión
de
las
técnicas
y

métodos
de
análisis
en
entornos
Big

Data
u8lizando
tecnologías
de

úl8ma
generación

Federico
Castanedo

Chief
Data
Scien2st
@WiseAthena.com

twi9er
@overﬁt

Índice

1.
Introducción
a
los
problemas
de
big-‐data
analy2cs

2.
Algoritmos
aproximados

-‐
Flajolet-‐Mar2n.
Alon-‐Ma2as-‐Szegedy
Sketch

-‐
Heavy
Hi9ers:
Space
Saving
Algorithm

-‐
Bloom
Filter,
Count-‐Min
Sketch

3.
Tecnologías
de
procesamiento
distribuido

-‐
Arquitecturas
Lambda

4.
Casos
prác2cos

Cuantos
más
datos,
mejor!

Alon
Havely,
Peter
Norvig,
Fernando
Pereira.
The
Unreasonable

Eﬀec0veness
of
Data.
IEEE
Intelligent
Systems.
2009.

"We
don’t
have
beAer
algorithms.
We
just
have
more
data."

Talk:
h9p://youtu.be/yvDCzhbjYWs

Michele
Banko
and
Eric
Brill.
Scaling
to
Very
Very
Large
Corpora
for

Natural
Language
Disambigua0on.
ACL
2001

Deep
Learning
@Google.

Q.
V.
Lee.
et.
al.
Building
High-‐level
Features

Using
Large
Scale
Unsupervised
Learning.

ICML
2012.

Cuantos
más
datos,
¿mejor?

D.
Lazer,
R.
Kennedy,
G.
King
and
A.
Vespignani.
The
Parable
of
Google
Flu:

Traps
in
Big
Data
Analysis.
Science.
13
March
2014.

Declan
Butler.
When
Google
got
ﬂu
wrong.
Nature.
13
Febrero
2103.

h9p://www.tylervigen.com

Curva
de
aprendizaje
de
alta
varianza
(Over-‐Fit)

Depende
(sesgo
vs
varianza)

-‐
El
error
de
test
decrece
a
medida
que
m
crece.
Sugiere
que
un

conjunto
más
grande
es
mejor.

-‐
Hay
un
gap
inicial
muy
grande
entre
el
error
en
entrenamiento
y
test

-‐
En
estas
situaciones
añadir
más
datos
ayuda.

Depende
(sesgo
vs
varianza)

Curva
de
aprendizaje
de
alto
Sesgo
(Under-‐Fit)

-‐
Incluso
el
error
de
entrenamiento
es
muy
alto.

-‐
El
error
de
entrenamiento
y
test
convergen
a
valores
similares
pero

no
muy
buenos.

-‐
En
estas
situaciones
añadir
más
datos
no
suele
ayudar.

En
general

-‐
Más
datos
de
entrenamiento
à
Sol.
Alta
Varianza

-‐
Menos
features
à
Sol.
Alta
Varianza

-‐
Conjuto
grande
de
features
à
Sol.
Alto
Sesgo

-‐
Queremos
algoritmos
que
tengan
baja
varianza
y
bajo

sesgo.
El
bajo
sesgo
se
consigue
con
muchas
features
y
la

baja
varianza
con
muchos
datos
(Ej.
texto
vs
precios
casa)

PERO......

Más
datos
à
Mayor
coste
computacional

Medidas
de
Rendimiento

1.
Tiempo
de
Procesamiento

El
2empo
necesario
para
procesar
cada
elemento
desde

que
se
recibe.

2.
Tiempo
de
Computación

El
2empo
necesario
para
calcular
las
funciones
en
los

datos.

3.
Tamaño
de
Almacenamiento

El
espacio
u2lizado
para
almacenar
la
estructura
de
datos.

Complejidad
de
Algoritmos

Punto
de
Vista
Prác8co

-‐
Algoritmo
O(n^2)
solo
válido
para
Small
Data

-‐
Los
datos
caben
en
una
máquina:
Medium
Data

-‐
Los
datos
no
caben
en
una
máquina:
Big
Data

Enlaces
de
Complejidad

h9p://www.sco9aaronson.com/blog/?p=263

h9p://bigocheatsheet.com/

h9p://www.sor2ng-‐algorithms.com/

Big
Data
!=
Hadoop

•  Hadoop
es
una
gran
herramienta
pero
no
siempre
es
la

mejor.

•  Hadoop
es
ú2l
para
trabajos/procesos
en
modo
Batch
que

no
tengan
requisitos
de
2empo
real.
(I/O
Bound)

•  Cuando
se
requiere
trabajar
sobre
Streams
de
datos
son

mejores
otras
tecnologías.
(Velocity
de
Big-‐Data)

•  Un
stream
de
datos
es
una
secuencia
de
elementos
que

se
reciben
en
2empo
real
de
forma
con8nua
y
ordenada

(bien
de
forma
explícita
por
el
2mestamp
o
implícita
por

la
posición).

•  Siendo
estrictos,
además
es
imposible
controlar
el
orden

en
que
se
reciben
los
elementos
y
tampoco
es
posible

almacenar
el
stream
completo
de
forma
local.

Funciones
Hash

Mapeo
h
de
un
dominio
X
a
un
rango

entero
[1,...,N]

Una
función
hash
h()
que
toma
una

clave-‐hash
como
argumento
y
genera

un
número
bucket
como
resultado.

El
bucket
es
un
entero,
normalmente

entre
0
a
B-‐1,
donde
B
es
el
número

de
buckets.

Obje8vo:
Obtener
una
distribución
uniforme.
Para
ser
precisos

si
las
claves-‐hash
se
ob2enen
de
una
distribución
uniforme.
La

función
h()
asignará
el
mismo
número
de
claves-‐hash
a
cada

uno
de
los
buckets.

Tenemos
un
Stream
de
m
items
xi

Queremos
calcular
las
estadís2cas
de
los
mismos

1.
#m
pequeña
(pocos
millones
items)

Trivial
de
calcular:
contadores
agregados
(diccionario)

Memoria
O(m)

Coste
computacional
O(log
m)
para
almacenamiento
&

búsqueda

2.
#m
grande

Almacenamiento
exacto
de
elementos:
imposible

Prueba
exacta
de
elementos
previos:
imposible

Son
necesarios
algoritmos
y
EDD
aproximadas

Ejemplo
Calentamiento

Buscando
el
elemento
que
falta

Sequencia
de
N
instancias
[1..N]

Se
observan
en
un
orden
arbitrario
y
un
elemento
falta

→
Buscar
cuál
es
(con
el
menor
número
de
bits).

Algoritmo

Calcular
la
suma

Para
cada
elemento
decrementar
s

Al
ﬁnal
tenemos
el
elemento
que
falta

¿Cuantos
bits
necesitamos
para
almacenar?

O(N),
O(2LogN)
bits

Faltan
hasta
K
elementos

Secuencia
de
[1..N]

Hasta
k
de
ellos
faltan.
¿como
iden2ﬁcarlos?

Algoritmo

Calcular
la
suma
de
p
hasta
k

Para
cada
elemento
decrementar
Sp

Iden2ﬁcar
los
elementos
que
faltan
solucionando
un

sistema
de
polinomios.

Algoritmo
Flajolet-‐Mar2n

Algoritmo
Flajolet-‐Mar2n

Asume
funciones
hash
perfectas
que
2enen
la
siguiente

propiedad

Algoritmo

1.
Calculamos
el
hash
como
un
string
binario.

2.
Obtenemos
la
posición
del
0
más
a
la
derecha;
o
el

número
de
0s
después
del
úl2mo
1.

3.
El
valor
J
más
grande
es
la
es8mación
del
número
del

elementos
dis8ntos.

F-‐M
Bounds

De
forma
intui2va
esperamos

Repe2ciones
del
mismo
elemento
no
afectan

Necesitamos
O(log
log
|X|)
bits
para
almacenar
el

contador
(2^2^32
en
el
caso
de
32
bits)

Con
gran
probabilidad
la
aproximación
está
en
el
rango:

Alon-‐Ma2as-‐Szegedy
Sketch

Paper
1996.
[AMS1996]

Ganador
2005
Gödel
Prize.

Generaliza
el
algoritmo
de
Flajolet-‐Mar2n
para
funciones
hash

independientes
2-‐way.
Permite
calcular
momentos
de
orden
K

(FK).

0
num
elementos
dis2ntos

1
num
total
de
elementos
(trivial)

2
Varianza

3
Asímetria

Extrayendo
Buenas
Muestras

Obje2vo:
Mantener
las
propiedades
del
dataset
completo
en
la

muestra.

Algoritmo
Naive:
Elegir
cada
elemento
del
stream
con
una
cierta

probabilidad.

Algoritmo
"Reservoir
Sampling":
Dado
un
conjunto
de
datos
de

longitud
desconocida,
elegir
un
elemento
del
stream
de
forma

que
cada
elemento
único
tenga
la
misma
probabilidad
de

aparecer

Heavy
Hi9ers:
Space
Saving

[MAE2005]
Obje2vo:
Buscar
los
k
elementos
más
frecuentes

(pesados)

Algoritmo

-‐Inicializamos
k
pares

en
la
lista
T

-‐
Obervamos
una
instancia

-‐
If
x
está

en
T,
incrementamos
el
contador

-‐
else
buscamos
la
e2queta
con
el
menor
contador
y
la

actualizamos

con

Salida:
Lista
ordenada
con
dos
índices
(e2queta,
contador)

Heavy
Hi9ers:
Space
Saving

El
error
está
acotado
al
número
de
simbolos
observados
(n)

entre
el
número
de
bins
(k):

Más
allá
de
Heavy
Hi9ers

-‐
Comprobar
elementos
vistos
previamente:

Pero
no
mantener
contadores,
solo
su
existencia.

-‐
Comprobar
la
es2mación
de
frecuencia:

Pero,
no
queremos
almacenar
e2quetas.

Pero,
queremos
es2mar
todos
los
items
(no
solo
HH)

Pero,
queremos
ser
capaces
de
agregarlos.

Algoritmos:
Bloom
Filters,
Count-‐Min
Sketch,
Counter

Braids

Bloom
Filters

Array
de
bits
b
de
longitud
n

-‐
insert(x):
para
todo
i
set
bit
b[h(x,i)]
=
1

-‐
query(x):
devolvemos
TRUE
si
para
todo
i
b[h(x,i)]
=
1

-‐
Solo
devuelve
TRUE
si
todos
los
k
bits
están
a
1

-‐
No
hay
falsos
nega2vos
(si
no
está,
no
ha
aparecido),
pero

si
puede
haber
falsos
posi2vos.

Bloom
Filters

Probabilidad
que
un
bit
arbitrario
se
ac2ve

Probabilidad
de
Falsos
Posi2vos

Ejemplos
de
uso:

HBase:

h9p://bigdataanaly2csnews.com/bloom-‐ﬁlters-‐hbase-‐chrome/

Cassandra:

h9p://wiki.apache.org/cassandra/ArchitectureOverview

Tutorial
en
la
web:

h9p://billmill.org/bloomﬁlter-‐tutorial/

Bloom
Filters:
aplicaciones

Unión
de
dos
conjuntos
por
OR

-‐Construcción
paralela
de
Bloom
Filters

-‐Agregación
dependiente
del
2empo
(ventanas
temporales)

-‐Unión
de
conjuntos
de
forma
aproximada
y
rápida

(operaciones
de
bitmap
en
lugar
de
operaciones
de
conjuntos)

-‐También
se
u2liza
para
dividir
la
resolución
de
los
bits
de
un

Bloom
Filter

Bloom
Filters:
aplicaciones

Intersección
de
conjuntos
con
AND

-‐
No
hay
falsos
nega2vos

-‐
Más
falsos
posi2vos
que
sin
la
intersección

Coun2ng
Bloom
Filters

Bloom
ﬁlter
por
defecto
no
permite
eliminar
elementos:

-‐
insert(x):
para
todo
i
set
bit
b[h(x,i)]
=
1.
No
sabemos
si
ya

ha
sido
ac2vado
antes.

-‐
query(x):
return
TRUE
si
para
todo
i
b[h(x,i)]
=
1

Coun2ng
Bloom
Filter
recuerda
los
inserts:

query(x):
return
TRUE
if
for
all
i
b[h(x,i)]
>
0

insert(x):
if
query(x)
=
FALSE
(no
lo
insertamos
doble)

for
all
i
increment
b[h(x,i)]
=
b[h(x,i)]
+
1

remove(x):
if
query(x)
=
TRUE
(no
lo
eliminamos)

for
all
i
decrement
b[h(x,i)]
=
b[h(x,i)]
–
1

Solo
necesitamos
log
log
m
bits

Count-‐Min
Sketch

Similar
a
Bloom
ﬁlters
pero
con
contadores
(Modelo
Turns2le).

Una
ﬁla
por
hash
func2on.
[CM2005].

h9ps://sites.google.com/site/countminsketch/

3.
Tecnologías
de
Procesamiento

Distribuido

Propiedades
Deseables
de
un

Sistema
de
Big
Data

1.  Robusto
y
tolerante
a
fallos:
En
un
sistema
en
producción
es

inevitable
que
alguien
cometa
un
fallo
en
algún
momento.

2.  Baja
latencia
de
lectura
y
actualización:
Es
necesario

proporcionar
latencias
bajas
de
lectura
y
actualización
sin

comprometer
la
robustez
del
sistema.

3.  Escalable:
Capacidad
para
mantener
el
rendimiento
a
medida

que
crecen
los
datos
de
entrada.

4.  General:
Un
sistema
debería
soportar
diferentes
2pos
de

aplicaciones.

5.  Extensible:
Permite
añadir
nueva
funcionalidad
con
bajo

coste.

6.  Permi8r
queries
ad-‐hoc:
Consultas
no
deﬁnidas.

7.  Mínimo
mantenimiento

8.  Depurable

Problemas

¿Como
escalar
algoritmos
en
más
de
un
maquina?

Precisión
(memoria
limitada)

Tolerancia
a
fallos

Escalabilidad
(más
datos
de
entrada)

Herramientas:
Consistent-‐Hashing
(Dividir
las
claves
X

entre
un
pool
de
maquinas
M)

Proporciona
Balanceo
de
carga

Se
puede
extender
para
proporcionar
tolerancia
a

fallos

Idea:

-‐Asignar
keys
solo
a
un
conjunto
de
maquinas

-‐Sobre-‐replicarlas
para
la
ﬁabilidad

-‐Sobre-‐replicarlas
para
el
paralelismo
de
queries

-‐Insertar
en
K
maquinas
a
la
vez

-‐Procesar
pe2ciones
de
K'
<
K
maquinas
a
la
vez

(usar
set
hashing
en
C(x)
con
Cliente
ID)

Consistent
Set
Hashing

Ejemplo
AutoTagging

Auto
clasiﬁcador
de
imágenes
@Flickr

Ejemplo
AutoTagging

10.000
mappers

1.000
reducers

Pocos
miles
de
clasiﬁcadores
in
6
horas

Mejoras:

-‐
Actualizar
los
modelos
de
forma
incremental
según
llegan
nuevos

datos

Solución:

-‐
Batch
processing
con
Hadoop

-‐
Stream
processing
con
Storm

Arquitectura
Lambda

-‐
Término
acuñado
por
Nathan
Marz.

-‐
Descompone
el
problema
de
calcular
funciones
arbitrarias

en
conjuntos
de
datos
arbitrarios
usando
3
capas:
(1)
Capa

Batch,
(2)
Capa
Serving
y
(3)
Capa
Speed.

Storm

Sistema
de
computación
distribuido
para
procesar
streams
de
datos

en
2empo
real
y
tolerante
a
fallos.
h9p://storm.incubator.apache.org/

Tuplas:
Unidad
atómica
de
trabajo

Topology:
Grafo
de
Bolts
y
Spouts

Spouts:
La
fuente
de
datos.
"Emite"
Tuplas.

Bolts:
Pequeños
programas
que
procesan
los
datos.

TopologyBuilder
builder
=
new
TopologyBuilder();

builder.setSpout(“words”,
new
TestWordSpout(),
10);

builder.setBolt(“exclaim1”,
new
Exclama2onBolt(),
3)

.shuﬄeGrouping(“words”);

Builder.setBolt(“exclaim2”,
new
Exclama2onBolt(),
2)

.shuﬄeGrouping(“exclaim1”);

Predicción
Churn

Predic2ng
Customer
Churn
in
a
Telecommunica2ons
Network

Environment.
Patent
Pending.
US.
61/985,671

Conclusiones

No
todo
Big
Data
es
Hadoop-‐ish.

No
siempre
más
datos
es
mejor.
Depende
del
problema.

Cuando
2enes
muchos
datos,
prác2camente
cualquier

patrón
puede
aparece
(signal/noise)

Muy
importante
tener
en
cuenta
la
complejidad
de
los

algoritmos
u2lizados.

Escalar
los
procesos/sistemas
de
forma
inteligente.
(ala

Consistent
Hashing)

La
principal
ventaja
en
los
modelos
predic2vos/ML
suele

venir
por
el
esfuerzo
en
"Feature
Engineering"

¡Gracias!
We
are
Hiring!

fcastanedo@wiseathena.com

Una visión de las técnicas y métodos de análisis en entornos Big Data utilizando tecnologías de última generación

Más contenido relacionado

Destacado (20)

Similar a Una visión de las técnicas y métodos de análisis en entornos Big Data utilizando tecnologías de última generación (20)

Más de Victoria López (20)

Último (20)

Una visión de las técnicas y métodos de análisis en entornos Big Data utilizando tecnologías de última generación