ES.ASW.Te11_DistribuidosBigData.pdf

Arquitectura del Software
Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Sistemas distribuidos
Sistemas escalables y Big data
Jose Emilio Labra Gayo
Curso 2020/21

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Sistemas distribuidos
Estilos de integración
Topologías: Hub & Spoke, Bus
Patrón Broker
Peer-to-peer
Arquitecturas orientadas a servicios
WS-*, REST
Microservicios
Serverless
Network

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Transferencia de ficheros
Base de datos compartida
Invocación procedimiento remoto
Mensajería
Event log

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Una aplicación genera un fichero de datos que es
consumido por otra
Una de las soluciones más comunes
Aplicación
A
Exporta
Fichero
Aplicación
B
Importa

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Ventajas
Bajo acoplamiento
Independencia entre
aplicación A y B
Facilita depuración
Se pueden analizar datos
del fichero
Aplicación
A
Exporta
Fichero
Aplicación
B
Importa
Problemas
Acordar formato de fichero común
Puede aumentar acoplamiento
Coordinación
Una vez enviado el fichero, la
aplicación B puede modificarlo ⇒
¡2 ficheros!
Suele requerir intervención manual

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Las aplicaciones almacenan sus datos en una
base de datos común
Aplicación
C
Base de
datos
Aplicación
A
Aplicación
B

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Ventajas
Datos siempre disponibles
Todo el mundo accede a la misma información
Consistencia
Formato familiar
SQL para todo?
Aplicación
C
Base de
datos
Aplicación
A
Aplicación
B

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Problemas
El esquema de la base de datos puede variar
Requiere esquema común para todas las
aplicaciones
Fuente de problemas y conflictos
Necesidad de paquetes externos (acceso BD común)
Rendimiento y escalabilidad
Base de datos como cuello de botella
Sincronización
Problema con bases de datos distribuidas
Escalabilidad
NoSQL ?

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Variaciones
Data warehousing: Base de datos utilizada para
análisis de datos e informes
ETL: proceso basado en tres fases
Extracción: Obtención de fuentes heterogéneas
Transformación: Procesado de los datos
Carga (Load): Almacenamiento en base de datos
compartida

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Una aplicación invoca una función de otra
aplicación que puede estar en otra máquina
En la invocación puede pasar parámetros
Obtiene una respuesta
Gran variedad de aplicaciones
RPC, RMI, CORBA, .Net Remoting, ...
Servicios web, ...
Aplicación
A
Stub
función
Skeleton
Aplicación
B
respuesta

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Ventajas
Encapsulación de implementación
Múltiples interfaces para la misma información
Se pueden ofrecer distintas representaciones
Modelo familiar para desarrolladores
Similar a llamar a un método
Aplicación
A
Stub
función
Skeleton
Aplicación
B
respuesta

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Problemas
Falsa sensación de sencillez
Procedimiento remoto ≠ Procedimiento
8 falacias de computación distribuida
Invocaciones mediante sincronización
Aumenta acoplamiento entre aplicaciones
La red es fiable
La latencia es cero
El ancho de banda es infinito
La red es segura
La topología no cambia
Hay un administrador
El coste de transporte es cero
La red es homogénea
8 falacias computación distribuida
Aplicación
A
Stub
función
Skeleton
Aplicación
B
respuesta

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Nuevas revisiones: gRPC
Propuesta de Google (https://grpc.io/)
Marco de aplicaciones de mensajería de alto
rendimiento
Basado en http/2

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Mensajería
Múltiples aplicaciones independientes se
comunican enviando mensajes a un canal
Comunicación asíncrona
Las aplicaciones envían mensajes y continúan
ejecutándose
Aplicación
C
Aplicación
A
Aplicación
B
Canal de mensajería

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Mensajería
Ventajas
Bajo acoplamiento
Aplicaciones independientes
entre sí
Las aplicaciones continúan la
ejecución
Encapsulación
Sólo se expone el tipo de mensajes
Aplicación
C
Aplicación
A
Aplicación
B
Canal de mensajería
Problemas
Complejidad de implementación
Transformación de datos
Adaptación formato de mensajes
Diferentes topologías

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Hub & Spoke
Bus

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Hub & Spoke (central/radial)
Relacionado con patrón Bróker
Hub = Bróker centralizado de mensajes
Se encarga de la integración
Hub ó Broker
Máquina integración
central
Aplicación 4
Aplicación 3
Aplicación 2
Aplicación 1

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Bus
Cada aplicación contiene su máquina de
integración
Estilo Publish/Subscribe
Bus - Esqueleto de mensajería
Aplicación 1
Aplicación 3 Aplicación 4
Aplicación 2
Adaptador y máquina
integración
integración
integración
integración

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Bus
ESB - Enterprise Service Bus
Define un esqueleto (backbone) de mensajería
Conversión de protocolos
Transformación de formatos
Enrutamiento
Proporciona un API para desarrollar servicios
MOM (Message Oriented Middleware)

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Patrón Bróker
Nodo intermediario que gestiona la comunicación
entre un cliente y un servidor
Cliente Servidor
Broker
stub skeleton
Cliente Servidor
Broker
stub skeleton
bridge

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Patrón Bróker
Elementos
Bróker
Se encarga de la comunicación
Cliente: Envía peticiones
Proxy de cliente: stub
Servidor: Devuelve respuestas
Proxy de servidor: skeleton
Bridge: Puede conectar brókers entre sí
Cliente Servidor
Broker
stub skeleton
bridge

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Patrón Bróker
Ventajas
Separación de
responsabilidades
Delega aspectos
comunicación al bróker
Mantenimiento por separado
Reutilización
Servidores independientes
de clientes
Portabilidad
Bróker = aspectos de bajo
nivel
Interoperabilidad
Mediante bridges
Problemas
Rendimiento
Se añade una capa de
indirección
Comunicación directa
siempre va a ser más rápida
Puede suponer acoplamiento
fuerte entre componentes
Bróker = punto de fallo único
en el sistema

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Patrón Bróker
Aplicaciones
CORBA y sistemas distribuidos
Android utiliza variación de patrón Bróker

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Peer-to-Peer
Nodos (peers) iguales y autónomos se
comunican entre sí
Red
Nodo
Nodo
Nodo
Nodo
Nodo
Nodo

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Peer-to-Peer
Elementos
Nodos computacionales: peers
Tienen su propio estado e hilo de control
Protocolo de red
Restricción
No existe un nodo principal

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Peer-to-Peer
Ventajas
Información y control
descentralizados
Tolerancia a fallos
No hay un punto único
de fallo
Fallo de un nodo
único no es
determinante
Problemas
Mantenimiento del estado
del sistema
Complejidad de protocolo
Limitaciones de ancho de
banda
Latencia de la red y
protocolo
Seguridad
Detección de peers
maliciosos

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Peer-to-Peer
Aplicaciones populares
Napster, BitTorrent, Gnutella, ...
No sólo compartir ficheros
Comercio electrónico (B2B)
Sistemas colaborativos
Redes de sensores
Blockchain
...
Variantes
Super-peers

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
SOA - Service Oriented Architectures
WS-*
REST
Microservicios
Serverless

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
SOA
SOA = Service Oriented Architecture
Los servicios están definidos mediante un interfaz
Internet
Servicio 2
Interfaz
Servicio 3
Interfaz
Servicio 1
Interfaz

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
SOA
Elementos
Proveedor : Proporciona el servicio
Consumidor: Realiza peticiones al servicio
Mensajes: Información intercambiada
Contrato o interfaz: Descripción de la funcioanlidad
ofrecida por el servicio
Terminal: Ubicación del servicio
Política: Acuerdos de gobierno del servicio
Seguridad, rendimiento, etc.

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
SOA
Restriccciones
Consumidor
de servicio
Servicio
Política
Terminal
Endpoint
Contrato
Interfaz
Mensajes
se adhiere a
enlaza con
comprende
envía/recibe
gobernado por
expone
implementa
envía/recibe
Fuente: SOA Patterns, A. Rottem Gal Oz
sirve
describe

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
SOA
Ventajas
Independencia de lenguaje y
plataforma
Interoperabilidad
Utilización de estándares
Acoplamiento débil
Descentralizado
Reusabilidad
Escalabilidad
Comunicación uno-a-uno
frente uno-a-muchos
Mantenimiento sistemas
legacy
Añadir una capa de servicios
web
Problemas
Eficiencia.
Puede no ser necesario en:
Entornos muy homogéneos,
tiempo real, ...
Exposición abierta
Riesgo de exponer API al
exterior
Seguridad
Composición de servicios

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
SOA
Variantes:
WS-*
REST

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
WS-*
Modelo WS-* = Conjunto de especificaciones
SOAP, WSDL, UDDI, etc....
Propuesto por W3c, OASIS, WS-I, etc.
Objetivo: Implementación SOA de referencia

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
WS-*
HTTP
UDDI
petición SOAP (XML)
respuesta SOAP (XML)
Implementación
servicio Web
Consumidor
servicio Web

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
WS-*
SOAP
SOAP
SOAP
SOAP
Internet
Conversión de
Monedas
Facturación
Gestión de
Usuarios
SOAP
XML
Aplicación
del usuario
Ecosistema de servicios Web

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
WS-*
SOAP
Define el formato de los mensajes y varios enlaces con
protocolos
Originalmente Simple Object Access Protocol
Evolución
Desarrollado a partir de XML-RPC
SOAP 1.0 (1999), 1.1 (2000), 1.2 (2007)
Participación inicial de Microsoft
Adopción posterior de IBM, Sun, etc.
Bastante aceptación industrial

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
WS-*
Envelope
Body
Header
Header Key
Header Key
Esquema de SOAP

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
WS-*
Ejemplo de SOAP sobre HTTP
POST /Suma/Service1.asmx HTTP/1.1
Host: localhost
Content-Type: text/xml; charset=utf-8
Content-Length: longitod del mensaje
SOAPAction: "http://tempuri.org/suma"
<?xml version="1.0" encoding="utf-8"?>
<soap:Envelope
xmlns:soap="http://schemas.xmlsoap.org/soap/envelope/">
<soap:Body>
<suma xmlns="http://tempuri.org/">
<a>3</a>
<b>2</b>
</suma>
</soap:Body>
</soap:Envelope>
POST ?

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
WS-*
Ventajas
Especificaciones
realizadas por
comunidad
W3c, OASIS, etc.
Adopción industrial
Implementaciones
Visión integral de
servicios web
Numerosas extensiones:
Seguridad, orquestación,
coreografía, etc.
Problemas
No todas las
especificaciones están
maduras
Sobre-especificación
Falta de implementaciones
Abuso del estilo RPC
Interfaz no uniforme
No se sigue arquitectura
HTTP
Métodos GET/POST
sobrecargados

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
WS-*
SOAP en la práctica
Numerosas aplicaciones utilizan SOAP
Ejemplo: eBay (50mill. transacciones SOAP al día)
Pero…algunos servicios web populares dejaron de
ofrecer soporte SOAP
Ejemplos: Amazon, Google, etc.

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
REST
REST = REpresentational State Transfer
Estilo de arquitectura
Origen: Tesis doctoral de Roy T Fielding (2000)
Inspirado en la arquitectura de la Web (HTTP/1.1)

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
REST
REST - Representational State Transfer
Transferencia de representación de estado
Internet
HTTP
Recurso 1
GET, PUT,
POST, DELETE
Recurso 2
GET, PUT,
POST, DELETE
Aplicación

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
REST
Conjunto de restricciones
Recursos con interfaz uniforme
Identificables mediante URIs
Se devuelven representaciones de los recursos
Sin estado
Interfaces genéricos
Conjunto acciones: GET, PUT, POST, DELETE
REST = estilo de arquitectura
Varios niveles de adopción:
RESTful
Híbrido REST-RPC

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
REST
En capas
Cliente-servidor
Sin estado
Caché
Servidor replicado
Interfaz uniforme
Identificación de recursos (URIs)
Manipulación de representaciones de recursos
Mensajes auto-descriptivos (tipos MIME)
Enlaces a otros recursos (HATEOAS)
Código bajo demanda (opcional)

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
REST
Interfaz uniforme:
Conjunto de operaciones limitado
GET, PUT, POST, DELETE
Conjunto limitado de tipos de contenidos
En HTTP se identifican mediante tipos MIME: XML , HTML...
Método En Bases de datos Función Segura? Idempotente?
PUT ≈Create/Update Crear/actualizar No SI
POST ≈Update Crea/actualiza
subordinado
No No
GET Retrieve Consultar recurso Si Si
DELETE Delete Eliminar recurso No Si
Seguro = No modifica los datos del servidor
Idempotente = El efecto de ejecutarlo n-veces es el mismo que el de ejecutarlo 1 vez

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
REST
Protocolo cliente/servidor sin estado
Estado gestionado por el cliente
HATEOAS (Hypermedia As The Engine of Application State)
Respuestas devuelven URIs a opciones disponibles
Peticiones sucesivas de recursos
Ejemplo: Gestión de alumnos
1.- Obtener lista de alumnos
GET http://ejemplo.com/alumnos
Devuelve lista de URIs de alumnos
2.- Obtener información de ese alumno
GET http://ejemplo.com/alumnos/id2324
3.- Actualizar información de ese alumno
PUT http://ejemplo.com/alumnos/id2324

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
REST
Ventajas
Cliente/Servidor
Separación de
responsabilidades
Acoplamiento débil
Interfaz uniforme
Facilita comprensión
Desarrollo independiente
Escalabilidad
Mejora tiempos de
respuesta
Menor carga en red (caché)
Ahorro de ancho de banda
Problemas
REST mal entendido
Uso de JSON o XML sin más
Servicios Web sin contrato ni
descripción
REST con estilo RPC
Dificultades para incorporar
otros requisitos
Seguridad, transacciones,
composición, etc.

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
REST como estilo compuesto
Layers
Cliente
Servidor
Sin
estado
REST
Servidor
Replicado
Interfaz
uniforme
Caché
Código
bajo
demanda
(opcional)

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Arquitectura basada en servicios
Estilo arquitectónico pragmático basado en SOA
Interfaz de usuario
servicio
componente
componente
Base
datos
componente
componente
servicio
componente
componente
componente
componente
servicio
componente
componente
componente
componente

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Elementos
Servicios = Unidades desplegadas
independientemente
Normalmente formados por varios componentes
El interfaz de usuario accede a servicios de forma
remota (Internet)
Base de datos

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Service based architecture
Restricciones
Cada servicio es desplegado de forma independiente
Servicios pueden ser grandes
Interfaz de usuario puede dividirse (varias
topologías)
Base de datos compartida por cada servicio

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Ventajas
Modularidad de desarrollo
Servicios independientes
Diversidad tecnológica
Cada servicio puede
implementarse con
tecnologías y lenguajes
diferentes
Time to market
Varios frameworks disponibles
Disponibilidad
Fiabilidad
Retos
Escalabilidad (particionado base datos)
Evolución de servicios
Difícil adaptación al cambio
Servicios como monolitos
Ley de Conway
Equipos de base de datos, interfaz de
usuario, desarrolladores...

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Microservicios
Aplicaciones complejas se dividen en
componentes, llamados servicios
Cada servicio = bloque de construcción pequeño
Altamente desacoplados
Enfocados a hacer una pequeña tarea
Diferencia respecto a SOA
En SOA servicios de diferentes aplicaciones
Microservicios pertenecen a una misma aplicación
http://martinfowler.com/articles/microservices.html

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Microservicios
Diagrama
Peticiones
clientes
Peticiones
clientes
Peticiones
clientes
Capa
API
servicio
módulo
módulo
Base
datos
servicio
módulo
módulo
Base
datos
servicio
módulo
módulo
Base
datos
servicio
módulo
módulo
Base
datos
servicio
módulo
módulo
Base
datos

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Microservices
Elementos
Component desplegado = Servicio + base datos
Servicio puede contener varios módulos
Capa API (opcional) es un proxy o servicio de
nombrado

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Microservicios
Restricciones
Servicios distribuidos
Contexto definido (bouded context):
Cada servicio modela un dominio o flujo de trabajo
Aislamiento de datos
Independencia:
No hay mediador u
orquestador

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Microservicios y escalabilidad
Aplicación monolítica
Toda funcionalidad en un solo
proceso
...escalabilidad mediante
replicación del monolito
en diferentes servidores
Microservicios: Cada
funcionalidad distribuida
en un microservicio
...escalabilidad mediante
distribución de servicios en
servidores y replicación

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Microservicios
Gestión de datos descentralizada

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Microservicios
Ley de Conway en aplicación tradicional
Equipos especializados
(en silos)
Especialistas
Middleware
Especialistas
Interfaz
Usuario
DBAs
...lleva a arquitecturas basadas en silos
Debido a la Ley de Conway

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Microservicios
Ley de Conway con microservicios: Equipos
basados en funcionalidad
Organizados alrededor de las capacidades
Debido a la Ley de Conway
Equipos multidisciplinares
Funcionalidad cruzada

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Microservicios
Ventajas
Modularización del
desarrollo
Reusabilidad del
microservicio
Desarrollo y despliegue
independiente
Escalabilidad
Descentralización
Independencia de
tecnologías concretas
Cada servicio puede
desarrollarse con un
lenguaje y una tecnología
diferentes
Diversidad tecnológica
http://martinfowler.com/articles/microservice-trade-offs.html
Problemas/retos
Gestión de muchos microservicios
Demasiados microservicios =
antipatrón (nanoservicios)
Garantizar la consistencia de la
aplicación
Complejidad de desarrollo
Sistemas distribuidos son difíciles
de gestionar
Aparecen nuevos problemas:
latencia, formato de mensajes,
balance de carga, tolerancia a
fallos, etc.
Pruebas y despliegue
Complejidad operacional
Deterioro estructural

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Deterioro estructural microservicios
Dependencias de código entre microservicios
Demasiadas librerías compartidas
Demasiada comunicación entre servicios
Demasiadas peticiones de orquestación
Agregación de microservicios
Acoplamiento de la base de datos
Vídeo: Analyzing architecture (microservices)
https://www.youtube.com/watch?v=U7s7Hb6GZCU

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Microservicios
Variantes
Arquitectura de sistemas auto-contenidos
Self contained Systems (SCS) Architecture
Separación de funcionalidad en muchos sistemas
independientes
https://scs-architecture.org/
Cada Sistema auto-contenido contiene lógica y datos

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Arquitectura Serverless
También conocido como:
Function as a service (FaaS)
Backend as a service (BaaS)
Aplicaciones dependen de servicios de terceras partes
Los desarrolladores no tienen que preocuparse de los
servidores
Escalabilidad automática
Clientes ricos
Aplicaciones Single Page, Aplicaciones móviles
Ejemplos:
AWS Lambda, Google Cloud Functions, Ms Azure Functions
https://en.wikipedia.org/wiki/Serverless_computing

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Arquitectura Serverless
Ventajas
Escalabilidad
Disponibilidad
Rendimiento
Costes reducidos
Costes operacionales
Sólo se paga por los
recursos
computacionales
requeridos
Time to market reducido
Retos
Dependencia de un vendedor
Vendor lock-in
Incompatibilidad entre
soluciones de diferentes
vendedores
Seguridad
Latencia de arranque
Pruebas de integración
Monitorización/depuración

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
MapReduce
Arquitectura Lambda
Arquitectura Kappa

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
MapReduce
Propuesto por Google
Publicado en 2004
Implementación interna propietaria
Objetivo: grandes cantidades de datos
Muchos nodos computacionales
Tolerancia a fallos
Estilo compuesto de
Master-slave
Secuencial (batch)
Big
Data
Map Reduce
Result

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
MapReduce
Elementos
Nodo maestro: controla la ejecución
Gestiona sistema de ficheros con replicación
Nodos esclavos
Ejecutan tareas mapper y reducer
Tolerancia a fallos de nodos
Hardware/software heterogéneo
Big
Data
Map Reduce
Result

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
MapReduce - Esquema
Inspirado en P. funcional:
2 componentes: mapper y reducer
Los datos se trocean para su procesamiento
Cada dato asociado a una clave
Transforma [(clave1,valor1)] en [(clave2,valor2)]
c1
Entrada:
[(Clave1,Valor1)]
v1
c1 v1
c1 v1
Salida:
[(Clave2,Valor2)]
c2 v2
c2 v2
c2 v2
c2 v2
MapReduce

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Paso 1 - Mapper
Para cada (clave1,valor1) devuelve una lista
de (clave2,valor2)
Tipo: (clave1, valor1) → [(clave2,valor2)]
c1 vi1
c2 vi2
c3 vi3
k1 v1
k2 v2
k1 v3
k3 v4
k1 v5
k1 v6
k3 v7
mapper
mapper
mapper

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Paso 2 - Mezcla y ordenación
El sistema se encarga de mezclar y ordenar
resultados intermedios en función de las claves
k1 v1
k2 v2
k1 v3
k3 v4
k1 v5
k1 v6
k3 v7
k1 v1 v3 v5 v6
k2 v2
k3 v4 v7
Mezcla
y
ordena

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Paso 3 - Reducer
Para cada clave2, toma la lista de valores
asociada y los combina en uno solo
Tipo: (clave2, [valor2]) → (clave2,valor2)
k1 v1 v3 v5 v6
k2 v2
k3 v4 v7 reducer
reducer
reducer vf1
vf2
vf3
k1
k2
k3

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
MapReduce - Esquema general
c1 vi1
c1 vi1
c1 vi1 mapper
reducer
reducer
reducer vf1
vf2
vf3
k1
k2
k3
mapper
mapper
k1 v1
k2 v2
k1 v3
k3 v4
k1 v5
k1 v6
k3 v7
k1 v1 v3 v5 v6
k2 v2
k3 v4 v7
Mezcla
y
ordena
MapReduce

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
MapReduce - Cuenta palabras
d1 a b
d2 a c a
d3 a c
4
1
2
a
b
c
a 1
b 1
a 1
c 1
a 1
a 1
c 1
mapper
mapper
mapper
reducer
reducer
reducer
a 1 1 1 1
b 1
c 1 1
Mezcla
y
ordena
MapReduce
// devuelve cada palabra con un 1
mapper(d,ps) {
for each p in ps:
emit (p, 1)
}
// suma la lista de números de cada palabra
reducer(p,ns) {
sum = 0
for each n in ns { sum += n; }
emit (p, sum)
}

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
MapReduce - Entorno ejecución
El entorno de ejecución se encarga de
Planificación: Cada trabajo (job) se divide en tareas
(tasks)
Co-localización de datos/código
Cada nodo computacional contiene sus datos de forma
local (no existe un sistema central)
Sincronización:
Tareas reduce deben esperar final de fase map
Gestión de errores y fallos
Alta tolerancia a fallos de los nodos computacionales

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
MapReduce - Sistema de ficheros
Google desarrolló sistema distribuido GFS
Hadoop creó HDFS
Ficheros se dividen en bloques (chunks)
2 tipos de nodos:
Namenode (maestro), datanodes (servidores datos)
Datanodes almacenan diferentes bloques
Replicación de bloques
Namenode contiene metadatos
En qué nodo está cada trozo
Comunicación directa entre clientes y datanodes

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
MapReduce - Sistema de ficheros
Namenode
fichero1: (B1 – N1 N2, B2 – N1 N2 N3)
fichero2: (B3 – N2 N3, B4 – N1 N2)
fichero3: (B5 – N1 N3)
B1 B1
B4
B4
B5
B5
B3 B3
Cliente1
Cliente2
N1 N2 N3
Datanodes
Slaves
B2
B2 B2
Master

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
MapReduce
Ventajas
Computaciones
distribuidas
Troceado de datos de
entrada
Replicated repository
Tolerancia a fallos de
nodos
Hardware/software
heterogéneo
Procesamiento grandes
cantidades de datos
Write-once. Read-many
Problemas
Dependencia Nodo Maestro
No interactividad
Conversión datos
Adaptar datos de entrada
Convertir datos obtenidos

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
MapReduce: Aplicaciones
Múltiples aplicaciones:
Google en 2007, 20petabytes al día, en una media
de 100mil trabajos mapreduce/día
El algoritmo PageRank puede implementarse
mediante MapReduce
Casos de éxito:
Traducción automática, Similaridad entre ítems,
ordenamiento (Hadoop ordena 500GB/59sg (véase:
sortbenchmark.org)
Otras compañías: last.fm, facebook, Yahoo!, twitter,
etc.

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
MapReduce: Implementaciones
Google (interna)
Hadoop (open source)
CloudMapReduce (basado en servicios de
Amazon)
Aster Data (SQL)
Greenplum (SQL)
Disco (Python/Erlang)
Holumbus (Haskell)
…

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
MapReduce: Librerías/lenguajes
Hive (Hadoop): lenguaje de consulta inspirado en
SQL
Pig (Hadoop): lenguaje específico para definir
flujos de datos
Cascading: API para especificar flujos de datos
distribuidos
Flume Java (Google)
Dryad (Microsoft)

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Arquitectura lambda
Afrontar análisis de Big data en tiempo real
Propuesta por Nathan Marz (2011)
3 capas
Batch layer: pre-computa todos los datos (mapReduce)
Genera vistas agregadas parciales
Re-calcula todos los datos cada cierto tiempo
Speed layer : Tiempo real, ventana de datos
Genera vistas en tiempo real rápidas
Serving layer: gestiona consultas
Mezcla las vistas diferentes
λ

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Arquitectura lambda
Combina procesamiento Batch con procesamiento en tiempo real
Stream
con nuevos
datos
Datos
completos
HDFS
Vistas pre-computadas
(MapReduce)
Vistas
de incremento
Recomputación
Batch
Batch layer
Stream
de proceso Incremento
en tiempo real
Speed layer
Serving layer
Agregado
parcial 1
Agregado
parcial N
...
Vistas en tiempo real
Append only
Pequeñas ventanas
de datos
Consultas
mezcla
Agregado
parcial 2
λ

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Arquitectura Lambda
Restricciones
Todos los datos se almacenan en la batch layer
La batch layer precomputa las vistas
Los resultados de la speed layer podrían no ser
exactos
La Serving layer combina vistas pre-computadas
Las vistas pueden ser simples bases de datos para
consultas
λ

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Arquitectura Lambda
Ventajas
Escalabilidad (Big data)
Tiempo real
Desacoplamiento
Tolerancia a fallos
Mantiene todos los datos
de entrada
Se pueden reprocesar
Problemas
Complejidad inherente
Las vistas podrían no ser
exactas
Se podrían perder eventos
λ

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Arquitectura Lambda
Aplicaciones
Muchas compañías para analítica de datos
Spotify, Alibaba,…
Librerías
Apache Storm
Proyecto Netflix Suro
λ

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Arquitectura Kappa
Propuesta por Jay Krepps (Apache Kafka, 2013)
Afrontar Big data & Tiempo real mediante logs
Simplificar arquitectura Lambda
Suprime la batch layer
Se basa en un log ordenado distribuido
Clúster replicado
El log puede ser muy grande
κ

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Fuente
datos 1
Fuente
datos 2
Arquitectura Kappa
Diagrama
Fuente
datos N
Sistema
Procesamiento
Stream
App
consultas
Log inmutable
Sólo Append
Base
datos
Servicio
. . .
Streaming layer Serving layer
κ

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Arquitectura Kappa
Restricciones
El log de eventos es append-only
Los eventos en el log son inmutables
El procesamiento de Streams puede necesitar los
eventos en cualquier posición
Para gestionar fallos ó hacer recomputaciones
κ

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Arquitectura Kappa
Ventajas
Escalable (big data)
Tiempo real
Más simple
No hay batch layer
Retos
Requisitos de espacio
Duplicación de log y BD
Compactar el log
Orden de los eventos
Procesamiento de eventos
At least once
At most once (it may be lost)
Exactly once
κ

Escuela
de
Ingeniería
Informática
Universidad
de
Oviedo
Arquitectura Kappa
Applicaciones
LinkedIn, Uber, Netflix, VMWare, …
Librerías
Apache Kafka
Apache Samza
Spark Streaming
κ

ES.ASW.Te11_DistribuidosBigData.pdf

Más contenido relacionado

Similar a ES.ASW.Te11_DistribuidosBigData.pdf (20)

Más de DavidVeraOlivera (12)

Último (10)

ES.ASW.Te11_DistribuidosBigData.pdf