Event Aggregator

Event Aggregator Fábio Silva Luís Ferreira Tiago Sá Departamento de Informática Universidade do Minho

Agenda Introdução Objectivos Características AMQP Persistência de dados Arquitectura do sistema Eventos Estado actual Conclusão 08/15/10 Event Aggregator

Introdução Sistema de disseminação de eventos , escalável e fiável. Eventos simples , gerados por produtores, Eventos complexos , resultantes da agregação da informação original Caso de estudo: Transacções da bolsa de valores 08/15/10 Event Aggregator

Introdução - Objectivos Sistema distribuído que permita a disseminação, agregação e processamento de eventos de forma fiável e escalável. Calcular funções sobre séries temporais, e permitir especificar a geração e subscrição de eventos complexos, função da informação calculada . Possível armazenar informação histórica sobre eventos, num sistema de armazenamento de dados distribuído. Tolerância a faltas por replicação, distribuindo os dados por vários nós. 08/15/10 Event Aggregator

Introdução - Características Utilizar como sistema de messaging de base o AMQP. Utilizar uma key-value store distribuída para armazenamento persistente de informação. Disponibilizar funcionalidade de agregação e processamento de séries temporais (e.g. contar, soma, mínimo, máximo e médias móveis). Permitir subscrever eventos complexos, em função da informação calculada. 08/15/10 Event Aggregator

AMQP AMQP Advanced Message Queuing Protocol Protocolo aberto de messaging Especificações de infra-estrutura de messaging, para conectar aplicações Independente da plataforma Protocolo em desenvolvimento – versão 1.0 em progresso. 08/15/10 Event Aggregator

AMQP – Produtos AMQP Infrastructure – installable on the latest 3 versions of Fedora Linux OpenAMQ, by iMatix Qpid, by Apache Pouca documentação, implementação em Java não suporta broker federation RabbitMQ by Rabbit Technologies Boa documentação, comunidade activa Sistema completo, múltiplos bokers Red Hat Enterprise MRG, by Red Hat 08/15/10 Event Aggregator

Persistência de dados – Key-value store MongoDB, CouchDB e Cassandra; Nenhuma delas tem noção da localização dos dados; Não é bom para OLAP (On-line A nalytical Processing); Riak e Hadoop: Riak oferece funcionalidades de MapReduce ; A função de Map é executada no vnode(s) responsável pela chave; 08/15/10 Event Aggregator

Persistência de dados – Key-value store Estrutura 08/15/10 Event Aggregator <Bucket Name> <key> <value> <key> <value> ... <Bucket Name> <key> <value> <key> <value> ...

Arquitectura do Sistema 08/15/10 Event Aggregator

Arquitectura do Sistema Brokers do RabbitMQ a correr em modo cluster; Nodos da cloud do sistema são elementos da key-value store distibuída, Riak; Um conjunto de clientes do sistema para subscrever, desubscrever e processar eventos agregados; Cada cliente deverá conter uma fila única no RabbitMQ; Existe uma fila do sistema, que os broker escutam concurrentemente, para processar subscrições e fim de subscrições; Cada mensagem publicada é enviada para o cluster de RabbitMQ e guardada no Riak. 08/15/10 Event Aggregator

Organisação Broker RabbitMQ Broker RabbitMQ Exchange:Clientes Filas de clientes Fila do Sistema 08/15/10 Event Aggregator

Processo de Agregação de eventos Cliente subscreve um evento agregado; Um dos agregadores recebe o pedido; Verifica se o pedido já está a ser processado para algum cliente; Caso exista: junta a subscrição à sua fila de cliente; Caso não exista: cria um alarme no broker com a frequência do evento; Quando o alarme é acionado, verifica a lista de eventos que podem ser processados. Efectua a sua agregação, publicando os eventos no Riak e nos brokers do RabitMQ. 08/15/10 Event Aggregator

Modelo de dados XRaw "AAAA/MM/DD/clientIdCounter" : "Valor” XDailyMaximum "AAAA/MM/DD" : "MáximoDiário” XDailyMinimum "AAAA/MM/DD" : "MínimoDiário” XDailyAverage "AAAA/MM/DD" : "MédiaDiária” Xmonthly "AAAA/MM/Maximum" : "Valor" 08/15/10 Event Aggregator

Eventos Existem dois tipos de eventos - simples e agregados Eventos simples, são compostos por: nome da acção | data | tipo | modo | valor Evento agregado: calculado a partir de vários eventos simples tipos disponibilizados: máximo, mínimo , média, contar e somar Granularidade: dia Podem ser pedidos através de intervalos 08/15/10 Event Aggregator

Estado actual Subscrição simples Publicação e difusão simples Unsubscribe simples Protótipo de um cliente Prototipo de um agregador Cálculo de estatísticas na key-store 08/15/10 Event Aggregator

Conclusões e trabalho futuro Nesta fase inicial, foi direccionado o esforço para a recolha de requisitos e análise das ferramentas disponíveis. Quem atende o pedido inicial do cliente? Qual a identidade do serviço? Tolerância a faltas: No caso de um broker falhar, os restantes seguram as mensagens em cache até este acordar, ou descartam? 08/15/10 Event Aggregator

Event Aggregator

Mais conteúdo relacionado

Semelhante a Event Aggregator (13)

Último (8)

Event Aggregator

Notas do Editor