Apresentando CEP - TDC2011 / Trilha SOA
- 1. Apresentando CEP.Como funciona e trabalha os eventos complexo.@paulosampei
- 2. O que é um Evento?O que é Complex Event Processing (CEP)?Princípios do CEP: baseados em sistemasPrincípios do CEP: dentro do contextoMonitorar, Analisar e Atuar com CEPCEP – Para todosEventosPorque CEP é importante, dentro do contexto SOAAdoção do CEPOnde CEP é usado?Plataformas CEP no mercadoO que é APAMA CEP?Como o APAMA trabalha?Sobre APAMA CorrelatorExemploRegra: Click Stream do TDC2011Princípios da plataforma CEP APAMAArquitetura APAMA em alto nívelQuemestáenvolvidoemprojeto APAMA?AGENDA
- 3. Evento é um pedaço de dado querepresenta um acontecimento.Exemplo de eventoinclui:Eventos de mercadofinanceiro:“Comprar 10,000 ações da IBM por R$80,45”Eventos de Supply chain:“RFID tag 121.19.1818 foiescaneado as1:39PM no dock door 10”Eventos de segurança:“Endereço TCP/IP 128.1.32.298 foiacessado no servidor 5”O que é um EVENTO?
- 4. Não é Código de Endereçamento PostalCEP (Complex Event Processing)Processamento de eventos complexos (CEP) é a capacidade de gerenciar eventos, a fim de identificar e tomar medidas a partir de padrões definidos, indicando oportunidades e/ou ameaças para o negócio, onde temos uma percepção de situações, sentir e responder sempre controlando e rastreando. CEP permite que se aplique em real-time inteligência para um streaming data, exemplo:Sequência de eventos (A seguido por B, então C) com condicional (o valor de A é >100)ou restrições temporais (dentro 5 minutos)O que é Complex Event Processing (CEP)?X
- 5. AlgoTrading
- 8. RFID
- 10. Linha de montagemAplicaçõesEvent DrivenPesquisa de mercado
- 11. Alvo de Marketing Click stream
- 12. FraudeCartãoCréditoSensibilidade e RespostanasAplicaçõesBAM emTempo-RealDetecta padrões complexos de um stream de eventos em tempo-real, onde os dados pode ter uma janela de tempo, maximizando seu valorAtuar sobre ameaças ou oportunidade com capacidade de respostas em tempo-realPraque é usado?O que é Complex Event Processing (CEP)?
- 13. Princípios do CEP- baseadoemSistemasTratarqualqueratualização do negóciocomo um “evento”Permitirqueusuáriosrapidamentedefinamregrasbaseadasemeventosparaidentificarpadrõesindicandooportunidades e tratamentopara o negócioRegrassãocarregadasemreal-time enginequeofereceanálise e resposta com baixalatênciaA engine é permanentementeconectadaemváriasfontes de eventose destinosEventos podem ser capturado e guardadoem ordem para análise de padrões históricos e análise da causa raiz.
- 14. Princípios do CEP – dentro do ContextoDetecção de fraudeemcartões de créditoTratarqualquertransação de cartão de créditoatualizadocomoum“evento”Permitirqueusuáriosrapidamentedefinamalgorítmosquantitativoparaidentificarum usoanormalRegrassãocarregadasdentro de um sistema de detecçãoqueofereceanálise e resposta com latência de milesegundosO sistema de detecção é permanentementeconectadaemváriossistemas de processamento de transaçãoe histórico de banco de dadosEventos podem ser capturado e guardadoem ordem para análise de padrões históricos e análise da causa raiz.
- 15. Monitorar, Analisar e Atuar com CEPO queaconteceu(BI/Reporting)?ProcessamentoTradicional – Atuaem dados passados“Houvealgumatransação de cartãoqueteveumaatividadeincomum?”O queestáacontecendoagora (CEP)?Event StreamsTempo123456789Complex Event Processing – Atuaemmovimento“Quando 2 oumaistransaçõesocorreremmais de 1 lugarem um período de 1 minuto, enviar um alerta.”
- 16. CEP monitora, analisae atua em resposta de eventos que chegam de uma ou mais fontes simultaneamente, incluindo:Transações de negócios
- 18. Mudanças de estado de um processo de negócio
- 19. tais como as etapas de processamento de um pedido
- 20. Sensores em objetos físicos ou virtuais
- 21. taiscomo um monitoramento de estado de umamáquinaoulocalização de um caminhão. Alternativamente, o monitoramento de um jogo de computador ou de um fluxo de cliques.
- 23. Taiscomomercado de açoes (bolsas), novos feeds, dados meteorológicosCEP – Para todostipos de Eventos
- 24. 1 - SOA promove o uso de EDA (Event Driven Architecture) incentivando a mudança de informãções2 - Processos de negócios tendem a operar de forma orientada a eventos.3 - Por causa das mudanças causadas pelo EDA, tendo a capacidade de processar eventos de forma inteligente o tornando fundamental.Porque CEP é importante, dentro do contexto SOAEvent Driven Architecture (EDA): Padrão de arquitetura de software que promove a produção, detecção e consumo de uma reação para um EVENTO.SOA - Conecta a um serviço seguindo uma linha, sequência previsívelEDA - Permite multiplos, menos previsível, eventos assíncronos acontecendo em paralelo e disparando uma simples ação.
- 25. Deteção FraudeTransporte & LogisticaMonitoramento de Processos de ManufaturaTelcoMonitoramento Energy GridRiscos real-timePesquisa de mercadoNegociação de ativosRoteamento de pedido inteligenteAgregação de MercadoPreços real-timeAdoção do CEPAlgorithmic Trading (bolsa)
- 26. Onde CEP é usado?Supply Chain & Otimização das vendasInventário automatizado / abastecimento para operações de varejo. Onde está este livro agora?ManufaturaTodas as linhas da operação estão com máxima eficiência? Há um problema no percurso do carregamento em uma linha e vai ter um efeito adverso nos processos de entrega do carregamento? Posso absorver alterações de última hora na demanda?
- 27. Onde CEP é usado?LogísticaTelcoIdentificar sistemas de negócios de baixo desempenho para assegurar níveis de serviço e se podem ser atendidas e melhoradasOtimização do tráfego marítimo no porto para obter maior eficiência das operações portuárias e reduzir os custos de combustível
- 28. Plataformas CEP no mercado (Forrester Wave Q3’09)
- 29. Umaplataformacompletaparaconstrução, em real-time de aplicações event-driven. Issoconsisteem:Uma engine de correlação de eventosem real-time com gereciamento e altadisponibilidade
- 31. Ambiente de desenvolvimentobaseadoem Eclipse: Apama Studio
- 32. Research StudioO que é Apama CEP?
- 33. Como o APAMA trabalha?MANAGE/MONITORInicia com um eventoEventsEventsEventsEventsAdapterESB
- 34. O correlator é um processo no qualexpõe um número de operaçõesremotasatravés de um transportebaseadoem socket A operaçãoprimáriainclui:Enviaeventospara o correlator (input)Subscreveeventos (outodos) noscanais de chamadas (output)InjetacódigoHáumafila de entrada e uma de saída:O que é o Correlator?Fila de saídaFila de entradaCódigoo1o2o3o5o4e5e3e2e1e4
- 35. O processo do correlatorocorrenaentrada do stream de eventoSeguindo as intruçõesescritas no MonitorScript (linguagem APAMA)A performance do correlator é extremamenteeficientecomparado a queriesUsandoumaestrutura de dados chamada de hypertreeA saída dos stream de eventos do correlatorpara o clientesDividi em uma série de canais com eficiênciaClientessomenteusaoscanaisqueprecisaremO correlatorentregaeventoscomplexos no quaissão:UsadosinternamenteProcessados no mesmocaminhocomo um eventoexternoTodos os processados antes do próximo evento externoComo o correlatortrabalha?
- 36. Uma aplicação tradicional baseada em aplicação: Indexa cada item de um dado quando recebidoRealiza uma nova consulta depois que cada item é indexado (ou executa a cada n segundos)Resultado de processosEste tipo de aplicação te um grande overhead “por evento”O correlação do evento no APAMA tira de sua cabeça essa ideiaO correlator indexa queries, não dadosCada evento é passado sobre as queriesMenos overhead “por evento” = Melhor performanceComo o correlatortrabalha?
- 37. IFProcura na WEB por informações do evento TDC2011 aumentar em 5%FOLLOWED-BY( Disponibilidade pela procura da trilha SOAAND(Aumento do número de cadastros no TDCORA taxa de procura ser concluída ))! ALL WITHINno período de 60 minClick StreamDisponibilidadeTrilha! ! DB Histórico! Click StreamCadastroClick StreamWeb SiteRegra de monitoramentoTHENBaixarpreçoevento (100 pessoas)Lançarumacampanhaparaa trilha SOA com descontotempo Data streams tempo-real
- 38. Sequência temporaldata streams em tempo-realSequência de CEExemploRegra: Click Stream TDC2011Restriçõesem tempo-real
- 39. AçãoautomáticaTratar qualquer sistema (aplicações, redes, integrações, ambiental) atualizado como um “evento”Habilitar regras baseadas em evento definidos para monitorar, analisar e atuar em um “event patterns”Regras identificam oportunidades ou ameaças que podem ser definidos rapidamente usando uma ferramenta gráfica de modelagemRegras são carregadas dentro da engine em tempo-real que oferece uma análise e resposta em microsegundos de latênciaEngine permanetemente conectada em multiplas redes (backbones) e serviçosEventos podem ser capturados e guardados em tempo de pedido para uma análise e causa raiz históricaPrincípios da plataforma CEP APAMA
- 40. End-userDashboardsScenarioDefinition ToolsUser ToolsDashboard StudioEventProcessingEngineEventAnalysis &StorageHistoricalEvent StoreAPIC/C++JAVA.NETAdapter FrameworkEnterpriseIntegrationetc.DBMSMiddlewareCamadaapresentaçãoDando aos usuários visibilidade de cenários e KPIs, permite ajustes de parametros e drill-downProcessando e analisando a camada engineDados de eventos são analisados e correlacionados. Event store dá acesso históricos de informação. Alta performance e escalável`Coleção de eventosEventos podem estar disponíveis em multiplos stream em tempo-real como databases e outras informações de sistemasArquitetura APAMA em alto nível
- 41. Quemestáenvolvidoemprojeto APAMA?Trazendo TI, Analista de negócio e usuário de negóciosjuntosUsuário final do dashboardsQualparâmetroalterarouconfigurarMonitorarexecuções e receberalertasIntervirmanualmenteMonitoraraçõesautomatizadasFornecerprobabilidade de R$ projetoLinhaNegócioAnalistaNegócioTraduzosrequisitospara o negócioDefini e desenhaosdashboardsDefini e testa as regras de negóciosUsa e definianálise de negóciosadequadoEntende dos processosexistentesUsuáriochaveResponsávelpelaintegração de ferramentasdentro de um ambienteIrátrabalhar com o analista de negócioemsuporte a aplicações de negóciosImplementaçãoImplementação das análisesResponsávelporproblemasoperacionaisTécnicoArquitetos eDesenvolvedores
- 42. Monitor Script: EPL paraDesenvolvedores* Also available in JavaeventTruckUpdate {string truckid;string region; location gps;float speed;}monitorStoppedTruck {TruckUpdate t;actiononload {on allTruckUpdate(speed <= 0):t->TruckUpdate (truckid=t.truckid, speed <= 0)within(600.0) {emitStoppedTruck(truckid, “Mova-se!”); } }}
- 43. Resumo da Suite
- 45. Dúvidas??
- 46. Querem saber mais sobre CEP?Event Processing in Actionby OpherEtzion & Peter NiblettThe Power of Events: An Introduction to Complex Event Processing in Distributed Enterprise Systems (Hardcover)By: David Luckham (Author)