Bigdata
0 gostou2,278 visualizações
Este documento discute como o Java EE 6 e o Java 7 podem ser aplicados para lidar com grandes volumes de dados, ou Big Data. Ele explica brevemente o que é Big Data e como as empresas estão lidando com isso. Também descreve recursos do Java EE 6 e Java 7 como injeção de dependência, NIO2 e melhorias de desempenho que podem ser úteis para processar grandes quantidades de dados. Finalmente, discute várias tecnologias como SQL, NoSQL, cache e grids de dados que podem ser usadas com Java para armazenar e processar Big
Bigdata
- 1. #Aplicando BigData ao Java EE 6 Otávio Santana @otaviojava http://www.java.net/blogs/otaviojava/ http://otaviosantana.blogspot.com.br/
- 2. Comunidades • @javabahia • @soujava • @java •
- 3. Big Data com java EE 6 • O que é BigData ? • BigData nas Empresas • Novidades no JavaEE6 • Novidades com o Java 7 • SQL • NOSQL • NewSQL • Cache • DataGrid • Dicas
- 4. Big Data ? Conceito ? Volumes Grandes ? Volume Velocidade
- 5. Evolução da informática •Muitas Pessoas para uma máquina •Uma pessoa para uma máquina •Uma pessoa para muitas máquinas
- 6. Os dados crescem, mas o tempo de resposta não •1000 funcionários 200 terabytes •60% ao ano •Mais dispositivos •Dados vão crescer 50 vezes até 2020
- 7. Big Data: O Desafio •Respostas rápidas •Mineração em tempo real •Escalável •Velocidade de Desenvolvimento •Velocidade de modelagem
- 8. (
- 9. Big Data •Escalabilidade •Horizontal vs Vertical
- 10. )
- 11. Java EE 6 Servlets 3.0 Java Server Faces 2.0, EJB 3.1(com EJB Lite) 25% menos Classe JPA 2.0 (agora com 50% menos linhas de código Criteria API) 80% menos XML JAX-RS Beans Validation Simplicidade e Produtividade Dependency Injection
- 12. Java EE 6 Injeção de dependência Produção de Objetos Definir escopo Qualificadores Interceptadores
- 13. Java EE 6 SOA “Escalável” Comunicação mais simples Possibilidade de usar JSON Super simples Fazer o Servidor e o Cliente
- 14. Java 7 Simples 1)multi-try 2)Try-resource 3)Diamante 4)Gerenciamento de Recursos Rápido Automático 1)Refatorações 2)Placa de Vídeo Produtivo 3)Invoke dynamic 1)NIO2 2)Pacote de concorrência
- 15. Java 7 BIG Data 1)JEP 141: Aumento do valor de memória da JVM 2)JEP 149: Redução do uso de memória Core 3)JEP 144: Reduz a latência de Grandes Memória ( 32GB até 60%)
- 16. Java 7 Open Source 1)OpenJDK a referência
- 17. SQL •Tipo de Banco mais adotado •O mais maduro •Padrões •Pouco impacto nas mudanças • •Normalização surgiu na década de 80 •Hardware diferentes e problemas diferentes •Preço armazenamento •16 KB de RAM •800 KB Armazenamento
- 19. NOSQL Arquitetura •Redis •Amazon Dynamo •Tokyo Tyrant •Scalaris •MemcacheDb •Voldemort •Amazon SimpleDb •CouchDb (thru Lounge) •Riak •MongoDb (in alpha) •BigTable •Cassandra •HyperTable •HBase
- 20. NOSQL Armazenamento •Scalaris •CouchDb •Redis •MongoDb •Riak •Voldemort •BigTable •Cassandra •Hbase •HyperTable
- 21. NOSQL Modelo •Cassandra •Amazon SimpleDb •Google BigTable •Apache Couchdb •HBase •MongoDb •Hyperbase •Riak •Amazon Dynamo •Amazon S3 •Neo4j •Redis •InfoGrid •Scalaris •Sones •Voldemort •HyperGraphDB
- 22. Indexador •Buscas mais rápidas •Soluciona Problema NOSQL •Buscas Eficientes
- 23. NOSQL
- 24. NewSQL •Pega o melhor de dois mundos •Versão Híbrida •SQL 2.0
- 25. Cache •Acesso rápido •Já processados •2 problemas
- 26. Cache •Esquentar •Matar o cache •Dados sempre frescos
- 27. Data Grid •Processos Paralelos •Load Balancing •Map Reduce
- 28. Escolha seu time •Use o melhor de vários mundos •Escolha seu time de frameworks •Não existe bala de prata • •
- 29. Dicas •Conheça bem o seu negócio •Conceito é fácil vs Aplicar é difícil •Domine as sopas de letrinhas •Conheça várias ferramentas •Evite emulações •Explore todo o potencial do JavaEE •
- 30. Cloud •Paga pelo que usar •Elasticidade Simples • Recurso infinito •Sem se preocupar com infra
- 31. Html 5 •Banco de Dados (50 MB) •Cache (5MB/ página) •Worker (javascript em thread) •Recurso do Cliente •
- 32. DEMO
- 33. Escrita
- 34. Leitura
- 35. JAVA EE 6 Explorar o uso do Weld Gerenciamento do escopo do objeto Evite um grande número de Camadas (Delay Layer) Decorator e intecptor Cuidado com os Singletons Faça o Clean •