Hadoop unit
Télécharger en tant que PPTX, PDF1 j'aime780 vues
Le document présente 'Hadoop Unit', un outil conçu pour faciliter le développement et les tests dans l'écosystème Hadoop, en supportant divers composants comme HDFS, Zookeeper et Kafka. Il peut fonctionner sous Linux, Mac et Windows, et propose deux modes d'exécution : embedded et standalone. L'auteur, Khanh Tuong Maudoux, est un développeur indépendant spécialisé en Java et Big Data.
Hadoop unit
- 1. Hadoop Unit par Khanh Tuong MAUDOUX @jetoile 118/08/2016
- 2. Hadoop Unit Qui je suis… • Khanh Tuong Maudoux • Développeur Java, JavaEE, BigData indépendant • blog : blog.jetoile.fr • @jetoile • khanh.maudoux@jetoile.fr 218/08/2016
- 4. Hadoop Unit Contexte • Big Data : écosystème composé éventuellement d’Hadoop mais pas que… • Hadoop = HDFS + YARN? 18/08/2016 4
- 5. Hadoop Unit Les « officiels » 18/08/2016 5
- 7. Hadoop Unit Et les « non officiels »… 18/08/2016 7
- 9. Hadoop Unit Et nous…? • Comment qu’on fait??? – en mode de développement? – pour tester? – … 18/08/2016 9
- 10. Hadoop Unit Et nous…? • Mais… – quand on est sous windows? – quand on travaille dans une « grosse société » avec des process lourd et que l’on n’est pas admin? 18/08/2016 10
- 12. Hadoop Unit Hadoop Unit • S’appuie sur Hadoop Mini Cluster (https://github.com/sakserv/hadoop-mini-clusters) • Supporte : – Hdfs – Zookeeper – Hivemetastore – Hiverserver2 – Solr 6.1.0 – SolrCloud 6.1.0 – Oozie – Kafka 0.10.0 – HBase – MongoDB – Cassandra 3.4 – Elasticsearch 5.0.0-alpha4 18/08/2016 12
- 13. Hadoop Unit Hadoop Unit • Compatible avec les REPL : – HDFS – Kafka – HBase Shell – Hive Shell • Fonctionne sous Linux/Mac/Windows 18/08/2016 13
- 14. Hadoop Unit Hadoop Unit • Démarre dans une même JVM les composants nécessaires – En mode embedded (setup de test) – En mode standalone (en tache de fond) 18/08/2016 14
- 15. Hadoop Unit Hadoop Unit • En mode embedded : 18/08/2016 15
- 16. Hadoop Unit Hadoop Unit • En mode standalone : 18/08/2016 16
- 17. Hadoop Unit Hadoop Unit • Avec Maven en phase de pré-integration : 18/08/2016 17