Hadoop Einführung @codecentric
1 gefällt mir1,257 aufrufe
Das Dokument gibt eine Einführung in das Hadoop-System und seine Anwendungen im Bereich Big Data, einschließlich der Herausforderung des Datenmanagements und der Skalierbarkeit. Es diskutiert verschiedene Datenbanktypen wie Key-Value- und dokumentenorientierte Datenbanken sowie die Komponenten von Hadoop, einschließlich HDFS und MapReduce. Die Herausforderungen und Vorteile von großen und kleinen Systemen werden ebenfalls angesprochen.
Hadoop Einführung @codecentric
- 3. Every 2 Days We Create As Much Information As We Did Up To 2003 Eric Schmidt
- 7. Einführung
- 8. Big Data 3V Volume Data in Rest Velocity Data in Motion Variety Data in Many Forms
- 9. Scale up vs. Scale out many “small” nodesBig single node system Advantages Problems • Transparent for database system • Management complexity constant • Expensive hardware • Limited scalability Advantages Problems • Less expensive hardware • High scalability • Load balancing necessary • Distributed lock and replication protocols • Increased management complexity • Data distribution necessary • Increased error rate
- 10. Key-Value-Datenbanken Dokumentenorientierte Datenbanken Spaltenorientierte Datenbanken Graph Datenbanken
- 11. Hadoop
- 13. COMPUTE, SEARCH ANALYTICS, MACHINEL. PERSIST MONITOR, ADMINISTER DESCRIBE, DEVELOP INGEST, PROPAGATE Mahout Drill OozieAmbari FlumeKafka Sqoop Pig HBase Hive HDFS MapR HCatalog Lucene Zookeeper Cassandra Spark
- 14. Name Node Secondary Name Node Data Node Data Node ….. Data Node Periodic check point Master Slave HDFS
- 15. Name Node Secondary Name Node Data Node Data Node ….. Data Node Name Node verwaltet Verzeichnisse, Dateien im HDFS und Blöcke in den Data Nodes Data Nodes enthalten die eigentlichen Dateien und sind zuständig die Auslieferung der Dateien für die Anfragen. Master Slave Second. NN überprüft periodisch den NN und logt die checkpoints um den NN bei Absturz neuzustarten. HDFS
- 16. Job Tracker Task Tracker Task Tracker ….. Task Tracker Master Slave Map Reduce
- 17. Job Tracker Task Tracker Task Tracker ….. Task Tracker Master Slave Job Tracker verwaltet die Jobs und Ressourcen im Cluster Task Tracker eigentliche Ausführung von MapReduce-Jobs zuständig. Map Reduce
- 19. Demo
- 20. Ausblick