Hadoop程式開發環境
Download as PPTX, PDF0 likes1,202 views
本文档介绍了Hadoop开发环境的设置，包括使用Maven和Eclipse进行Java项目开发的步骤。详细阐述了在Windows和Linux上安装Maven、配置环境变量以及如何开发一个简单的MapReduce应用程序。最后，文档提供了具体的代码示例和文件操作指南。
![(4)建立三個java檔，作為基本的架構
[主程式、Mapper、Reducer]
程式碼在附件中
(5)利用Maven編譯打包，開啟cmd.exe
，在cmd中，cd至專案的位置後，輸入
$mvn clean install](https://image.slidesharecdn.com/hadoop-140721222258-phpapp02/85/Hadoop-11-320.jpg)
Hadoop程式開發環境
- 3. 版本 Hadoop 2.4.0 m2eclipse (with JDK7) Apache Maven 3.2.2
- 5. 安裝maven(續) (ubuntu) 在其中加入 應用變量 $vim ~/.bashrc # export M2_HOME=/usr/local/maven # export PATH=$M2_HOME/bin:$PATH $source ~/.bashrc
- 7. 安裝 m2eclipse Eclipse中 - 在add裡加入m2eclipse Location: http://download.eclipse.org/technology/m2e/releases 點擊下一步進行安裝即可 Install New Software Help
- 8. 開發MapReduce簡易流程 這邊做一個簡易的WordCount程式 (1)在環境安置好後 建立 Maven Project 1. 3. 2. 4.
- 10. (3)修改pom.xml 這邊主要的目的是利用Maven插件的功 能，去抓對應版本，我們會使用到的 jar檔，run的時候，選擇maven install 即可 完整程式碼請見附件 抓取的jar
- 13. (5)以FTP傳輸整個專案至hadoop的運作 環境中 (6)在linux環境創立兩個文件 file1.txt 、 file2.txt 在裡面打入任意的內容 例如: 在Hadoop新增目錄/data 將兩個文件上傳至Hadoop $hadoop fs -mkdir /data $hadoop fs -put -f ./file1.txt ./file2.txt /data
- 14. (7)執行我們上傳的jar檔 $hadoop jar SimpleMapReduce/target/MapReduce-0.0.1- SNAPSHOT.jar easytest.hadoop.SimpleMapReduce.WordCount /data /op
- 15. (8)觀看運作結果 我們簡單的範例就運行完成了，可以此 當作開發的範本 $hadoop fs -cat /op/part-r-00000