SlideShare a Scribd company logo
빅데이터 ~ 머싞(딥)러닝
실무로 배우는 빅데이터 기술
 WebHDFS 활용
☆ 확장하기 – 9편 ☆
김강원
WebHDFS 는?
하둡 파일 시스템(HDFS)의 접근을 Web REST API 방식으로 지원
※ WebHDFS의 기본 개념과 기능들은 구글링을 통해 확인 하세요!
파일럿 프로젝트 확장 (1/2)
책 97 페이지 중에서… (개정판)
WebHDFS 활용
파일럿 프로젝트 확장 (2/2)
확장편 실습
WebHDFS 활용
 WebHDFS 설정 확인
CM Home > HDFS > 구성 > WebHDFS 설정 활성화 확인
URL: http://server01.hadoop.com:7180/cmf
Step-1
 Sample 파일 생성
Server02 접속
$ cd /home/pilot-pjt/test
$ vi sample_0.txt
Hello BigData!!!
Step-2
 HDFS에 파일 저장위한 Redirected URL 확인
$ curl -i -X PUT "http://server01.hadoop.com:50070/webhdfs/v1/pilot-
pjt/sample/sample_0.txt?op=CREATE"
Step-3
 HDFS에 파일 저장
$ curl -i -X PUT -T ./sample_0.txt “…. Redirected URL …"
Step-4
 저장한 파일 확인
Hue > 파일브라우져 > /pilot-pjt/sample/sample_0.txt
URL: http://server02.hadoop.com:8888
Step-5
 브라우져로 파일정보 및 파일 가져오기
크롬 브라우져
URL: http://server01.hadoop.com:50070/webhdfs/v1/pilot-pjt/sample?op=LISTSTATUS
URL: http://server01.hadoop.com:50070/webhdfs/v1/pilot-pjt/sample/sample_0.txt?op=OPEN
Step-6
실무로 배우는 빅데이터 기술
확장하기 9편 – WebHDFS 활용
[ 강의자료 ]
 동 영 상: 유튜브 www.youtube.com
 실습문서: 슬라이드쉐어 www.slideshare.net

More Related Content

PDF
7. Application - Hive Bucket
PDF
2. Application - Sqoop Import
PDF
6. Application - NiFi
PDF
1. Application - Pig
PDF
5. Install - NiFi
PDF
17. Application - Nutch + Solr
PDF
4. Application - Oozie Fork
PDF
16. Install - Nutch
7. Application - Hive Bucket
2. Application - Sqoop Import
6. Application - NiFi
1. Application - Pig
5. Install - NiFi
17. Application - Nutch + Solr
4. Application - Oozie Fork
16. Install - Nutch

What's hot (20)

PDF
18. Install - Spark Streaming Env.
PDF
19. Application - Spark Streaming 1
PPTX
구글Fin
PDF
[온라인교육시리즈] 네이버 클라우드 플랫폼 init script 활용법 소개(정낙수 클라우드 솔루션 아키텍트)
PDF
[온라인교육시리즈] Jupyter를 이용한 분석 환경 구축하기 - 허창현 클라우드 솔루션 아키텍트
PPTX
Bigquery와 airflow를 이용한 데이터 분석 시스템 구축 v1 나무기술(주) 최유석 20170912
PPSX
CUBRIDInside_5th_CUBRID_Migration Process_DHLee
KEY
Data URI Scheme
PDF
3. Install - Tensorflow
PDF
스타트업사례로 본 로그 데이터분석 : Tajo on AWS
PDF
Lablupconf keynote
PDF
네이버클라우드플랫폼 온라인 교육 시리즈 - 네이버클라우드플랫폼 Object Storage CLI를 이용한 DB백업 자동화(정낙수 클라우드 ...
PDF
Grafana Review
PDF
Custom DevOps Monitoring System in MelOn (with InfluxDB + Telegraf + Grafana)
PPTX
대규모 서비스를 지탱하는 기술 Ch 4
PDF
[Pgday.Seoul 2017] 1. PostGIS의 사례로 본 PostgreSQL 확장 - 장병진
PPTX
Collo -02 , kr
PPT
Google2
PPT
구글의 공룡화
PPTX
3회 서울 Hadoop 사용자 모임 / 아파치 피닉스
18. Install - Spark Streaming Env.
19. Application - Spark Streaming 1
구글Fin
[온라인교육시리즈] 네이버 클라우드 플랫폼 init script 활용법 소개(정낙수 클라우드 솔루션 아키텍트)
[온라인교육시리즈] Jupyter를 이용한 분석 환경 구축하기 - 허창현 클라우드 솔루션 아키텍트
Bigquery와 airflow를 이용한 데이터 분석 시스템 구축 v1 나무기술(주) 최유석 20170912
CUBRIDInside_5th_CUBRID_Migration Process_DHLee
Data URI Scheme
3. Install - Tensorflow
스타트업사례로 본 로그 데이터분석 : Tajo on AWS
Lablupconf keynote
네이버클라우드플랫폼 온라인 교육 시리즈 - 네이버클라우드플랫폼 Object Storage CLI를 이용한 DB백업 자동화(정낙수 클라우드 ...
Grafana Review
Custom DevOps Monitoring System in MelOn (with InfluxDB + Telegraf + Grafana)
대규모 서비스를 지탱하는 기술 Ch 4
[Pgday.Seoul 2017] 1. PostGIS의 사례로 본 PostgreSQL 확장 - 장병진
Collo -02 , kr
Google2
구글의 공룡화
3회 서울 Hadoop 사용자 모임 / 아파치 피닉스
Ad

Similar to 9. Application - WebHDFS (20)

PPTX
Cms All 091103
PPTX
Cms All 091104
PPT
Hadoop Overview 1
PDF
[Open Technet Summit 2014] 쓰기 쉬운 Hadoop 기반 빅데이터 플랫폼 아키텍처 및 활용 방안
PPTX
Web2.0mission
PPTX
공간정보아카데미 - Day1 오픈소스개발 일반
PPTX
Hadoop administration
PPTX
Cms All
PDF
Udamp3 django apache-my_sql_python3_ubuntu14.04-v11
PPTX
Big data application architecture 요약2
PPTX
[141] 오픈소스를 쓰려는 자, 리베이스의 무게를 견뎌라
PDF
JBoss EAP on Azure
PDF
RHive tutorial supplement 2: RHive 튜토리얼 부록 2 - Hive 설치
PDF
11. git basic
PDF
DevOps - CI/CD 알아보기
PPTX
기가박스 영화관 운영 시스템 구축마지막
PPTX
리눅스서버세팅-김태호
PDF
Apache hive
PDF
RHive tutorial supplement 1: RHive 튜토리얼 부록 1 - Hadoop 설치
PDF
Portfolio
Cms All 091103
Cms All 091104
Hadoop Overview 1
[Open Technet Summit 2014] 쓰기 쉬운 Hadoop 기반 빅데이터 플랫폼 아키텍처 및 활용 방안
Web2.0mission
공간정보아카데미 - Day1 오픈소스개발 일반
Hadoop administration
Cms All
Udamp3 django apache-my_sql_python3_ubuntu14.04-v11
Big data application architecture 요약2
[141] 오픈소스를 쓰려는 자, 리베이스의 무게를 견뎌라
JBoss EAP on Azure
RHive tutorial supplement 2: RHive 튜토리얼 부록 2 - Hive 설치
11. git basic
DevOps - CI/CD 알아보기
기가박스 영화관 운영 시스템 구축마지막
리눅스서버세팅-김태호
Apache hive
RHive tutorial supplement 1: RHive 튜토리얼 부록 1 - Hadoop 설치
Portfolio
Ad

More from merry7 (6)

PDF
15. Application - Solr Indexing & Searching
PDF
14. Install - Solr
PDF
12. Application - Python + Pandas
PDF
13. Application - Tensorflow Autoencoder
PDF
11. Application - Phoenix
PDF
10. Install - Phoenix
15. Application - Solr Indexing & Searching
14. Install - Solr
12. Application - Python + Pandas
13. Application - Tensorflow Autoencoder
11. Application - Phoenix
10. Install - Phoenix

9. Application - WebHDFS

  • 1. 빅데이터 ~ 머싞(딥)러닝 실무로 배우는 빅데이터 기술  WebHDFS 활용 ☆ 확장하기 – 9편 ☆ 김강원
  • 2. WebHDFS 는? 하둡 파일 시스템(HDFS)의 접근을 Web REST API 방식으로 지원 ※ WebHDFS의 기본 개념과 기능들은 구글링을 통해 확인 하세요!
  • 4. 책 97 페이지 중에서… (개정판) WebHDFS 활용 파일럿 프로젝트 확장 (2/2)
  • 6.  WebHDFS 설정 확인 CM Home > HDFS > 구성 > WebHDFS 설정 활성화 확인 URL: http://server01.hadoop.com:7180/cmf Step-1  Sample 파일 생성 Server02 접속 $ cd /home/pilot-pjt/test $ vi sample_0.txt Hello BigData!!! Step-2  HDFS에 파일 저장위한 Redirected URL 확인 $ curl -i -X PUT "http://server01.hadoop.com:50070/webhdfs/v1/pilot- pjt/sample/sample_0.txt?op=CREATE" Step-3
  • 7.  HDFS에 파일 저장 $ curl -i -X PUT -T ./sample_0.txt “…. Redirected URL …" Step-4  저장한 파일 확인 Hue > 파일브라우져 > /pilot-pjt/sample/sample_0.txt URL: http://server02.hadoop.com:8888 Step-5  브라우져로 파일정보 및 파일 가져오기 크롬 브라우져 URL: http://server01.hadoop.com:50070/webhdfs/v1/pilot-pjt/sample?op=LISTSTATUS URL: http://server01.hadoop.com:50070/webhdfs/v1/pilot-pjt/sample/sample_0.txt?op=OPEN Step-6
  • 8. 실무로 배우는 빅데이터 기술 확장하기 9편 – WebHDFS 활용 [ 강의자료 ]  동 영 상: 유튜브 www.youtube.com  실습문서: 슬라이드쉐어 www.slideshare.net