![실무로 배우는 빅데이터 기술
확장하기 2편 – Sqoop Import 활용
[ 강의자료 ]
동 영 상: 유튜브 www.youtube.com
실습문서: 슬라이드쉐어 www.slideshare.net](https://image.slidesharecdn.com/02-180305050125/85/2-Application-Sqoop-Import-8-320.jpg)
2. Application - Sqoop Import
- 1. 빅데이터 ~ 머신(딥)러닝 실무로 배우는 빅데이터 기술 스쿱(Sqoop)-Import 활용 ☆ 확장하기 - 2편 ☆ 김강원
- 2. 스쿱-Import 는? Hadoop에서 RDBMS의 대용량 데이터셋을 Import 하는 기능 ※ Sqoop의 기본 개념과 기능들은 구글링을 통해 확인 하세요!
- 3. 파일럿 프로젝트 확장 (1/2)
- 4. 책 360 페이지 중에서… (개정판) 스쿱 – Import 활용 파일럿 프로젝트 확장 (2/2)
- 5. 확장편 실습 스쿱 – Import 활용
- 6. Server01 접속 DB Driver 복사 $ cp /opt/cloudera/parcels/CDH/jars/postgresql-9.0-801.jdbc4.jar /opt/cloudera/parcels/CDH/lib/sqoop/lib Step-1 PostgreSQL의 접속 계정/비번 확인 $ cat /var/lib/cloudera-scm-server-db/data/generated_password.txt Step-2 PostgreSQL 접속 $ psql -U cloudera-scm -p 7432 -h localhost -d postgres Step-3
- 7. Import 할 데이터 확인 postgres=# select * from smartcar_symptom_info; Step-4 PostgreSQL HDFS로 가져오기(Import) 실행 $ sqoop import --connect jdbc:postgresql://127.0.0.1:7432/postgres --username cloudera-scm -- password Cw1zSFSFy6 --target-dir /pilot-pjt/collect/sqoop/car-symptom --query "select * from smartcar_symptom_info where $CONDITIONS AND speed_p_symptom = '비정상'" --num- mappers 1 Step-5 Hue에서 데이터 확인 http://server02.hadoop.com:8888 Step-6
- 8. 실무로 배우는 빅데이터 기술 확장하기 2편 – Sqoop Import 활용 [ 강의자료 ] 동 영 상: 유튜브 www.youtube.com 실습문서: 슬라이드쉐어 www.slideshare.net