Data pipeline and data lake
Download as PPTX, PDF29 likes3,913 views
Data Pipeline Data Lake
![추천 - Data Pipeline 의 예
● Log 내용
○ 66.249.65.159 - - [06/Nov/2014:19:10:38 +0600] "GET /news/53f8d72920ba2744fe873ebc.html
HTTP/1.1" 404 177 "-" "Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X)
AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25
(compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
○ 66.249.65.3 - - [06/Nov/2014:19:11:24 +0600] "GET
/?q=%E0%A6%AB%E0%A6%BE%E0%A7%9F%E0%A6%BE%E0%A6%B0 HTTP/1.1" 200 4223 "-" "Mozilla/5.0
(compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
○ 66.249.65.62 - - [06/Nov/2014:19:12:14 +0600] "GET /?q=%E0%A6%A6%E0%A7%8B%E0%A7%9F%E0%A6%BE
HTTP/1.1" 200 4356 "-" "Mozilla/5.0 (compatible; Googlebot/2.1;
+http://www.google.com/bot.html)"](https://image.slidesharecdn.com/datapipelineanddatalake-180817065123/85/Data-pipeline-and-data-lake-9-320.jpg)
Data pipeline and data lake
- 1. Data Engineering Data Pipeline Data Lake 강대명(charsyam@naver.com)
- 2. What is Data Engineering ● Data Engineer ○ 다른 사람들이 데이터를 사용하기 쉽도록 저장/수집하고 ETL 작업 등을 처리하는 직군, 로그 수집, 로그 정제 ● Data Scientist ○ 데이터를 이용하여, 분석을 하거나, 추천등의 로직을 작성하는 직군 . ● Data Engineering ○ Data Scientist 들이 관련 작업을 쉽게 할 수 있도록 데이터를 수집/ 정제하는 일련의 작업들
- 3. What is Data Pipeline? ● 우리는 단순히 몇가지 통계를 뽑지 않습니다. ○ UV, PV 등이면 충분해요. ○ 이러면 Data Pipeline 은 필요 없습니다. ● 또는 모든 데이터를 그냥 Raw Data에서 뽑아내요라고 하신다면 특별히 관리할 필요가 없습니다. ● 단순한 데이터 추출이 아니라, 여러 데이터들이 연관관계를 가지거나, 중간 중간 변환되어 추출되어야 하는 경우.
- 4. Pipeline 사전적 의미 : 배관
- 5. Data Pipeline ● 데이터 배관 ● 각각의 파이프는 자신만의 결과물을 가진다.
- 7. Data Pipeline 쉽게 말하면 ETL(extract -> transform -> load) 작업의 연 속
- 8. 추천 - Data Pipeline 의 예 우리는 얼굴 책이라는 SNS 서비스를 운영하고 있습니다. 그런데 사용자들의 좋아하는 성향에 따른 글들을 추천하 고 싶어요.
- 9. 추천 - Data Pipeline 의 예 ● Log 내용 ○ 66.249.65.159 - - [06/Nov/2014:19:10:38 +0600] "GET /news/53f8d72920ba2744fe873ebc.html HTTP/1.1" 404 177 "-" "Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" ○ 66.249.65.3 - - [06/Nov/2014:19:11:24 +0600] "GET /?q=%E0%A6%AB%E0%A6%BE%E0%A7%9F%E0%A6%BE%E0%A6%B0 HTTP/1.1" 200 4223 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" ○ 66.249.65.62 - - [06/Nov/2014:19:12:14 +0600] "GET /?q=%E0%A6%A6%E0%A7%8B%E0%A7%9F%E0%A6%BE HTTP/1.1" 200 4356 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
- 11. Log 수집 #2 web001 web002 web003 web004 redis Buffer 를 이용한 쓰기 효 율화(Write-Back) Mysql or Mongodb
- 12. Log 수집 #3 web001 web002 web003 web004 Collector hdfs or s3 scp syslogd or logstash 통계작업 By Spark, Hive, Presto, MR
- 13. 추천 - Data Pipeline 의 예 정의(Justice Definition)가 중요하다! 사용자의 성향은 사용자가 올리는 글의 내용, 사진의 종류 에 따라서 결정된다.(가정 -> 이 것은 실험을 통해서 증명 하세요.)
- 14. 추천 - Data Pipeline 의 예 ● 사용자의 취향을 (인물, 자연, 음식등으로 구분한다.) ○ 업로드한 텍스트로 취향을 분석 ○ 업로드한 사진으로 취향을 분석
- 15. 추천 - Data Pipeline 의 예 ● 추천한 글에 대한 반응을 업데이트 한다. ○ 추천한 글을 삭제하는가? ○ 추천한 글에 좋아요를 하는가?
- 16. 추천 - 파이프 1 ● 사용자가 어떤 작업을 했는지 모은다.(사용자마다) ○ 아기사진 글에 댓글 3회, 자연 글에 2회 좋아요. ○ 아기사진 업로드 2회, ● 모은 내용으로 어떤 점수와 성향을 만든다. Calculate Users Characters Log Aggreation Make Scores
- 17. 추천 - 파이프 2 ● 사용자의 추천된 글에 대한 반응을 분석한다. ○ 사용자에게 추천된 글중에서 반응이 좋은 글에 대 한 분석 ○ 사용자에게 추천된 글중에서 반응이 나쁜 글에 대 한 분석Analysis Users Feedbacks Analysis User Good/Bad FeedBacks
- 18. 추천 - 파이프 3 ● 새로 작성된 글이나 상품에 대한 정보를 평가한다. ○ 어느 성향의 유저들에게 인기가 좋았는지 또는 안 좋았는지 Analysis Item Character Analysis Items character
- 19. 추천 - 파이프 4 ● 유저에게 새로운 글이나 상품을 추천한다. Recommand Item Calculate item score for each users Get Top N
- 20. 파이프 관계도 Calculate Users Characters Analysis Users Feedbacks Analysis Item Character Recommand Item
- 21. Data Pipeline ● 뭔가 필요한 데이터들을 단계별로 만들고, 이용하기 위해서 만들어진 작업들을 관리하는 것. ● 머신 러닝등을 위해서 이런 작업들을 하는 걸 머신러 닝 파이프라인이라고 하기도 합니다.
- 22. 이게 하나의 파이프!!!
- 23. 이런게 수십개가 생깁니다.
- 24. Data Pipeline 의 관리 포인트 ● 파이프라인에서 에러가 발생하면? ○ 누가 재시작해야 할까요? ● 매일 실행되거나, 특정시간에 돌아야 하는것들이면? ● 그래서 데이터 워크플로우 관리툴을 씁니다. ● 작업 마다 필요한 컴퓨팅 파워(메모리/CPU)가 다르다 .
- 25. 데이터 워크플로우 관리툴 ● Pinball, Airflow, Luigi ○ 여기서는 각각의 특징이나 장단점을 비교하지 않 습니다. ■ 저도 모르기 때문이지요. ○ 특정 시간, 실패했을 때, 재 반복등을 대신해줍니다 .
- 26. Data Pipeline 의 관리의 어려움 ● 파이프라인이 계속 재시작 되어야 하면 전체 처리용 량이 부족할 수 있습니다. ● 재시작이 코드의 버그를 수정해 주지는 않습니다. ○ 내가 만든 코드가 아닌데, 개수가 10개를 넘어야 한다고 했는데 9개면... 이게 정상일까 실패일까?
- 27. Batch Data Pipeline, Realtime Data Pipeline ● Batch Data Pipeline 은 하루나 몇시간 단위의 데이터 단위로 처리 ● Realtime Data Pipeline 은 짧은 시간 단위로 처리되 는 작업들을 의미한다.
- 28. Realtime Data Pipeline web001 web002 web003 web004 kafka syslogd or logstash 통계작업 Spark Streaming
- 31. Data Lake ● 번역 : 호수 ○ 내 마음은 호수요. 그대 노 저어 오오!(내마음/김동 명)
- 32. Data 관리의 어려움 “엉망인 소스 데이터를 유용한 것으로 바꾸는 데 드는 시간이 데이터를 분석하는 나머지 시간을 합한 것보다 많다.” - Pete Warden, Google Data Engineer
- 33. 너무 많은 Data Source ● 파일, RDBMS, HDFS, S3 등등등, 여러 Data Source 에 데이터들이 저장되어 있어서 어디에 원하 는 데이터가 있는지 알기 어려움. ● Source of Truth, RDBMS 와 HDFS에 두군데에 데 이터가 있다면 어느 것이 원본인가?
- 34. Data Lake ● 여러 데이터 소스를 하나로 관리
- 35. Data Warehouse VS Data Lake Data Warehouse vs Data Lake structured, processed DATA structured semi-structured unstructured, raw schema-on-write PROCESSING schema-on-read expensive for large data volumes STORAGE designed for low cost storage less-agile, fixed configuration AGILITY highly agile, configure and reconfigure as needed mature SECURITY maturing business professionals USERS data scientists et.al
- 36. Schema on Read, Schema on Write
- 37. Data Lake 에서 고민할 점 #1 ● 여러 곳에 흩어져 있는 데이터를 모아서 한 곳에 처 리할 수 있도록 한다. ● 계속 계속 생성되는 새로운 테이블이나 데이터, 테이 블의 변경은 어떻게 관리할 수 있을까? ○ AWS Glue 서비스의 데이터 크롤링은 이런 변경 을 자동으로 찾아서 관리해주는 서비스
- 38. Data Lake 에서 고민할 점 #2 ● 쓰레기 데이터들이 계속해서 쌓일 수 있다.
- 39. Thank you!