[KAIST 채용설명회] 데이터 엔지니어는 무슨 일을 하나요?
2 likes3,145 views
![[KAIST 채용설명회] 데이터 엔지니어는 무슨 일을 하나요?](https://image.slidesharecdn.com/temp-180502031907/85/KAIST-26-320.jpg)
![[KAIST 채용설명회] 데이터 엔지니어는 무슨 일을 하나요?](https://image.slidesharecdn.com/temp-180502031907/85/KAIST-29-320.jpg)
![[KAIST 채용설명회] 데이터 엔지니어는 무슨 일을 하나요?](https://image.slidesharecdn.com/temp-180502031907/85/KAIST-33-320.jpg)
![[KAIST 채용설명회] 데이터 엔지니어는 무슨 일을 하나요?](https://image.slidesharecdn.com/temp-180502031907/85/KAIST-42-320.jpg)
![[KAIST 채용설명회] 데이터 엔지니어는 무슨 일을 하나요?](https://image.slidesharecdn.com/temp-180502031907/85/KAIST-44-320.jpg)
![[KAIST 채용설명회] 데이터 엔지니어는 무슨 일을 하나요?](https://image.slidesharecdn.com/temp-180502031907/85/KAIST-46-320.jpg)
[KAIST 채용설명회] 데이터 엔지니어는 무슨 일을 하나요?
- 1. 채용 설명회 | DEVSISTERS 박주홍 데이터 엔지니어는 무슨 일을 하나요? J.Park@devsisters.com
- 2. 2007 KAIST 입학 2013 DEVSISTERS • Server Engineer • Data Engineer • KAIST 데이터 연구, CHI LBW 발표 • Data Science & Infrastructure 팀장
- 3. 2007 KAIST 입학 2013 DEVSISTERS • Server Engineer • Data Engineer • KAIST 데이터 연구, CHI LBW 발표 • Data Science & Infrastructure 팀장 입학 후에 강산이 한번 바뀌고 2016 KAIST 수리과학과 졸업
- 10. 그것보다 Real World 에서 느끼는 빅데이터란
- 11. Single Server
- 12. Single Server Out of Memory
- 14. Big Data > Single Server
- 15. 02 그러면 데이터 엔지니어는 뭘 하나요?
- 16. Big Data > Single Server
- 17. Single Server → Multi Server
- 18. Big Data < Multi Server
- 19. Server Cluster
- 20. Server Cluster Cluster Management Parallel Computing Load Balancing
- 21. 데이터 엔지니어는 빅데이터를 처리합니다. 빅데이터를 처리하기 위해 서버 클러스터를 사용합니다.
- 22. 서버 클러스터로 빅데이터를 처리하면서 발생하는 다양한 Cluster Management Parallel Computing Load Balancing 문제를 해결합니다.
- 23. 03 데브시스터즈에서는 어떻게 문제를 해결하나요?
- 24. Server Cluster
- 28. • 분산 처리 클러스터 엔진 • 메모리 기반의 빠른 분석 지원 • SQL, DataFrame 지원
- 30. EC2 S3
- 31. EC2 • Cloud Server • 원하는 때 원하는 만큼 서버 생성 • 사용한 만큼 비용 지불
- 32. • Cloud Storage • 병렬 업로드, 병렬 다운로드 지원 • 저장한 만큼 비용 지불 S3
- 34. EC2 Cluster
- 35. S3 EC2 Cluster
- 36. S3 EC2 Cluster
- 37. S3 EC2 Cluster
- 38. Two More Things
- 39. S3 EC2 Cluster
- 40. S3 EC2 Cluster
- 43. New York 에서 진행된 Spark Summit 에 출장가서 Flintrock 개발자와 미팅
- 45. DEVSISTSERS 로 Flintrock 개발자를 초청해서 필요한 기능을 공동개발
- 48. 04 DEVSISTERS 는 어떤 데이터 엔지니어를 뽑나요?
- 49. 1TB 이상 빅데이터를 처리해보신분
- 51. 데이터 엔지니어 신입의 경우 빅데이터를 1TB 이상 구할 수 없거나 빅데이터를 다룰 서버 클러스터가 없기 때문에 사실상 빅데이터를 다룬 경력이 있을 수가 없다.
- 52. 그래서 빅데이터 기술보다는 전산학 기본기와 데이터 엔지니어에게 필요한 자질을 중점으로 평가합니다.
- 53. Python Linux
- 55. 테스트를 확실하게 진행하는 꼼꼼함 실전에서 지속적으로 제품을 개선하는 책임감 Python Linux Data Structure System Engineering
- 56. 빅데이터 세션은 일어서서 보는 정도가 아니라 강의장 밖에서도 본다.
- 57. 데이터 엔지니어로 성장하고 싶다면 막강한 권한과 자유로 기회를 제공하는 그렇지만 막중한 책임과 기대에 부응해야 하는 DEVSISTERS 로 오십시오.
- 58. 빅데이터 전투력 1024TB 을 넘겨보고 싶으신 분 빅데이터 전투력 측정기 폭발시키고 싶으신 분! 환영합니다 J.Park@devsisters.com