빅 데이터 분석을 위한 AWS 활용 사례 - 최정욱 솔루션즈 아키텍트:: AWS Cloud Track 1 Intro
6 likes4,239 views
빅 데이터 분석을 위한 AWS 활용 사례 - 최정욱 솔루션즈 아키텍트:: AWS Cloud Track 1 Intro
- 1. 빅데이터 분석을 위한 AWS 활용사례 최정욱 | AWS 솔루션즈 아키텍트 용석현 | eMnet 솔루션 개발 엔지니어
- 2. 빅데이터 소개 빅데이터 분석 업무에 AWS 클라우드 활용 사례 빅데이터와 AWS 클라우드 eMnet의 AWS 활용 사례 결론 목 차
- 3. 빅데이터 소개
- 4. Technologies and techniques for working productively with data, at any scale. 빅데이터
- 5. When your data sets become so large that you have to start innovating around how to collect, store, organize, analyze and share it 빅데이터
- 6. 웹사이트 블로그/리뷰/이메일/사진 소셜 네트워크 서비스 페이스북, 링크드인 응용프로그램 서버 로그 모바일 앱, 게임 센서 데이터 날씨, 온습도,스마트 그리드 이미지/비디오 교통정보, CCTV 트위터 5천만 트윗/일 빅데이터 출처
- 7. AWS 클라우드를 통한 빅데이터 고민 해결 빅데이터 AWS 클라우드 다양성, 용량, 속도로 인해 새로운 처리 도구들이 필요함 다양한 연산, 저장 및 네트워크 옵션 제공
- 8. AWS 클라우드를 통한 빅데이터 고민 해결 무한한 크기로 확장 가능한 데이터세트 거의 무제한 확장 지원 빅데이터 AWS 클라우드
- 9. AWS 클라우드를 통한 빅데이터 고민 해결 반복적이고, 실험적 형태의 데이터 조작 및 분석 반복적이고, 실험적 형태의 인프라 배포 및 사용에 최적화 빅데이터 AWS 클라우드
- 10. AWS 클라우드를 통한 빅데이터 고민 해결 편차가 큰 워크로드 존재 높은 워크로드 변화량에 최적의 효율성 제공 빅데이터 AWS 클라우드
- 11. AWS 클라우드를 통한 빅데이터 고민 해결 일반적으로 완벽한 결과보다 빠른 결과가 더 중요. 병렬컴퓨팅을 통한 빠른 결과 제공 빅데이터 AWS 클라우드
- 12. 빅데이터 분석 업무에 AWS 클라우드 활용 사례
- 13. “누가 우리 서비스를 사용할까?”
- 14. 모바일 사용자 비중이 높다. 모바일 개발에 투자 집중 수많은 로그 중 의미 있는 정보는?
- 15. 9,432,061 개별 모바일 기기가 Yelp 모바일 웹을 사용함. 4백만 건 이상의 전화 연결 사용 5백만 건 이상의 경로 탐색 사용 2013년 1월 기준
- 16. “누가 비디오 게임을 구매할까?”
- 17. 35억 건의 레코드 13TB의 클릭 스트림 로그 7,100만 건의 고유한 쿠키 일일:
- 19. 500% 비용 대비 광고 효과 실현 결과:
- 20. Sushiro: Kaiten Sushi 회전 초밥 체인
- 21. Sushiro: Kaiten Sushi 회전 초밥 체인
- 24. 빅데이터와 AWS 클라우드
- 25. 생성 수집 및 저장 분석 및 계산 협업 및 공유
- 26. 데이터 생성에는 문제가 없음
- 27. 생성 수집 및 저장 분석 및 계산 협업 및 공유 낮은 비용, 높은 처리량
- 28. 생성 수집 및 저장 분석 및 계산 협업 및 공유 수많은 제약 사항 낮은 비용, 높은 처리량
- 29. + 유연하고 높은 확장성 + 사전 투자 없음 + 사용한 만큼 과금 + 필요시 바로 사용 = 제약사항 제거
- 30. 빅 데이터 분석 가속화 생성 수집 및 저장 분석 및 계산 협업 및 공유
- 31. 하나의 도구로 모든 요구사항을 만족시킬 수 없음
- 32. 빅데이터 지원을 위한 주요 AWS 서비스 Amazon S3 Amazon Kinesis Amazon DynamoDB Amazon Redshift Amazon Elastic MapReduce
- 33. 모든 종류의 파일 저장 객체기반 스토리지 무제한 확장성 99.999999999% 내구성 Amazon S3
- 34. 실시간 프로세싱 높은 처리량; 유연성 쉬운 사용 방법 간편한 서비스 연동 - EMR, S3, Redshift, DynamoDB 등 Amazon Kinesis
- 35. NoSQL 데이터베이스 끊김 없는 확장 지원 관리 불필요 수밀리세컨드 수준의 지연 Amazon DynamoDB
- 36. 관계형 데이터웨어하우스 대형 병렬 처리 기반 페타 바이트급 확장 제공 완전 관리형 서비스 Amazon Redshift
- 37. 하둡/HDFS 클러스터 간편한 사용 – 완전 관리형 다양한 가격 구조 제공 간편하고 완벽한 연동 - S3, DynamoDB 및 Kinesis Amazon Elastic MapReduce
- 38. 원 클릭 EMR 생성 하드웨어 구성 - 인스턴스 타입 및 개수 보안 및 접근 관리 - 키 페어, 권한, 롤, 프로필 기본 구성 - EMR 이름, 실행 형태 소프트웨어 구성 - 벤더, 버전, 응용프로그램
- 39. aws emr create-cluster --release-label emr-4.2.0 --instance-groups InstanceGroupType=MASTER, InstanceCount=1, InstanceType=i2.xlarge InstanceGroupType=CORE, InstanceCount=5000, InstanceType=i2.xlarge --auto-terminate 원 라인 EMR 생성
- 40. EMR 운영
- 41. Clickstream processing applications Aggregated clickstream statistics Clickstream archive Clickstream Trend analysis 참조 아키텍처 : 클릭 스트림 분석
- 42. 참조 아키텍처 : 배치 분석
- 43. Use commonly-available cluster scheduling tools, such as Grid Engine or Condor 참조 아키텍처 : 병렬 데이터 처리
- 44. Media streaming Free steak campaign Disaster recovery Web site & media sharing Facebook app Ground campaign SAP & SharePoint Marketing web site Social Media Monitoring Consumer social app IT operations Mars exploration ops Interactive TV apps Consumer social app Facebook page Securities Trading Data Archiving Financial markets analytics Web and mobile apps Big data analytics Digital media Ticket pricing optimization Streaming webcasts Mobile analytics Consumer social app Core IT and media 빅데이터 분석 사례
- 45. 국내 빅데이터 분석 사례 1만개의 모바일 게임 앱의 사용자 데이터 분석 마케팅 효과 측정을 위한 웹 로그분석 Recopick- 쇼핑 로그 기반 실시간 상품 추천 서비스 5백만 사용자 음악 스트리밍 데이터 분석 및 추천 가정용 및 상업용 전기 사용량 분석 서비스 쿠키런 게임 로그 수집 및 분석 플랫폼 운영
- 47. eMnet의 AWS 활용 사례 용석현 (shyongoing@emnet.co.kr)
- 48. 2000년 ~ 2003년 온라인광고사업진출 2004년 ~ 2007년 • 온라인 광고 시장 진입 • 네이버/야후/파란 공식 대행사 • 오버추어 최우수 대행사 • 구글 리셀러 선정(국내 최초) • 광고효과 분석시스템 오픈 국내외지사확장 • 일본지사(도쿄) 설립 트랜스코스모스와 전략적 제휴 • 통합 광고관리 시스템 오픈 • 광고 관리 솔루션 6건 특허 획득 2007년 ~ 2010년 2010년 ~ 2014년 • 중국지사(북경) 설립 • 일본지사(도쿄) 확장 및 법인전환(2014.1.1부) • 통합 로그분석 시스템 오픈 • 온라인 광고 대행사 최초 코스닥 상장(2011) • 온라인 미디어렙(네프미디어) 설립 • 감성분석 시스템 개발중 자료:일본지사포함당사의광고취급액 최상의온라인마케팅전문컨설팅기업 해외진출/사업영역확장 2000 2004 2007 8.7 억 150억 630억 2010 1,380 억 2011 1,650 억 2012 1,940 억 2013 1,819 억 2014 1,718 억 솔루션개발/검색광고성장 eMnet
- 49. • 광고제안에서운영,관리에이르기까지한번에아우르는특허받은통합광고집행관리시스템구축 • 광고주에따라차별화된과학적인솔루션제공 솔루션기반으로광고전략기획,광고효과분석중심의컨설팅사업 eMnet Solutions
- 50. ADinsight 1,800개의 웹사이트에서 일 3,000만 건의 로그 생성 ADinsight? 마케팅 효과 측정을 위한 웹 로그분석 솔루션 고객사의 모든 트래픽은 ADinsight가 분석해야 할 로그 고객사의 트래픽이 언제, 얼마나 급증 할지 모른다 더 많은 로그를 더 빠르게 분석 ADinsight의 과제
- 51. ADinsight 아키텍처 마이그레이션 Amazon Redshift Amazon Kinesis Kinesis Enabled App AWS Cloud Log Server RDB Cluster Hadoop Cluster HDFS On-Premise (IDC) Elastic Beanstalk Auto Scaling Amazon S3 Unload / Copy 로그 저장 전 처리 (파싱, 계산) 데이터 분석 로그 수집 분석 결과 저장 결과 리포팅
- 52. AWS 클라우드의 장점 Amazon Redshift Amazon Kinesis Kinesis Enabled App AWS Cloud Log Server RDB Cluster Hadoop Cluster HDFS On-Premise (IDC) Elastic Beanstalk Auto Scaling Amazon S3 Unload / Copy 데이터 처리 시간 단축 유연한 인프라 확장 / 축소 라이브러리를 제공해 쉽고 빠르게 구현 가능 데이터 통합 쉬운 비용 절감대용량 데이터를 쉽게 저장 높은 성능 빠른 처리 속도 인프라 관리를 AWS에 맡김으로써 서비스에만 집중 로그 저장 전 처리 (파싱, 계산) 데이터 분석 로그 수집 분석 결과 저장 결과 리포팅
- 53. Next step Elastic Load Balancing Amazon EC2Route 53 AWS Cloud Amazon Kinesis Log Server On-Premise (IDC) Auto Scaling Group
- 54. 결론
- 55. 생성 수집 및 저장 분석 및 계산 협업 및 공유
- 56. 생성 수집 및 저장 분석 및 계산 협업 및 공유 a Amazon DynamoDB Amazon RDS Amazon Redshift AWS Direct Connect AWS Storage Gateway AWS Import/ Export Amazon Glacier Amazon S3 Amazon Kinesis Amazon EMR
- 57. a Amazon EC2 Amazon EMR Amazon Kinesis 생성 수집 및 저장 분석 및 계산 협업 및 공유
- 58. aAmazon Redshift Amazon DynamoDB Amazon RDS S3 Amazon EC2 Amazon EMR Amazon CloudFront AWS CloudFormation AWS Data Pipeline 생성 수집 및 저장 분석 및 계산 협업 및 공유
- 59. The right tools At the right scale At the right time
- 60. 감사합니다.