Cloud Native Aurora Serverless를 통한 Data Lake 구축 - 최유정 솔루션즈 아키텍트, AWS
4 likes2,525 views
AWS 의 여러 Data 서비스를 통한 Data Lake 구축이 가능하지만, 중소 규모의 RDB 형태의 BI 구축 으로 Aurora 가 선호됩니다. Aurora Serverless 는 변경/수정이 많고, 정형 Format의 BI 요구사항에 적합하며, 발생빈도는 적지만, 비즈니스적 사용의 편의성이 요구되는 분석 환경에 적합합니다. 본 세션에서는 Data Lake 구축 시 RDB 와 Serverless 를 접목하시려고 하는 많은 분들에게 Aurora Serverless 의 Use case와 사용방법에 대한 실질적인 가이드를 드리고자 합니다. 대상 : 빅 데이터 및 데이터 분석 담당자, AWS 기반 데이터 분석에 관심 있는 모든 분 발표자 : 최유정 솔루션즈 아키텍트, AWS
Cloud Native Aurora Serverless를 통한 Data Lake 구축 - 최유정 솔루션즈 아키텍트, AWS
- 1. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 최유정 Database Solutions Architect Cloud Native Aurora Serverless를 통한 Data Lake 구축
- 2. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 강연 중 질문하는 방법 Go to Webinar “Questions” 창에 자신이 질문한 내역이 표시됩니다. 기본적으로 모든 질문은 공개로 답변 됩니다만 본인만 답변을 받고 싶으면 (비공개)라고 하고 질문해 주시면 됩니다. 본 컨텐츠는 고객의 편의를 위해 AWS 서비스 설명을 위해 온라인 세미나용으로 별도로 제작, 제공된 것입니다. 만약 AWS 사이트와 컨텐츠 상에서 차이나 불일치가 있을 경우, AWS 사이트(aws.amazon.com)가 우선합니다. 또한 AWS 사이트 상에서 한글 번역문과 영어 원문에 차이나 불일치가 있을 경우(번역의 지체로 인한 경우 등 포함), 영어 원문이 우선합니다. AWS는 본 컨텐츠에 포함되거나 컨텐츠를 통하여 고객에게 제공된 일체의 정보, 콘텐츠, 자료, 제품(소프트웨어 포함) 또는 서비스를 이용함으로 인하여 발생하는 여하한 종류의 손해에 대하여 어떠한 책임도 지지 아니하며, 이는 직접 손해, 간접 손해, 부수적 손해, 징벌적 손해 및 결과적 손해를 포함하되 이에 한정되지 아니합니다. 고지 사항(Disclaimer)
- 3. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. Agenda • Amazon Aurora 소개 • Amazon Aurora Serverless 소개 • Aurora Serverless를 통한 Data Lake 구축
- 4. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Aurora 소개
- 5. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 직접 설치 일부 자동화 완전 자동화 직접 설치 호스팅 관리형 EC2 DB Services 서버 하드웨어 구매 및 설치 OS 및 데이터베이스 설치 스토리지 배포 및 구성 데이터베이스 배포 및 구성 패치, 업그레이드, 백업, 모니터링 및 확장 데이터베이스 배포 옵션들
- 6. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS 관리형 데이터베이스 서비스 Compute Storage AWS Global Infrastructure Database Application Services Deployment & Administration Networking Amazon RDS Amazon DynamoDB Amazon Redshift Amazon ElastiCache
- 7. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 관계형 데이터베이스 완전 관리형 서비스 빠르고, 예측 가능한 성능 단순하고 빠른 확장 낮은 비용 구조, 사용한만큼 지불Amazon RDS Amazon Aurora MySQL PostgreSQL Amazon RDS(Relational Database Service) 는?
- 8. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon RDS 서비스 사용 목적 스키마 설계 쿼리 작성 쿼리 최적화 마이그레이션 백업 및 복구 패칭 구성 소프트웨어 업그레이드 스토리지 업그레이드 서버 업그레이드 하드웨어 관리 Focus your team here Let AWS focus here
- 9. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Aurora는? 클라우드에 최적화된 관계형 데이터베이스 하이엔드 상용 데이터베이스의 성능 과 가용성 오픈소스 데이터베이스의 비용효율성 과 간단함 MySQL, PostgreSQL와의 호환성 Pay as you go 가격정책 관리형 서비스로 제공
- 10. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. Aurora 사용 고객 AWS 역사상 가장 빠르게 성장하는 서비스
- 11. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 데이터베이스용으로 설계된 로그 구조 기반의 분산형 스토리지 시스템 3개의 가용영역에 걸친 수백개 이상의 스토리지 노드로 스트라이핑 AZ+1 장애까지 대비 가능한 총 6개의 복제본 유지 (각각의 가용 영역에 2개의 복제) 10GB로 시작하여 64TB까지 자동으로 확장되며, 사용한 공간에 대해서만 청구 Master Replica Replica Replica Availability Zone 1 Shared storage volume Availability Zone 2 Availability Zone 3 Storage nodes with SSDs SQL Transactions Caching SQL Transactions Caching SQL Transactions Caching 스케일 아웃 가능한 분산 아키텍처
- 12. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. WRITE PERFORMANCE READ PERFORMANCE MySQL SysBench results R3.8XL: 32 cores / 244 GB RAM Based on industry standard benchmarks 0 25,000 50,000 75,000 100,000 125,000 150,000 0 100,000 200,000 300,000 400,000 500,000 600,000 700,000 Aurora MySQL 5.6 MySQL 5.7 RDS MySQL에 비해 5배의 성능
- 13. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. WRITE PERFORMANCE READ PERFORMANCE Aurora는 인스턴스 사이즈가 커짐에 따라 read 와 write 모두 성능 확장 Aurora MySQL 5.6 MySQL 5.7 인스턴스 사이즈에 따른 성능
- 14. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Aurora Serverless 소개
- 15. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 서버리스 컴퓨팅 + 관계형 데이터베이스 온디맨드로 시작하고, 사용하지 않을 시 종료할 수 있다면? 관리할 인스턴스 없이 자동으로 확장할 수 있다면? 데이터베이스 비용을 초단위로 사용한만큼만 지불할 수 있다면? 기존 사용중인 어플리케이션과 호환성을 제공한다면? Amazon Aurora Serverless를 소개합니다. 다양한 워크로드 서비스하는 어플리케이션에 온디맨드로 자동 스케일링되는 데이터베이스 이러한 데이터베이스 어떠신가요?
- 16. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. Aurora Serverless 사용 사례 자주 사용되지 않는 어플리케이션 (예. 적은 데이터를 가진 블로그 사이트) 다양한 부하량을 갖는 어플리케이션 – 예측하기 어려운 피크처리 (예. 뉴스 사이트) 야간이나 주말에는 사용하지 않는 개발 및 테스트 데이터베이스 멀티테넌트 SaaS 어플리케이션들의 모음
- 17. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 데이터베이스 엔드포인트 프로비저닝 데이터베이스 생성 시, Aurora Serverless는: Aurora 스토리지 볼륨 생성 어플리케이션 연결을 위한 VPC 내 프록시 엔드포인트 생성 데이터베이스 트래픽 처리를 위한 request routers를 초기화 데이터베이스 인스턴스는 첫번째 요청이 발생할때 프로비저닝 어플리케이션 고객 VPC VPC 프록시 엔드포인트 VPC 엔드포인트 네트워크 로드 밸런서 스토리지 볼륨 REQUEST ROUTERS 데이터베이스 스토리지
- 18. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 스케일링 업/다운 오로라는 어플리케이션의 부하량을 모니터링 (CPU, memory, connections) 조정이 필요한 임계치에 도달하면 인스턴스는 자동으로 스케일 업/다운 (일반적으로 5초 이하) 스케일링 작업은 어플리케이션에 투명하게 수행 – 연결 및 세션 정보를 신규 인스턴스로 전달 스케일링을 위한 최소 및 최대 용량 설정 데이터베이스 스토리지는 사용자가 명시적으로 삭제할때까지 유지 Aurora WARM POOL REQUEST ROUTER 데이터베이스 스토리지 현재 인스턴스 신규 인스턴스 PROXY 엔드포인트 어플리케이션
- 19. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. Aurora Serverless 생성 인스턴스 타입 설정 불필요
- 20. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. Aurora Serverless 클러스터
- 21. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. Aurora Serverless 스케일링
- 22. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 기존 Aurora 모니터링과 동일 ACU : Aurora Capacity Unit 1 ACU 가 최소 단위이며, 약 2GB 메모리와 이에 적정한 CPU 및 networking의 조합 인스턴스 타입이 아닌, ACU별 과금 Aurora Serverless 모니터링
- 23. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 유통 제조 / 통신 공공 / 서비스 항공 / 운송 스타트업게임/인터넷/미디어 CB Insights 회사소개 • 민간 시장 리서치/정보 회사 • 기계 학습 및 시각화를 사용하여 데이터를 분석 비지니스 요구사항 • 데이터 분석을 위한 대용량 데이터 처리 필요 • 계산 작업 시 버스팅 필요. • 추가 비용 절감 고려 Aurora Serverless 적용 • Aurora Serverless는 개발 및 스테이징을 DB를 위한 좋은 옵션임을 확인 • 추가 비용 절감을 위해 사용하지 않을 때 시스템 종료 가능 효과 Aurora Serverless는 개발 및 스테이징 DB에 적합한 옵션으로 사용하지 않을 때는 종료 Quote : https://aws.amazon.com/rds/aurora/customers/ Cost Effective 초단위로 DB 를 사용한 시간만 과금 Proven 서버리스 기술에 적합한 DB 워크로드 발견
- 24. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 유통 제조 / 통신 공공 / 서비스 항공 / 운송 스타트업게임/인터넷/미디어 회사소개 • 정보 기술, 정보 보안, 컨설팅, ITO 및 BPO 서비스 제공 비지니스 요구사항 • "Cognizant Adaptive Data Foundation"및 "Cognizant Lab Insights"와 같은 일부 서비스 포트폴리오 보완 필요 Aurora Serverless 적용 • 다양한 통찰력( 대쉬보드, 모니터링, 프로세스 생성)을 얻기 위해 간헐적 데이터 활용이 필요 시 유연성, 확장성 및 경제적인 Aurora Serverless DB 를 적용 효과 확장성 및 비용 효율성이 뛰어난 Lab 환경의 간헐적인 데이터 사용 요구사항 충족. Quote : https://aws.amazon.com/rds/aurora/customers/ Cost Effective 초단위로 DB 를 사용한 시간만 과금 Flexibility API 기반 , 쉬운 설정 Scalable 작게 시작하고, 온라인 Scale up/down Cognizant
- 25. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. Aurora Serverless를 통한 Data Lake 구축
- 26. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS는 데이터 레이크를 위한 모든 서비스를 제공 수집 저장 시각화 / 활용분석 / 처리 Kinesis 스트리밍 데이터 Database Migration Service Oracle, Netezza 등의 데이터 임포트 Amazon S3 안전하고, 비용 효율적인 스토리지 Direct Connect 데이터 센터와 연결 Snowball 벌크 데이터 로드 내부 사용자와 시스템 고객 대상 서비스 더 많은 방법들.. Redshift 데이터 웨어하우스 EMR 비정형 데이터 처리, Apache Spark Athena ad-hoc 쿼리 SageMaker 머신러닝 플랫폼 QuickSight 시각화, BI 더 많은 방법들.. 다양한 솔루션과 연동 Glue 데이터카타로그와 ETL 어디서든 활용 가능한 .. Aurora Serverless 대체 가능
- 27. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS Cloud TrailAWS IAM Amazon CloudWatchAWS KMS Ingest ServingData sources Speed (Real-time) Scale (Batch) Transactions AWS Database Migration Service AWS Direct Connect Internet Interfaces Amazon S3 Stream Data Amazon Kinesis Amazon EMR Amazon ElasticSearch Amazon RedShift Amazon RDS Amazon DynamoDB Amazon SQS AWS Storage Gateway Amazon Kinesis Firehose Event Scoring Amazon AI AWS Lambda AWS Lambda Data analysts Data scientists Business users Connected devices Social media Engagement platforms Automation / events ERP Amazon S3 Raw Data Amazon S3 Staged Data (Data Lake) Amazon EMR ETL Amazon S3 Clean Data Amazon S3 Schemaless Amazon Kinesis Amazon EMR Amazon EMR MLlib Deep LearningAmazon SageMaker AWS Glue Amazon Athena Data Lake on AWS Aurora Serverless 대체 가능
- 28. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. Data Lake로 해결 가능한 문제들 • 저비용으로 대량의 데이터에 대한 인터렉티브 쿼리 = S3 + Glue + Athena • 아카이빙 된 데이터에 대한 간헐적인 쿼리 = S3 / Glacier + Glue + Athena / Redshift • 기존 데이터 웨어하우스의 확장 = S3 + Glue + Redshift Spectrum • Log 분석 = S3 + Glue + Athena / EMR / Redshift Spectrum • On-Prem Database 데이터를 활용한 ETL 솔루션 = Glue + S3 • 사용하고 못하고 버려지는 데이터에 대한 가치 탐색 = S3 + Glue + Athena / EMR Aurora Serverless Aurora Serverless Aurora Serverless Aurora Serverless
- 29. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. Data Lake - 작게 시작해서 반복적으로 AWS GLUE 데이터카타로그 Amazon Quicksight Amazon S3 Amazon Athena 데이터센터 웹 로그 Amazon RDS 여러 데이터베이스 스트리밍 데이터 서버리스 분석 파이프라인 Ingest ConsumeStore Analyze 1 4 0 9 5 DATA INSIGHTS 수집 저장 분석/처리 시각화 Aurora Serverless
- 30. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. Aurora Serverless를 통한 Build and Test 목적 직접 Aurora Serverless Cluster를 만들어보고 간단한 Serverless Application 을 Build and Test 담당자 문의 Account Manager Call Service Credit Offer (100$) In-Account Seminar (Optional) Use Cases 자주 사용하지 않는 DB Archiving 목적이지만 년/월 단위 조회 장기 Asset Inventory 조회 Data Lake 시나리오 중 reporting 빈도가 적지만 DB보관 필요 개발/테스트 DB 주간에만 개발/테스트 목적으로 사용- 저녁에는 자동으로Shutdown) 예측이 힘든 DB Workload 단일 Instance에서 무 중단 Scale-up Serverless Application with Serverless Database 담당자 문의 yonkm@amazon.com (Database BDM)
- 31. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 더 나은 세미나를 위해 여러분의 의견을 남겨주세요! 웨비나 종료 후 설문이 시작됩니다. 질문에 대한 답변 드립니다. 발표자료 / 녹화 영상을 제공합니다. http://bit.ly/awskr-webinar AWS 데이터 기반 의사결정 웹세미나에 참석해주셔서 대단히 감사합니다.