빠르고 안전하게 간편한 AWS로 데이터 마이그레이션 하기::최유정 (AWS 솔루션즈아키텍트)
- 1. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 최유정 데이터베이스 솔루션즈 아키텍트 / Amazon Web Services 빠르고 안전하게 간편한 AWS로 데이터 마이그레이션 하기
- 2. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 강연 중 질문하는 방법 Go to Webinar “Questions” 창에 자신이 질문한 내역이 표시됩니다. 기본적으로 모든 질문은 공개로 답변 됩니다만 본인만 답변을 받고 싶으면 (비공개)라고 하고 질문해 주시면 됩니다. 본 컨텐츠는 고객의 편의를 위해 AWS 서비스 설명을 위해 온라인 세미나용으로 별도로 제작, 제공된 것입니다. 만약 AWS 사이트와 컨텐츠 상에서 차이나 불일치가 있을 경우, AWS 사이트(aws.amazon.com)가 우선합니다. 또한 AWS 사이트 상에서 한글 번역문과 영어 원문에 차이나 불일치가 있을 경우(번역의 지체로 인한 경우 등 포함), 영어 원문이 우선합니다. AWS는 본 컨텐츠에 포함되거나 컨텐츠를 통하여 고객에게 제공된 일체의 정보, 콘텐츠, 자료, 제품(소프트웨어 포함) 또는 서비스를 이용함으로 인하여 발생하는 여하한 종류의 손해에 대하여 어떠한 책임도 지지 아니하며, 이는 직접 손해, 간접 손해, 부수적 손해, 징벌적 손해 및 결과적 손해를 포함하되 이에 한정되지 아니합니다. 고지 사항(Disclaimer)
- 3. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 본 세션의 주요 주제 q 관리형 데이터베이스 장점 - Amazon RDS - Amazon Aurora q 어려운 데이터베이스 마이그레이션 - 마이그레이션 이슈 q 손쉬운 마이그레이션을 위한 AWS 서비스 - AWS DMS(Database Migration Service) - AWS SCT (Schema Conversion Tool)
- 4. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved.© 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 관리형 데이터베이스 서비스 장점
- 5. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. DBA들은 어디에 가장 많은 시간을 사용할까요? Application Optimization Installation, Upgrades, and Patching Backup and Recovery, Data Import and Export, Licensing, Training, Security
- 6. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 직접 설치 일부 자동화 완전 자동화 직접 설치 호스팅 관리형 EC2 DB Services 서버 하드웨어 구매 및 설치 OS 및 데이터베이스 설치 스토리지 배포 및 구성 데이터베이스 배포 및 구성 패치, 업그레이드, 백업, 모니터링 및 확장 데이터베이스 배포 옵션들
- 7. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 다시 정리해 보면 • 직접 운영—여러분이 직접 하드웨어, 운영체제, 보안, 업데이트, 백업, 복제 등을 관리. 하지만, 모든 것을 직접 컨트롤 가능. • EC2 에 설치/운영—여러분은 데이터베이스와 관련된 업데이트, 패치, 복제, 백업 등을 관리. 하지만, 하드웨어, 운영체제 등은 AWS에서 관리. • AWS 관리형 데이터베이스—AWS에서 하드웨어부터 데이터베이스 운영/관리까지 모두 제공. 백업, 복제 등의 기능을 서비스 형태로 제공. 패치, 업데이트 적용 등을 자동으로 제공.
- 8. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS 관리형 데이터베이스 서비스 Compute Storage AWS Global Infrastructure Database Application Services Deployment & Administration Networking Amazon RDS Amazon DynamoDB Amazon Redshift Amazon ElastiCache
- 9. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 관계형 데이터베이스 완전 관리형 서비스 빠르고, 예측 가능한 성능 단순하고 빠른 확장 낮은 비용 구조, 사용한만큼 지불Amazon RDS Amazon Aurora § MySQL § PostgreSQL Amazon RDS(Relational Database Service) 는?
- 10. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon RDS 서비스 사용 목적 스키마 설계 쿼리 작성 쿼리 최적화 마이그레이션 백업 및 복구 패칭 구성 소프트웨어 업그레이드 스토리지 업그레이드 서버 업그레이드 하드웨어 관리 Focus your team here Let AWS focus here
- 11. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. § 데이터베이스 인스턴스 확장 ü CPU 메모리 구성에 따른 다양한 인스턴스 타입 ü 필요에 따라 스케일 업 또는 스케일 다운 § 데이터베이스 스토리지 확장 ü 범용 / Provisioned IOPS / 마그네틱 볼륨의 다양한 스토리지 타입 ü 필요에 따라 용량 또는 성능의 확장 RDS 데이터베이스 인스턴스 확장
- 12. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 읽기 복제를 통한 수평 확장 § 읽기 복제본 추가 ü 읽기 위주의 워크로드 부하 분산 ü 리포팅을 위한 워크로드 분리 § 비동기 방식의 읽기 복제본 ü 가능한 DB옵션: MySQL, PostgreSQL, MariaDB, Aurora
- 13. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. RDS 백업 § 자동 백업 ü PITR 가능 ü 기본적으로 활성화 ü 유지기간 설정 (최대 35일) § 수동 백업 (Manual snapshots) ü 콘솔에서 직접 수행 ü 직접 지울 때까지 유지 ü 스냅샷은 S3에 저장됨 ü 스냅샷으로 부터 새로운 DB 인스턴스 생성 가능
- 14. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. § Multi-AZ Standby 인스턴스 ü 동기 방식의 복제 제공 § 자동 Failover 제공 ü Master 노드 실패시 ü Scale-up시 ü DB 패치시 Multi-AZ 배포를 통한 고가용성
- 15. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. CloudWatch를 통한 모니터링 Amazon CloudWatch의 Amazon RDS 메트릭 l CPU utilization l Storage l Memory l Swap usage l DB connections l I/O (read and write) l Latency (read and write) l Throughput (read and write) l Replica lag l Many more Amazon CloudWatch Alarms l 온프레미스의 사용자 지정 모니터링 도구와 유사
- 16. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. Enhanced Monitoring • 50+ 개 이상의 시스템/OS 메트릭 • 정렬된 process list 뷰 제공 • 1–60 초단위 측정값 제공 • 메트릭에 알람 설정 • CloudWatch Logs 연동 • 3rd-party 도구 연동 지원
- 17. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Aurora는? 클라우드에 최적화된 관계형 데이터베이스 R 하이엔드 상용 데이터베이스의 성능 과 가용성 R 오픈소스 데이터베이스의 비용효율성 과 간단함 R MySQL, PostgreSQL와의 호환성 R Pay as you go 가격정책 관리형 서비스로 제공
- 18. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. Aurora is used by: 2/3 of top 100 AWS customers 8 of top 10 gaming customers AWS 역사상 가장 빠르게 성장하는 서비스 Aurora 사용 고객
- 19. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 클라우드용으로 설계되지 않은 관계형 데이터베이스 § Monolithic 아키텍처 § 넓은 장애 영향 범위 SQL TRANSACTIONS CACHING LOGGING
- 20. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Aurora의 스케일 아웃 가능한 분산 아키텍처 Master Replica Replica Replica AVAILABILITY ZONE 1 SHARED STORAGE VOLUME AVAILABILITY ZONE 2 AVAILABILITY ZONE 3 STORAGE NODES WITH SSDs SQL TRANSACTIONS CACHING SQL TRANSACTIONS CACHING SQL TRANSACTIONS CACHING • 데이터베이스용으로 설계된 로그 구조 기반의 분산형 스토리지 시스템 • 3개의 가용영역에 걸친 수백개 이상의 스토리지 노드로 스트라이핑 • 총 6개의 복제본 유지 (각각의 가용 영역에 2개의 복제) • 데이터 용량이 늘어날수록 Aurora 클러스터 볼륨도 자동 확장되며, 사용한 공간에 대해서만 청구
- 21. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. WRITE PERFORMANCE READ PERFORMANCE MySQL SysBench results R3.8XL: 32 cores / 244 GB RAM Based on industry standard benchmarks 0 25,000 50,000 75,000 100,000 125,000 150,000 0 100,000 200,000 300,000 400,000 500,000 600,000 700,000 Aurora MySQL 5.6 MySQL 5.7 RDS MySQL에 비해 5배의 성능
- 22. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. With user connection With number of tables With database size - SYSBENCH With database size - TPCC Connections Amazon Aurora RDS MySQL w/ 30K IOPS 50 40,000 10,000 500 71,000 21,000 5,000 110,000 13,000 Tables Amazon Aurora MySQL I2.8XL local SSD RDS MySQL w/ 30K IOPS (single AZ) 10 60,000 18,000 25,000 100 66,000 19,000 23,000 1,000 64,000 7,000 8,000 10,000 54,000 4,000 5,000 8x U P T O F A S T E R 11x U P T O F A S T E R DB Size Amazon Aurora RDS MySQL w/ 30K IOPS 1GB 107,000 8,400 10GB 107,000 2,400 100GB 101,000 1,500 1TB 26,000 1,200 DB Size Amazon Aurora RDS MySQL w/ 30K IOPS 80GB 12,582 585 800GB 9,406 69 21 U P T O F A S T E R 136x U P T O F A S T E R Aurora 의 성능 확장성
- 23. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. BINLOG DATA DOUBLE-WRITELOG FRM FILES T Y P E O F W R I T E MYSQL WITH STANDBY EBS 볼륨에 쓰기 수행 - EBS 는 미러에 쓰기 수행, 둘 다 종료 시 ACK 스탠바이 인스턴스에 쓰기 복제 IO FLOW 1, 3, 4 단계는 순차 및 동기 응답 속도 및 지터(Jitter) 가 증대 각 사용자 오퍼레이션을 위한 다양한 쓰기 작업들은 두 번 쓰기 OBSERVATIONS 780K 트랜잭션 1백만 TX 당 7,388K I/Os (미러 및 스탠바이 제외) TX 당 평균 7.4 I/Os PERFORMANCE 30분 SysBench 쓰기-전용 워크로드, 100 GB 데이터 셋, RDS SingleAZ, 30K PIOPS EBS 미러EBS 미러 AZ 1 AZ 2 Amazon S3 EBS Amazon Elastic Block Store (EBS) 프라이머리 인스턴스 스탠바이 인스턴스 1 2 3 4 5 RDS MySQL I/O 트래픽
- 24. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. AZ 1 AZ 3 프라이머리 인스턴스 Amazon S3 AZ 2 복제 인스턴스 AMAZON AURORA 비동기 4/6 쿼럼 분산 쓰기 BINLOG DATA DOUBLE-WRITELOG FRM FILES T Y P E O F W R I T E 30분 SysBench 쓰기-전용 워크로드, 100 GB 데이터 셋 IO FLOW 오직 Redo 로그 레코드만 쓰기, 모든 단계는 비동기화 데이터 블록 쓰기 없음 (체크포인트, 캐시 대체 등) 6X 로그 쓰기 향상, 9X 네트워크 트래픽 감소 네트워크 및 스토리지 응답속도 증가에 내구성 OBSERVATIONS 27,378K 트랜잭션 35X 향상 1백만 TX 당 950K I/Os (6X amplification) 7.7X 감소 PERFORMANCE Redo 로그 레코드 전송 – LSN(Log Sequence Number)에 의해 전체 순서화 독립적인 캐시 프로세스에 업데이트 스토리지 노드에 전송 후 쓰기 수행 Aurora I/O 트래픽
- 25. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 데이터베이스 워크로드 모니터링 AWS 관리 콘솔에서 간단히 모니터링 § Database load : 데이터베이스 병목 구간을 쉽게 확인 § 병목 원인 확인 : Top SQL § 모니터링 구간 조정 : 시간, 일, 주 및 그 이상 Max CPU Performance Insights
- 26. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved.© 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 어려운 데이터베이스 마이그레이션
- 27. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS로 DB를 옮기고 싶은데….. § 애플리케이션 다운타임이 길면 안돼요. § 다운타임을 최소화하기위한 솔루션이 너무 비싸요. § DB 마이그레이션은 너무 복잡하고 비용이 많이 들어요. § 온프레미스에 여전히 데이터 복제본이 있어야 해요. § 오픈소스 데이터베이스로 옮기고 싶어요. § 단시간 내 대용량 데이터를 옮기려면 비싼 네트워크 대역폭을 확보해야 해요. § 조직내 마이그레이션을 잘 할 수 있는 역량이 부족해요.
- 28. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS로 DB 마이그레이션의 일반적인 과정 1. AWS 계정 생성 2. Region, AZ 선택 후 Virtual Private Cloud (VPC) 생성 3. VPN 또는 Direct Connect를 통한 AWS 접속 4. 기존 DB 종료 후 백업 5. 기존 DB 백업 데이터를 S3로 전송 6. EC2 인스턴스에 새로운 DB 설치 및 설정 7. 새로운 EC2 DB 인스턴스에 백업 데이터 복구 8. 어플리케이션을 위한 EC2 인스턴스 설정 9. 접속을 기존 Database에서 AWS의 데이터베이스로 전환
- 29. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS로 DB 마이그레이션의 일반적인 과정 1. AWS 계정 생성 2. Region, AZ 선택 후 Virtual Private Cloud (VPC) 생성 3. VPN 또는 Direct Connect를 통한 AWS 접속 4. 기존 DB 종료 후 백업 5. 기존 DB 백업 데이터를 S3로 전송 6. EC2 인스턴스에 새로운 DB 설치 및 설정 7. 새로운 EC2 DB 인스턴스에 백업 데이터 복구 8. 어플리케이션을 위한 EC2 인스턴스 설정 9. 접속을 기존 Database에서 AWS의 데이터베이스로 전환 스텝 4-9번은 수일 또는 그 이상이 소요됨!
- 30. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved.© 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 손쉬운 마이그레이션을 위한 AWS 서비스
- 31. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS Database Migration Service AWS 로 데이터베이스 마이그레이션
- 32. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. DMS 와 SCT? AWS Database Migration Service (DMS) 는 데이터베이스나 데이터 웨어하우스를 AWS로 빠르고 안전하게 마이그레이션 또는 복제를 도와주는 서비스 입니다. AWS Schema Conversion Tool (SCT) 는 데이터베이스 및 데이터웨어 하우스의 스키마를 오픈소스 엔진 또는 AWS에서 제공하는 서비스로 (Aurora and Amazon Redshift) 변환을 도와드립니다.
- 33. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. DB 마이그레이션: AWS Database Migration Service • 10분 혹은 더 적은 시간안에 첫번째 마이그레이션 시작 • 마이그레이션 중에도 어플리케이션은 수행 유지 • Amazon EC2/RDS로 부터 혹은 EC2/RDS로 복제 • 동일한 혹은 서로 다른 데이터베이스 엔진간 데이터 이동 AWS Database Migration Service (DMS) DMS는 최소한의 중단 시간으로 쉽고 안전하게 AWS로 데이터베이스를 마이그레이션. 널리 사용되는 상용 및 오픈 소스 데이타베이스간 데이터를 마이그레이션 Amazon Redshift
- 34. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. SCT를 이용한 스키마 변환 OLAP 용 데이터웨어 하우스 데이터베이스를 Amazon Redshift로 마이그레이션 Amazon Redshift OLTP 용 데이터베이스 마이그레이션 Amazon Aurora Amazon RDS
- 35. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. SCT를 이용한 테이블, 뷰, 코드의 변환 지원 시퀀스 사용자 정의 타입 패키지 스토어드 프로시저 함수 트리거 스키마 테이블 인덱스 뷰 소트, 분산 키
- 36. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 대상 Amazon DynamoDB Amazon Redshift Amazon S3 원본 동종 혹은 이종간 Amazon Aurora Amazon Aurora Amazon S3 DMS를 이용한 마이그레이션 및 복제
- 37. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 마이그레이션 프로세스
- 38. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 고객 온- 프레미스 어플리케이션 사용자 AWS 인터넷 VPN 마이그레이션 중 어플리케이션 실행 유지 복제 인스턴스 시작 원본 및 대상 데이터베이스 접속 테이블, 스키마, 데이터베이스 선택 AWS DMS 가 테이블 생성, 데이터 로드 및 변경 사항 적용 적절한 시점에 대상 데이터베이스로 전환 AWS Database Migration Service
- 39. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. Customer premises or AWS AWS Internet VPN AWS DMS AWS DMS 고가용성을 위한 Multi-AZ 구성
- 40. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS DMS : NoSQL 지원 AWS로의 마이그레이션 • MongoDB에서 Amazon DynamoDB로 이동 • MongoDB에서 관계형 DB로 이동 NoSQL과 SQL간 이동 • 테크놀로지 변경 Amazon Aurora DynamoDB DynamoDB RDS
- 41. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS DMS: S3 지원 S3 Bucket S3 Bucket Amazon Aurora Amazon Aurora DynamoDB S3를 Source와 Target으로
- 42. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. 현대화 마이그레이션 복제 • 리젼간 읽기 복제본 생성 • 클라우드에서 분석 실행 • 실행 개발/ 테스트 및 프로덕션을 동기화 상태 유지 • 이전 데이터베이스 엔진에서 데이터 추출 및 변환 • 어플리케이션 코드 업데이트 • 비지니스 어플리케이션을 Amazon RDS로 마이그레이션 • 데이터 웨어하우스를 Amazon Redshift로 마이그레이션 • 데이터베이스 업그레이드 통합 및 보관 데이터베이스 마이그레이션 사용 사례
- 43. © 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS 교육 및 자격증 : aws.amazon.com/ko/training 더 나은 세미나를 위해 여러분의 의견을 남겨 주세요! 질문에 대한 답변 드립니다. 발표자료/녹화영상 제공합니다. http://bit.ly/awskr-webinar