[AWS Migration Workshop] SQL Server Performance on AWS
1 like1,899 views
참석자들은 AWS에서 Microsoft의 SQL Server가 최고의 성능을 낼 수 있는 환경에 대해서 정보를 얻을 수 있습니다.
![© 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Enhanced Networking Interface: Intel VF 과 ENA
• [Intel VF] Intel ixgbevf 드라이버 사용
• EC2에서는 Intel ixgbevf 드라이버를 사용하는 Intel 82599 VF 인터페이스를 통해 향상된
네트워킹 기능을 제공
• https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/WindowsGuide/sriov-networking.html
• [ENA] ENA(Elastic Network Adapter)
• RSS (Receive Side Scaling )
• https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/WindowsGuide/enhanced-networking-ena.html
• Throughput
• Intel VF: 최대 10Gbps
• ENA: 최대 25Gbps](https://image.slidesharecdn.com/fy19q2awsmigrationworkshop-minseokkang-190619062924/85/AWS-Migration-Workshop-SQL-Server-Performance-on-AWS-16-320.jpg)
[AWS Migration Workshop] SQL Server Performance on AWS
- 1. SQL Server Performance on AWS 강민석(Kang Minseok) Sr. Database Solutions Architect
- 2. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 목차 • Microsoft on AWS • SQL Server의 고가용성 기능 • SQL Server on AWS 성능
- 3. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 90+ 40+ 795 Windows Deep Learning AMI Hyper-V support in SMS Application-consistent Snapshots through VSS WS 2008 & SQL Server 2008 Visual Studio Toolkit Microsoft SCOM plug-in release AWS Directory Service EC2 Dedicated Hosts (BYOL) Microsoft SharePoint 2016 (Marketplace) Windows Server 2008 R2 SQL Server 2008 R2 Windows Server 2003 SQL Server 2005 .NET SDK Microsoft SCVMM Plug-in Windows Server 2012 SQL Server 2012 AWS Tools for Windows PowerShell Amazon RDS adds SQL Server EC2 Run Command EC2 Systems Manager Windows Server & SQL Server 2016 EC2 Dedicated Instances (BYOL) .NET on Lambda & Codebuild SAP instance on AWS 2012 Trusted Advisor checks for Windows SQL Server 2017 X-Ray .NET SDK CustomerAdoption Windows for Lightsail .NET Core & Powershell on AL2/Ubuntu 2008 Today .NET Core 2.0 Support with Lambda & X-Ray EC2 Windows on Bare Metal/Hyper-V AMI SQL 2017 AMI AL2/Ubuntu.NET Developer Hub 인스턴스 타입, 22 인스턴스 패밀리 개의 Windows 워크로드를 위한 AMI Windows ISV 가 마켓플레이스에 존재 Microsoft on AWS 기술 혁신
- 4. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Web Services 57.7% Microsoft Azure 30.9% Others 11.4% Worldwide Windows Public Cloud IaaS Instances by Cloud Provider 2017 클라우드 환경에서 Windows 서비스 IDC, Windows Server Operating Environment Market Update, Doc # US44217118, Aug 2018
- 5. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 가장 앞선 신뢰성을 제공 지난 365일간 2위 사업자 대비 16 배 적은 다운 타임 Source: Gartner CloudHarmony (7/10/2018) July 2017-July 2018 #downtime minutes for compute and storage (all regions) 2위 사업자
- 6. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. SQL Server 고가용성 구성 • 복제(Replication) • 로그전달(Log Shipping) • 미러링(Mirroring) • 클러스터링(Windows Server Failover Cluster(WSFC) ) • SQL Server AlwaysOn
- 7. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. SQL Server 고가용성 구성 - 복제 • 복제(Replication) • Publisher: 게시자(원본 DB) • Distributor: 배포자(배포DB ) • Subscription: 구독자(복제 DB)
- 8. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. SQL Server 고가용성 구성 – Log shipping
- 9. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. SQL Server 고가용성 구성 - Mirroring 동기식(Synchronous) 데이터 복제 – 자동 Failover ( Witness 필요) 동기식(Synchronous) 데이터 복제 – 수동 Failover 비동기식(Asynchronous) 데이터 복제 – 수동 Failover, 성능 Primary Server Secondary Server Witness Instance Mirror DB Mirror DB
- 10. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. SQL Server 고가용성 구성 - 클러스터링 • Windows Server Failover cluster • Active Node • Passive Node • Virtual IP for Cluster and Cluster Name • Virtual IP for SQL Server and Virtual Name • Shared Disk • Quorum • Public Network • Heartbeat Network
- 11. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. SQL Server 고가용성 구성 - AlwaysOn • Shared Disk가 필요없음 • SQL Server가 클러스터 리소스로 등록 되지 않음 • 클러스터 리소스로 AlwaysOn listener 가 등록됨
- 12. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Demo – SQL Sever AlwaysOn Failover 12 Failover time : 20 Secs AlwaysOn Connection Failover Time
- 13. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. SQL Server 고가용성 구성 비교
- 14. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. SQL Server on AWS 성능 • Performance of SQL Server on AWS • Network • Storage • SQL Server on EC2 / RDS • SQL Server on AWS - Architecture
- 15. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 성능에 관련된 요소들 Compute Capabilities vCPUs Memory Capabilities GB of RAM Network Performance MB/s (Throughput) Storage Performance I/O Throughput
- 16. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Enhanced Networking Interface: Intel VF 과 ENA • [Intel VF] Intel ixgbevf 드라이버 사용 • EC2에서는 Intel ixgbevf 드라이버를 사용하는 Intel 82599 VF 인터페이스를 통해 향상된 네트워킹 기능을 제공 • https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/WindowsGuide/sriov-networking.html • [ENA] ENA(Elastic Network Adapter) • RSS (Receive Side Scaling ) • https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/WindowsGuide/enhanced-networking-ena.html • Throughput • Intel VF: 최대 10Gbps • ENA: 최대 25Gbps
- 17. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Network Throughput 테스트 결과 10분 이상 ≃ 1194 Mbps ≃ 868 Mbps c5.xlarge c4.xlarge ≃ 9.41 Gbps Model vCPU* Network Performance (Gbps) c5.xlarge 4 Up to 10 c4.xlarge 4 High c5d.18xlarge 72 25
- 18. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. ENA 설정 튜닝- RSS Group 변경 Set-NetAdapterRss -name (Get-NetAdapter | Where-Object {$_.InterfaceDescription -like '*Elastic*'}).Name - Baseprocessorgroup 0 -BaseProcessorNumber 2 ENA Network 병목: vCPU(0)가 과도하게 사용됨 0 2 4 6 8 1 3 5 7 9 Network Stack( RSS ), 8 vCPUs
- 19. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. SQL Server를 위한 Storage - EBS Max Throughput per Volume: 1000 MB/s Max IOPS per Volume: 64,000 Volume Size: 4 GB to 16 TB Ideal for critical applications and databases with sustained IOPS Provisioned IOPS SSD General Purpose SSD Max Throughput per Volume: 250 MB/s Max IOPS per Volume: 16,000 Volume Size: 1 GB to 16 TB Great for boot volumes, low latency applications and bursty databases Burst: 3,000 IOPS (for volumes up to 1 TB) SSD(Solid-State Drive) 하드 디스크 드라이브(HDD) 볼륨 유형 범용 SSD(gp2)* 프로비저닝된 IOPS SSD (io1) 처리량에 최적화된 HDD (st1) Cold HDD (sc1) API 이름 gp2 io1 st1 sc1 볼륨 크기 1GiB - 16TiB 4GiB - 16TiB 500GiB - 16TiB 500GiB - 16TiB 최대 IOPS**/볼륨 16,000*** 64,000**** 500 250 최대 처리량/볼륨 250MiB/s*** 1,000MiB/s† 500MiB/s 250MiB/s 최대 IOPS/인스턴스 80,000 80,000 80,000 80,000 최대 처리량/인스턴스1,750MiB/s 1,750MiB/s 1,750MiB/s 1,750MiB/s
- 20. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. SQL Server를 위한 Storage - NVMe • Amazon EC2 인스턴스 스토어 - NVMe (Non-Volatile Memory express) 타입의 SSD를 장착하여 낮은 지연속도와 높은 IOPS - 데이터 유지: 물리적 호스트 재시작, EC2 재부팅 - 데이터 삭제: 인스턴스가 중지/종료, 또는 호스트 하드웨어 이슈로 호스트가 이동되는 경우 - 지원 인스턴스: C5d, I3, F1, M5ad, M5d, p3dn.24xlarge, R5ad, R5d 및 z1d 인스턴스 타입 vCPU (CPU clock) Mem(GiB) 인스턴스 스토어 크기 c5d 2 ~ 72 (3.0 ~ 3.5 GHz) 4 ~ 144 50 ~ 900 GiB m5d 2 ~ 96 (2.5 GHz) 8 ~ 384 75 GiB ~ 3.6 TiB r5d 2 ~ 96 (~3.1 GHz) 16 ~ 768 75 GiB ~ 3.6 TiB z1d 2 ~ 48 (~4.0 GHz) 16 ~ 384 75 GiB ~ 1.8 TiB i3 2 ~ 72 (2.3 GHz) 15.25 ~ 512 475 GiB ~ 15.2 TiB i3en 2 ~ 96 (3.1 GHz) 16 ~ 768 1.25 TiB ~ 60 TiB https://docs.aws.amazon.com/AWSEC2/latest/WindowsGuide/instance-types.html#ec2-nitro-instances
- 21. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS 관리형 서비스 Amazon RDS • RDS SQL Server 직접 관리 Amazon EC2 BYOL Windows & SQL EC2 Windows + BYOL SQL EC2 Windows + SQL AWS 에서 SQL Server 선택 기준
- 22. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. SQL Server on AWS 운영 책임 Amazon RDS for SQL Server Power, HVAC, net Rack and stack Server maintenance OS patches DB software patches Database backups High availability DB software installs OS installation Scaling App optimization Power, HVAC, net Rack and stack Server maintenance OS patches DB software patches Database backups High availability DB software installs OS installation Scaling App optimization SQL Server on Amazon EC2 Customer managed Multiple optionsAWS managed Legend • RDS 선택 기준 • DBA 가 없다 • 관리할 서버가 많다.
- 23. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 아키텍쳐 - SQL Server AlwaysOn on AWS
- 24. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Demo – SQL Server Performance
- 25. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Optimize vCPU 성능 비교 25 I3.8xlarge with NVME- enabled HyperThreads I3.8xlarge with NVME- disabed HyperThreads • Blue: Batch Request/sec (Scale-0.001) • Red: % Process time
- 26. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Architecture Sample – 비용 효율성 위주 • SQL 서버의 스탠다드 라이선스 사용(SE) • 2대 인스턴스 구성 • 복수 AZ 구성 권고 • 인스턴스간 Synchronous 복제 (EBS의 간헐적인 Latency Spike 영향 최소화) • 인스턴스 스토어에 데이터 파일 및 로그 파일 구성 VPC Availability zone 1 Availability zone 2 Private subnet Private subnet EC2 ReplicaEC2 Active Public subnet Public subnet 게임 서버 Synchronous
- 27. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Architecture Sample – 고성능 위주 • SQL 서버 엔터프라이즈 라이선스 사용(EE) • 3대 인스턴스 사용 • 동일 AZ에 Cluster Placement Group으로 2대 인스턴스 배치 • 동일 AZ 인스턴스간 Synchronous 복제 • 다른 AZ에 추가 1대 인스턴스 배치 • 다른 AZ 인스턴스간 Asynchronous 복제 • 복제 인스턴스에서 데이터 및 로그 백업 VPC Availability zone 1 Availability zone 2 Private subnet Private subnet EC2 ReplicaEC2 Active Public subnet Public subnet 게임 서버 Sync EC2 Replica Async Cluster Placement Group
- 28. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Architecture Sample – 데이터 안정성 위주 • SQL 서버 엔터프라이즈 라이선스 사용(EE) • 3대 이상 인스턴스 사용 • 데이터는 EBS 볼륨, 로그는 인스턴스 스토어에 배치 • 다수의 AZ에 인스턴스 배치 • 모든 인스턴스간 Synchronous 복제 • 복제 인스턴스에서 데이터 및 로그 백업 • 동일 AZ에 인스턴스 배치할 경우, Spread Placement Group 사용 VPC Availability zone1 Availability zone2 Private subnet Private subnet EC2 ReplicaEC2 Active Public subnet Public subnet 게임 서버 Sync Availability zone3 Private subnet EC2 Replica Public subnet syncEBS EBS EBS
- 29. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Compliance Certifications PCIDSS, HIPPA, FISMA, ISO, K-ISMS, … 66가격 인하 단행 회수 Since 2006 가장 축적된 경험 Windows 워크로드의 운영 10years 세계적 규모와 고가용성 18 개 리젼 55Availability Zones 시큐리티와 컴플라이언스 60+ 고객만족과 기술혁신 최고의 성능을 내는 플랫폼 TCO 절감 80,000지속적 IOPS / Instance 100서비스 오퍼링 Over Windows 및 SQL Server 워크로드를 위한 최적의 클라우드
- 30. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS Migration 워크샵에 참석해주셔서 대단히 감사합니다. 저희가 준비한 내용, 어떻게 보셨나요? 더 나은 세미나를 위하여 설문을 꼭 작성해 주시기 바랍니다. aws-korea-marketing@amazon.com twitter.com/AWSKorea facebook.com/amazonwebservices.ko youtube.com/user/AWSKorea slideshare.net/awskorea twitch.tv/aws