워크로드에 적합한 최적의 클라우드 스토리지를 찾기 원하는 당신에게 - 김기현 AWS 솔루션즈 아키텍트 :: AWS Summit Seoul 2021
0 likes214 views
스토리지는 데이터를 저장하고 서비스하는 워크로드의 핵심 요소 중 하나 입니다. 이 세션은 AWS의 다양한 스토리지 서비스에 대해 소개하고, 워크로드에 맞는 최적의 스토리지를 선택하는 방법에 대해 가이드 드립니다.
워크로드에 적합한 최적의 클라우드 스토리지를 찾기 원하는 당신에게 - 김기현 AWS 솔루션즈 아키텍트 :: AWS Summit Seoul 2021
- 1. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. K O R E A | M A Y 1 1 - 1 2 , 2 0 2 1
- 2. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 김기현 솔루션즈 아키텍트 AWS 워크로드에 적합한 최적의 클라우드 스토리지를 찾기 원하는 당신에게
- 3. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS 스토리지 Overview AWS 스토리지 서비스 New features 워크로드에 적합한 스토리지 Agenda
- 4. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS 스토리지 Overview
- 5. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 비즈니스 결과 극대화 BUSINESS ARCHITECTURE 민첩성과 혁신 능력 향상 필수 요소 향상: 보안, 가용성, 성능, 비용 INFRASTRUCTURE 변화의 여정.. 보안 비용 최적화 성능 가용성 현대화 엣지 데이터 서비스 데이터 레이크 문화 혁신 산업 솔루션 AI/ML 실시간 의사결정
- 6. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS 환경에서의 스토리지 Amazon S3 Amazon EBS Amazon FSx for Windows File Server Amazon FSx for Lustre Amazon EFS #1 OBJECT #1 BLOCK #1 FILE 가장 완벽한 클라우드 스토리지 포트폴리오
- 7. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS 환경에서의 데이터 전송 툴 온프레미스 AWS Storage Gateway 파일, 블록, 테잎 파일 & 오브젝트 온라인 전송 AWS DataSync AWS Transfer Family S3 Transfer Acceleration 빠른 전송 파일 교환 원거리 업로드 & 다운로드 AWS Direct Connect 격리 네트워크 오프라인 전송 대규모 파일, 오브젝트, HDFS, 데이터베이스 AWS Snowcone AWS Snowball AWS Snowmobile
- 8. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 비용 절감 AWS에서 TCO를 절감 하세요 온프레미스 AWS Data center 자원 네트워크 H/W, S/W 유지보수 인적 자원 사용 률 이관 Direct storage 데이터 전송 요청 검색 https://aws.amazon.com/tco-calculator/ Get started with TCO analysis
- 9. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS 스토리지 서비스
- 10. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 블록 스토리지 - Amazon EBS Instance EBS volume EBS volume EBS volume EBS는 EC2에서 사용하도록 설계된 영구 지속 블록 스토리지 서비스 EBS 볼륨을 활용하여 파일 시스템을 생성하거나 블록 디바이스 자체로 활용 고성능 대규모 데이터 처리와 트랜잭션 집약적인 워크로드에 사용 데이터베이스, 빅데이터 분석, 엔터프라이즈 애플리케이션과 같은 중요한 업무에 활용 Availability Zone AWS Cloud Amazon EC2
- 11. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon EBS - 특징 고가용성 안정성 확장성 성능 백업 • 낮은 지연 시간 제공 • 일정한 I/O를 유지 • 애플리케이션 중단없이 볼륨 유형 변경 가능 • 볼륨 크기 확장 및 축소 가능 • 99.999%의 가용성 제공 • 데이터 손실 방지를 위해 가용 영역 내에서 자동으로 볼륨 복제 • 스냅샷을 통해 특정 시점 백업 • 가용영역이나 리전간 스냅샷 복제 가능 • 모든 EBS 볼륨 유형은 암호화를 지원 • AES-256 및 Amazon이 관리하는 키 인프라를 사용
- 12. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon EBS - 타입 NoSQL 데이터베이스 트랜젝셔널 워크로드나 짧은 지연 시간이 필요한 어플리케이션 General-purpose SSD (gp2/gp3) Cassandra, MongoDB, CouchDB 빅데이터, 분석 큰 규모의 데이터 세트와 사이즈가 큰 I/O Throughput-optimized HDD (st1) Kafka, Splunk, Hadoop, data warehousing 파일, 미디어 대규모 콜드 데이터 세트로 자주 액세스하지 않는 워크로드 Cold HDD (sc1) Transcoding, encoding, rendering Provisioned IOPS SSD (io1/io2) 관계형 데이터베이스 I/O 집약적인 DB 어플리케이션 MySQL, SQL Server, PostgreSQL, SAP, Oracle
- 13. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Instance store gp2/gp3 io1/io2 sc1 st1 Instance store Amazon EBS – 사용 패턴 IOPS 기준 정하기 >80,000 ≤80,000 Throughput 기준 정하기 Small, random I/O Large, sequential I/O 지연 시간? <1 ms 한자리 수 ms throughput 총합? ≤2,375 MiB/s >2,375 MiB/s 어떤 것이 더 중요한지? 비용 성능 어떤 것이 더 중요한지? 비용 성능 i3
- 14. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon EBS – 다중 연결 •여러 서버에서 동일한 공간에 있는 파일을 Access해야 하는 경우 •서버, 스토리지, 네트워크 등의 장애 발생시에도 지속적인 서비스가 필요한 경우 •Block 기반의 database에서 가용성을 확보하기 위한 목적 •고성능이 필요한 HPC (High Performance Computing) 시스템 EC2 Nitro EC2 Nitro EC2 Nitro Application-Level I/O fencing E B S Availability Zone File System Parallel computing Highly integrated, Shared access Collaboration across teams Strong Consistency
- 15. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon EBS – 스냅샷 Availability Zone Account 1 Account 2 EBS 스냅샷을 계정간 공유 혹은 복제 가능 EBS 스냅샷을 리전간 복제 가능 (수동 / 스케쥴링) Region Region
- 16. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 관리형 클라우드 파일 스토리지 Amazon FSx for Windows File Server Amazon FSx for Lustre LINUX-BASED WORKLOADS WINDOWS-BASED WORKLOADS 윈도우 기반의 어플리케이션을 위한 관리형 클라우드 파일 시스템 리눅스 기반의 어플리케이션을 위한 클라우드 최적화 관리형 파일 시스템 고성능 요구 사항을 만족하는 관리형 Lustre 파일 시스템 COMPUTE-INTENSIVE WORKLOADS Amazon Elastic File System 비즈니스 워크로드를 위한 파일 시스템 고성능 컴퓨팅이 필요한 워크로드를 위한 파일 시스템
- 17. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 파일 스토리지 - Amazon EFS 높은 신뢰성 Amazon EFS는 fully managed 파일 시스템 입니다 비용 최적화 클라우드 네이티브
- 18. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon EFS – 클라우드 네이티브 • 자동 확장/축소 • 인프라와 용량을 미리 프로비저닝하고 운영 할 필요 X • 사용 한 만큼 비용 지불 • 사용이 간편하고, 단 몇 초만에 구성 가능 • 페타바이트급 확장 • 낮은 지연 시간과 maximum I/O를 위한 퍼포먼스 모드 지원 • 스토리지 용량과 함께 Throughput 확장 • Provisioned throughput 지원 • 온프레미스, inter region, 그리고 클라우드 네이티브 어플리케이션간의 파일 공유 • 다양한 AWS 컴퓨팅 모델들과 통합 • 수천대의 Amazon EC2 인스턴스 동시 접근 가능 • Amazon ECS와 EKS에 연결 • Amazon SageMaker notebooks에 사용 유연성 확장성 통합 클라우드 네이티브
- 19. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon EFS – 높은 신뢰성 높은 신뢰성 • 높은 가용성과 내구성을 위해 3개의 AZ에 데이터 저장 • 여러 AZ로 부터 파일 시스템 접근 가능 • 동시 접근을 위한 강력한 일관성 • 네트워크 트래픽 제어 • 파일과 디렉토리 접근 제어 • AWS IAM을 이용한 접근 제어 • 데이터 전송/저장 시 암호화 지원 • AWS IAM을 이용한 NFS client 접근 제어 • 모든 AWS 상업 리전에서 사용 가능 보안 글로벌 footprint 높은 가용성과 내구성
- 20. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon EFS – 비용 최적화 최소 약정 또는 선불 수수료 X 스토리지 프로비저닝X 스토리지 비용 절감을 위한 자동 수명주기 관리 스팟 인스턴스와 함께 사용 비용 최적화
- 21. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 파일 스토리지 – Amazon FSx 다양한 워크로드에 최적화된 완전 관리형 3rd Party 파일 시스템 완전 관리형 네이티브 호환성 및 AWS 통합 비용 효율성 Amazon FSx 는 Windows 기반 스토리지 및 HPC, 머신러닝 등의 용도를 위한 3rd Party 파일시스템들에 대한 호환성을 제공합니다.
- 22. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 파일 스토리지 - FSx for Windows File Server 기존 Windows 파일 스토리지를 완전 관리형 Windows 파일 서버로 대체 폭넓은 접근성 네이티브 Windows 지원 간단한 구성 / 완전 관리형 엔터프라이즈 급 보안과 컴플라이언스 준수 Windows Server 기반 SMB 프로토콜 지원 Active Directory 및 Windows ACL 연동 고성능 SSD storage 기반 구성
- 23. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 파일 스토리지 - FSx for Lustre 100+ GB/s throughput Millions of IOPS 일관된 Sub 밀리 세컨드 지연 Compute-intensive 한 워크로드를 위한 완전관리형 Lustre 파일 시스템 S3의 데이터에 손쉽게 연동 컴퓨팅 특화 워크로드에 대한 비용 최적화 높은 성능 확장성
- 24. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 오브젝트 스토리지 – Amazon S3 웹에서 사용 가능한 오브젝트 저장소 사용한 만큼만 비용 지불 뛰어난 내구성 (99.999999999%의 내구성 설계) 제약 없는 확장성 병렬 처리 지원 (Multipart Upload, Ranged GETs) Resource 단위의 IAM 권한 버킷(Bucket) 접근 정책 및 ACL API를 통한 직접 사용 가능
- 25. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon S3 – 스토리지 클래스 • 자주 접근되는 데이터 • 밀리세컨드 지연시간 • > 3 AZ • $0.0210/GB • 시간에 따라 접근 빈도가 다른 데이터 • 밀리세컨드 지연시간 • > 3 AZ • $0.0210 to $0.0125/GB • 객체 별 모니터링 비용 추가 • 최소 30일 저장 의무 • 자주 접근되지 않는 데이터 • 밀리세컨드 지연시간 • > 3 AZ • $0.0125/GB • GB당 추출 요구 부과 • 최소 30일 저장 의무 • 128KB 이상 크기 • AZ 장애로 데이터 손실 가능 • 자주 접근되지 않는 데이터 • 밀리세컨드 지연시간 • 1 AZ • $0.0100/GB • GB당 추출 요구 부과 • 최소 30일 저장 의무 • 128KB 이상 크기 • 데이터 아카이브 • 추출 시간은 분 단위 에서 시간 단위 • > 3 AZ • $0.0040/GB S3 Standard S3 Standard-IA S3 One Zone-IA S3 Glacier S3 Intelligent- Tiering S3 Glacier Deep Archive • 데이터 아카이브 • 12시간 또는 48시간 이후 접근 가능 • > 3 AZ • $0.00099/GB Frequent Infreque nt Access frequency
- 26. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon S3 – 클래스 선택 중복 복제 가용성 접근 성능 오브젝트 크기 보관 주기 2 Region ≥ 3 AZs 1 AZ 99.99% 99.9% 99.5% Frequent Archive Millisecond s Hours 0 Bytes 5 Terabytes Hours Years
- 27. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon S3 – 관리 용이성 모니터링 Amazon CloudWatch AWS CloudTrail S3 이벤트 알림 S3 인벤토리 S3 스토리지 클래스 애널리시스 S3 Glacier 리스토어 알림 복제 & 티어 리전 간 복제 S3 라이프사이클 EBS 데이터 라이프사이클 매니저 S3 Glacier로 리전 간 복제 S3 Glacier로 다이렉트 PUT 조직 S3 오브젝트 태깅 S3 프리픽스 S3 이벤트 알림 + Lambda S3 Glacier 복구 속도 업그레이드 S3 오브젝트 Lock S3 배치 작업 수정 & 변경
- 28. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 그 외 데이터 전송 옵션 AWS Direct Connect Amazon Kinesis Data Firehose AWS Snowball AWS Snowmobile AWS Storage Gateway Amazon S3 Transfer Acceleration AWS DataSync AWS Transfer for SFTP AWS Snowball Edge Amazon Kinesis Data Streams Amazon Kinesis Video Streams
- 29. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. New features
- 30. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 볼륨당 최대 250 MB/s throughput 3 IOPS / GB 용량에 따른 성능 증가 $0.10 / GB 비용 볼륨당 최대 1,000 MB/s throughput 3,000 IOPS (baseline) 기본 성능 $0.08 / GB 비용 Amazon EBS gp3 - 새로운 General Purpose SSD gp2 gp3 20% lower cost per GB General - Purpose SSD 4X
- 31. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon EBS io2 - Block Express Provisioned IOPS SSD 최대 64,000 IOPs IOPS 최대 1,000 MB/s Throughput 최대 16 TB Capacity 한 자리수 Millisecond Latency 99.999% Durability io2 io2 Block Express 최대 256,000 IOPs IOPS 최대 4,000 MB/s Throughput 최대 64 TB Capacity Millisecond 미만 Latency 99.999% Durability 4X 4X 4X
- 32. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon S3 - 스토리지 렌즈 (대시보드) 지난 90 일 동안 전체 조직에서 스토리지가 얼마나 증가 했는지? 내 스토리지 사용량 또는 활동에 비정상적인 추세나 급증이 있었는지? Visibility
- 33. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Write object to S3 Read object from S3 List objects AWS Region AZ AZ AZ S3 bucket Amazon S3 - 쓰기 후 강력한 읽기 일관성
- 34. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon S3 - 멀티 대상 복제 기능 Region A AZ AZ AZ S3 bucket Region B AZ AZ AZ S3 bucket Region D AZ AZ AZ S3 bucket Region C AZ AZ AZ S3 bucket Write object to S3 동일한AWS리전또는다른AWS리전의여러버킷에데이터복제
- 35. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 워크로드에 적합한 스토리지
- 36. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 무중단 쉬운 시작 대부분의 벤더들과의 통합 미디어 워크플로 테잎 교체 공공 기관 금융 서비스 헬스케어/ 생명 과학 간편한 이동 지연 시간에 민감 비용 절감 다양한 분석 툴 AI/ML의 기초 스트리밍 data 저장 Data 가시화 메이저 벤더들과의 통합 Fully managed 인프라스트럭쳐 Lift-and-shift 마이그레이션 컨테이너 / 서버리스를 위한 영구 스토리지 어떤 워크로드를 구축 하시나요? 백업 & 복구 아카이브 & 규정 준수 홈 디렉토리 데이터 레이크 비즈니스- 크리티컬 어플리케이션 모던 Apps
- 37. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 백업, 복구 & 아카이브 Data 백업, 복구, 그리고 아카이브 AWS Storage Gateway (optional) Amazon S3 Amazon FSx for Windows File Server Amazon Elastic File System All backup & archive Database Backup
- 38. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 미디어 워크로드 AWS Lambda (Job submit) AWS Lambda (Job complete) Amazon S3 (source) Amazon S3 (destination) AWS Elemental MediaConvert Amazon CloudFront Amazon Simple Notification Service Amazon CloudWatch AWSFoundation기반온디맨드비디오
- 39. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 데이터 레이크 데이터 프로세스 및 분석 머신 러닝 데이터 통합 심플한 데이터 레이크 구성 S3 Standard S3 Glacier
- 40. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. App 코드 App 코드 App 코드 모던 어플리케이션 Amazon EFS 파일 시스템 ECS/EKS/Fargate 컨테이너 온프레미스 서버 또는 EC2 인스턴스 Lambda 함수
- 41. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Block Storage Windows File Storage Linux/NFS File Storage Amazon EBS Amazon FSx for Windows File Server Amazon EFS 비즈니스-크리티컬 어플리케이션
- 42. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 여러분의 소중한 피드백을 기다립니다. 강연 종료 후, 강연 평가에 참여해 주세요! © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.
- 43. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 감사합니다 © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.