[AWS Builders 온라인 시리즈] AWS 서비스를 활용하여 파일 스토리지 빠르게 마이그레이션 하기 - 서지혜, AWS 솔루션즈 아키텍트

AWS Builders
Online Series
AWS 서비스를 활용하여 파일 스토리지
빠르게 마이그레이션 하기
서지혜 AIML Specialist PSA

© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS storage services portfolio
File Storage Object StorageBlock Storage
BackupHybrid Transport & Edge
Amazon FSx for
Windows File Server
Amazon FSx
for Lustre
Amazon
EFS
Amazon S3
Glacier
Amazon
S3
Amazon
EBS
AWS Backup
AWS Storage
Gateway family AWS DataSync AWS Transfer
for SFTP
AWS Snow*
family

AWS Storage services portfolio
File Storage Object StorageBlock Storage
BackupHybrid Transport & Edge
Amazon FSx for
Windows File Server
Amazon FSx
for Lustre
Amazon
EFS
Amazon S3
Glacier
Amazon
S3
Amazon
EBS
AWS Backup
AWS Storage
Gateway family AWS DataSync AWS Transfer
for SFTP
AWS Snow*
family

Agenda
1. 파일 데이터 마이 그레이션 시 고려 사항
2. Offline 데이터 이전을 위한 Snowball, Snowball Edge
3. Online 데이터 이전을 위한 DataSync
4. Hybrid storage를 위한 File Gateway
5. 기존 유지하고 S3스토리지로 저장하기 위한 Transfer for SFTP

파일 데이터 마이그레이션시 고려사항
1. Online 또는 Offline 데이터 이전
2. 작은 사이즈의 대용량 파일 마이그레이션
3. 파일 마이그레이션 스크립트 작성 및 테스트
4. Metadata 관리 및 데이터 정합성 확인
5. 데이터 전송 보안
회선
속도
데이터
100Mbps 1Gbps 10Gbps
10TB 12 일 30 시간 3 시간
100TB 124 일 12 일 30 시간
1PB 3 년 124 일 12 일
10PB 34 년 3 년 124 일
Orange: Online transfer
Light Blue: Offline transfer
White: Online, offline, or hybrid

AWS Snowball AWS Snowball Edge AWS Snowmobile
• 42 or 72TB Usable storage
• 10 GE networking
• Data encryption end-to-end
• Small file Batching
• Snowball command line
• S3 Adapter runs on workstation
• 80TB Usable storage
• 10/25/40 GE networking
• S3 adapter built-in
• NFS, AWS Greengrass
• Storage or Compute Optimized
• EC2/AMI support for edge compute
• Exabyte-scale storage in a 45ft
container
• Dedicated security personnel
• GPS tracking, alarm monitoring,
24/7 surveillance, and optional
additional security
오프라인 데이터 이전을 위한 Snow* Family

AWS Snowball/Edge import workflow
1–2 days1–2 days 1–N days
(file transfer
speed dependent)
1–3 days
1–3 days
(Edge경우 Lambda
또는 AMIs 이미지
추가)

AWS관리 콘솔에서 신청 및 현황 조회

Snowball: Typical Deployment
RJ45 10Gb
SFP+ *
SFP+ (Multi-
mode Fiber LC)
QSFP 40Gb
USB (Not used)
RJ45 10Gb
SFP 25Gb
Snowball V1
Snowball Edge
*No transceivers provided

Snowball/Edge command
Workstation Snowball v1
Snowball client
Workstation
Snowball v1
(S3 adapter)
Workstation
S3 api
Workstation
Workstation
S3 api / NFS
Workstation
Snowball
Edge
S3 Adapter runs
on workstation
S3 adapter built-in

Snowball Command (Unlocking Devices)
./snowball-adapter -i 10.10.10.2 -m /users/user/manifest_file.bin -u f5dc-bb4db-
1f4bd-c0872-612e5
Snowball Edge Unlock하기
Snowball Unlock하기
snowballEdge unlock-device --endpoint http://10.10.10.2 --manifest-file
c:usersadmindesktopmanifest_file.bin --unlock-code f5dc-bb4db-1f4bd-c0872-
612e5

Snowball command(복사 하기)
client_workstation> snowball cp H:testtest123.txt s3://test-bucket/test/
Snowball 명령어로 파일 복사 하기
client_workstation> aws s3 cp --recursive /data/smallfile_out_1
s3://sbeingest2018 --endpoint http://10.10.10.2:8080 --profile sbe1
S3 API 로 파일 복사 하기
client_workstation> aws s3 sync /var/log s3://sbeingest2018/datasync --
endpoint http://10.10.10.2:8080 --profile sbe1

Snowball Command (작은 파일 배칭 작업)
Snowball Snowball Edge
 기본으로 1MB 이하 파일은 .snowballarchive file로
배칭 처리 Default (1M이하, 최대 100,000개)
• --batchFileSizeInKBLimit [100KB ~ 1MB]
• --batchNumOfFile [5,000 ~ 100,000]
 S3 ingest시 자동으로 압축이 풀려 S3로 import됨
• 권장 파일 개수 : 10,000
• 압축 파일 사이즈: 100GB 이하*
• tgz, tar, ZIP 파일 지원
 100GB이하, 지원 파일 타입, 옵션 설정시 자동 으로
압축 해제 하여 S3로 import
client_workstation>tar -cf - /Logs/April | aws s3 cp -
s3://mybucket/batch01.tar
--metadata snowball-auto-extract=true --endpoint
http://10.10.10.2:8080 --profile sbe1
client_workstation> snowball -v cp C:datasource
s3://test/testing/1 -r --batch
https://docs.aws.amazon.com/snowball/latest/develope
r-guide/batching-small-files.html

1. 작은 파일은 큰 파일로 압축하여 복사하기
2. 병렬로 다수의 COPY 명령 실행!
3. 다수의 Workstation을 활용 하여 Copy하기
4. 폴더 단위 복제
5. 이름변경을 위해서는 AWS S3 Batch 서비스 활용
6. 파일 서버에서 다른 작업을 진행 하지 않음
7. 로컬 네트워크 사용 자제 및 Local hop개수 줄이기
성능을 높이기 위한 TIP
snowball cp C:MyFilesfile1.txt
s3://mybucket
s3://mybucket
s3://mybucketsnowball cp –r C:MyFiles* s3://mybucket
https://docs.aws.amazon.com/AmazonS3/latest/dev/batch-ops-invoke-lambda.html#batch-ops-invoke-
lambda-create-job

Performance Testing tools
client_workstation>
nload
테스트를 위한 파일 : https://github.com/bengland2/smallfile
성능 확인 툴 : nload
• White paper: AWS Snowball Edge data migration
guide
• Blog: Data migration best practices with Snowball
Edge
마이그레이션 가이드:

Shared
file system
NFS TLS
On-Premises
Amazon S3
bucket (모든 S3
class 선택가능)
AWS Storage resources
• VMware 또는 EC2에
Agent 배포
• NFS/SMB 프로토콜
로컬 서버 접근
Region
AWS DataSync
agent
• 최적화 된 네트워크
프로토콜을 사용한
병렬 전송
• Agent당 최대
10Gbps
• S3 및 EFS를 읽고
쓰는데 최적화 됨
• IAM / VPC
Endpoint를
사용하여 안전하게
접근
• 완전 관리형 서비스
• Agent로 부터
데이터 송수신
받기위해 자동 확장
AWS DataSync Amazon Elastic
File System
How AWS DataSync works

AWS DataSync
최대 10 Gbps per
agent (100TB/day)
Agents 스케일
아웃으로 빠른 전송
병렬 최적화
인라인 압축
변경분만 전송
Rsync대비 최대 10x
빠름
Pay as
you go pricing -
$0.0125/GB
예측 가능
최소 비용 없음
IAM & VPC 를 통한
S3, EFS 접근
TLS1.2 in-transit
암호화
End-to-end 데이터
검증
I/O 또는
transmission 에러시
자동 복구
VPC. FIPS
endpoints 선택
Fast data
transfer
Easy to use Secure and reliable
AWS
Integrated Cost-effective
클라우드 내 별도
인프라 설치,
운영,확장 불필요
파일 이름 패턴으로
필터링
Agent 자동 패치 및
업데이트
대역폭 제한 설정
주기적인 Transfer
스케줄 설정
NFS,SMB 프로코톨
S3, EFS 스토리지
지원
모든 S3 스토리지
클래스로 direct 저장
CloudWatch Metrics,
Logs, Events 지원
CloudTrail logs

© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
VPC Endpoint로 더 안전하게 데이터 전송하기
On-Premise
DataSync Agent S3 bucket
Application
NFS & SMB
AWS Cloud
WebBrowser
Customer
Gateway
AWS Management Console
Private Network
Public Network
VPC
VPN
Gateway
Activation에만 필요
VPC Endpoint
for DataSync
DataSync
Service
80 Port
443 Port
datasync.<region>.amazonaws.com 방화벽 오픈

AWS DataSync
Demo

S3 copy vs. DataSync 성능 비교
10만개 총 327.38 MB 파일전송

Storage Gateway
AWS CloudCustomer premises
Files
(NFS/SMB)
Volumes
(iSCSI)
Tapes
(iSCSI VTL)
AWS Storage Gateway
Integrated with IAM, KMS, CloudTrail, CloudWatch services
HTTPS
Amazon S3
Glacier
Amazon S3
Amazon Elastic
Block Store
Configuration: VMware, Hyper-V, EC2, Hardware
Amazon S3 Glacier
Deep Archive

File Gateway: Overview
로컬 캐쉬를 사용하여 파일 기반 어플리케이션에서 Amazon S3의 객체 저장 및 접근
On-Premise
File Gateway VM
S3
bucketApplication
NFS v3/v4 또는 SMB v2/v3 프로토콜 지원
• Metadata 는 object user metadata로 저장 됨
Local Cache에 최근 데이터 저장
• Read-through, write-back, LRU managed
• 최대 16TB
Amazon S3에 데이터 저장
• 오브젝트 단위 암호화- SSE-S3 or SSE-KMS
• S3 Object Lock 지원
Storage Gateway
Service
NFS & SMB
HTTPS
HTTPS
AWS Cloud

AWS File Gateway
S3 Storage 비용
Request 비용:
• Data written to
gateway $0.01
per GB capped
at $125 per
gateway per
month
• Standard
Amazon S3
request 비용
Cost-effective
AWS
Integrated
S3, KMS,
CloudWatch Metrics,
Logs, Events 지원
Broad
accessibility
다양한 Microsoft,
Linux OS의 NFS,
SMB client버전 지원
On-premise AD
또는 AWS Managed
Microsoft AD 와 연동
S3 Object를 동일한
파일로 접근
다양한 환경에서
데이접근 가능하게
함
VMware,Hyper-V
Agent제공
Hadware appliance
(미주)
고객 Maintenance
스케줄에 따라
gateway software
업그레이드
Gateway health 및
성능 Dashboard
Easy to Use
NTFS Access Control
Lists (ACLs)를 이용한
사용자 그리고 그룹
permission설정
End-to-end 데이터
암호화 및 사이닝
VPC endpoints 지원
VMware HA 지원
Compliances
Secure and reliable

파일 쓰기 동작 방식: 비동기 적으로 S3에 업로드
AWS
AWS region
Objects in your
S3 bucket
File
share
Data
cache
Metadata
cache
File gateway
캐쉬에 먼저 데이터 쓰기
• 캐쉬에 쓰여진 데이터 중 변경분은 합쳐 parallel
multipart PUTs 으로 처리 됨
• 파일 이름 변경 시 Copy-PUT 명령어 실행
(네트워크를 통해 데이터를 재전송 하지 않음)
• 자동 유효성 검사및 오류 처리
NFS or
SMB client

파일 읽기 동작 방식
AWS
AWS region
Objects in your
S3 bucket
File
share
Data
cache
Metadata
cache
File gateway
Clients는 먼저 데이터
캐쉬에서 데이터를 읽음
캐쉬에 없을 경우 S3 Byte-range get 실행
스트리밍 워크로드를 위해 Pre-Fetching
NFS or
SMB client

VPC Endpoint로 더 안전하게 데이터 전송하기
On-Premise
File Gateway VM
S3 bucket
Application
Storage
Gateway
Service
NFS & SMB
VPC
http proxy
AWS Cloud
WebBrowser
Customer
Gateway
VPN
Gateway
AWS Management Console
Private Network
Public Network
Activation에만 필요
VPC Endpoint
GW for S3
VPC Endpoint
for SGT

DataSync를 통해 On-premise NAS 스토리지를 S3로 복제하고, 증분 복제를 통해 최신 상태 유지1
2 File Gateway를 통해 S3에 저장된 데이터를 Hybrid storage로 사용
3 Storage Gateway Private Link 및 HTTP Proxy를 통해 VPC 통해 내부 IP 접근
On-Premise (AWS Oregon Region) AWS Seoul Region
NAS Server
(NFS)
AWS DataSync
Agent(VM)
Applications
AWS DataSync
AWS Storage Gateway
S3
Private Network VPC
VPC Endpoint (Interface)
VPN/DX
(VPC Peering)
1
AWS FileGateway
VM
2
3
EC2 Http Proxy VPC Endpint (Gateway)
VPC Endpoint (Interface)
DataSync를 활용한 무중단 마이그레이션

파일 및 폴더 메타 데이터 캐쉬
AWS
AWS region
Objects in your
S3 bucket
File
share
Data
cache
Metadata
cache
File gateway
디렉토리 레벨의 메타데이터 캐쉬
NFS or
SMB client
C:> dir D:foo
$ ls /foo/* s3:ListBucket /foo/*

S3 Bucket에 직접 새 파일을 올리게 된다면?
AWS
AWS region
Objects in your
S3 bucket
File
share
Data
cache
Metadata
cache
File gateway
RefreshCache API로 캐쉬 메타 데이터 업데이트
Prefix-level 단위 업데이트
Amazon CloudWatch Event 를 통해 확인
NFS or
SMB client
s3:ListBucket /foo/*

$ ls
$ aws storagegateway refresh-cache --file-share-arn <my_file_share_arn>
$ls
RefreshCache:만약 새로운 파일이 추가 되었다면 ?
AWS
AWS region
Objects in your
S3 bucket
File
share
Data
cache
Metadata
cache
File gateway
NFS or
SMB client
S3://bucketname/folder1/file1.txt
S3://bucketname/folder1/file2.txt 추가
/folder1/file1.txt
/folder1/file1.txt
/folder1/file2.txt

$ ls
$ aws storagegateway list-file-shares
$ aws storagegateway refresh-cache --file-share-arn <my_file_share_arn>
$ls
RefreshCache: 만약 새로운 폴더가 추가 되었다면?
AWS
AWS region
Objects in your
S3 bucket
File
share
Data
cache
Metadata
cache
File gateway
NFS or
SMB client
S3://bucketname/folder1/*
S3://bucketname/folder2/*
S3://bucketname/folder3/text.txt 추가
/folder1/*
/folder2/*
/folder1/*
/folder2/*
/folder3/
/ 디렉 토리 밑의 폴더 이름까지만 refresh 됨.
text.txt 파일 메타 정보는 refresh되지 않음

Use Case 컨텐츠 배포
nfs:/bucket/blue/
nfs:/bucket/green/
File gateway A
File gateway B
s3:/bucket
각각의 게이트웨이가 다른 Prefix 사용
(+) multi-write에도 안전함;
(-) A 와 B 공유 불가
File gateway A
(reader)
File gateway B
(reader)
S3 bucket
File gateway A
(writer)
한 명의 writable 파일 공유,
다수의 read-only 파일 공유

데이터 업로드 완료 알람 설정
AWS
AWS region
Objects in your
S3 bucket
File
share
Data
cache
Metadata
cache
File gateway
NotifyWhenUploaded API 요청을 통해
업로드 완료시 CloudWatch Event 발생
NFS or
SMB client
업로드 완료 이벤트
RefreshCache on 2nd gateway
File GatewayCloudWatch Events

Use Case: 컨텐츠 배포 (Cross Region Replication)
• CRR 을 통해 다른 리전의 buckets으로 파일 복제
• Cross Region Replication 과 RefreshCache 를 사용하여 전세계로 파일 배포
(e.g. 지역별 브랜치 오피스 )
• CRR은 버저닝 필수. 한개의 리전에서 파일을 지워도 다른 리전은 지워지지 않음.
Delete maker는 복제되지 않음
File gateway A
(writer)
File gateway A
(reader)
S3 bucket S3 bucket

Use Case: 하이브리드 백업
File gateway Standard S3 S3 IA
S3 One Zone IA
Glacier
AWS
• Object당 최대 5TB
• 백업 솔루션 동작 방식 이해를 통한 Caching 사이징 필요.
(Full backup이 한번에 복구 가능한 사이즈의 캐쉬 설정)
30일 60일
Application

How AWS Transfer for SFTP works?
SFTP
users
AWS Cloud
Amazon Simple
Storage Service
(Amazon S3)
사용자 credentials,
방화벽 설정, 스크립트
변경 불필요
Custom identity provider
Amazon
API Gateway
AWS
Lambda
클라우드 기능으로
워크플로우 최신화
Amazon
Athena
Amazon
Redshift
Amazon
EMR
Amazon
SageMaker
Your Amazon Virtual
Private Cloud (Amazon
VPC) or data center
DIY SFTP server
and data
SFTP 인프라
관리 불필요
AWS Transfer for
SFTP

Seamless migration
동일 클라이언트,
Credentials, 호스트 네임
At launch (re:Invent 2018)
Microsoft AD, LDAP과 같은 기 Identity
Provider와 연동
Route 53을 사용하여 기존 SFTP
domain을 Service endpoint 로 연동
표준 SFTP 클라이언트 지원
로지컬 디렉토리지원 (Amazon S3
bucket 경로와 사용자에게 보이는 경로를
매핑)
2019
기존 서버의 RSA Host Key를 Import
동일 서버 Identity 와
스크립트
NLB를 통해 Elastic IP 지원

보안 및 컴플라이언스
VPC endpoints (AWS PrivateLink) 및
AWS CloudFormation 지원
2019
SOC 1,2,3 compliant
Amazon CloudWatch logging 개선
Source IP 로깅 new!
저장 데이터 암호화
(SSE-S3 or SSE-KMS)
Amazon CloudWatch 및 AWS
CloudTrail에서 서버 활동 내역 추적
Use AWS SFTP for your regulated workloads

Support for native AWS integrations
AWS CloudFormation templates
2019
VPC endpoints (AWS PrivateLink)
support 지원
Tag 기반 access control new!
Amazon S3 bucket 데이터 저장
자동 Post-upload 프로세싱을 위한
Amazon S3 Event 연동
AWS Identity and Access Management
(IAM) 를 활용한 접근 제어
identity provider 연동을 위해 Amazon
API Gateway 및 AWS Lambda 활용
Easily use AWS services for a rich set of functionality

AWS Transfer for SFTP
Demo

AWS 온라인 교육
추천 교육 과정
• AWS Cloud Practitioner Essentials (Second Edition) (Korean)
AWS 클라우드의 기초를 배우고, 기본 자격증인 AWS Certified Cloud
Practitioner 시험을 준비하세요.
• Amazon DynamoDB for Serverless Architectures
이 과정은 Amazon DynamoDB가 무엇이고 서버리스 아키텍쳐를
구축하는 데 어떻게 활용되는지 소개합니다.
• AWS Security Fundamentals (Korean)
이 과정은 기초적인 클라우드 컴퓨팅을 비롯해 AWS 액세스 제어 및 관리,
거버넌스, 로깅 및 암호화 방법 등 AWS의 보안 개념을 소개합니다.
• Getting Started with Amazon Simple Storage Service (Amazon S3)
이 과정은 S3의 일반적인 사용 사례를 통해 어떻게 S3가 애플리케이션에
객체 스토리지를 제공하는지 소개하며, 언제 S3를 활용해야 하는지 알려
드립니다.
자신의 속도에 맞춰 학습하세요.
무료 AWS 디지털 교육을 통해
편한 시간에 원하는 장소에서
최신 클라우드 기술을
학습할 수 있습니다.

aws-korea-marketing@amazon.com
twitter.com/AWSKorea
facebook.com/amazonwebservices.ko
youtube.com/user/AWSKorea
slideshare.net/awskorea
twitch.tv/aws
AWS Builders 온라인 시리즈에 참석해주셔서
대단히 감사합니다.
저희가 준비한 내용, 어떻게 보셨나요?
더 나은 세미나를 위하여 설문을 꼭 작성해 주시기 바랍니다.

[AWS Builders 온라인 시리즈] AWS 서비스를 활용하여 파일 스토리지 빠르게 마이그레이션 하기 - 서지혜, AWS 솔루션즈 아키텍트

More Related Content

What's hot (20)

Similar to [AWS Builders 온라인 시리즈] AWS 서비스를 활용하여 파일 스토리지 빠르게 마이그레이션 하기 - 서지혜, AWS 솔루션즈 아키텍트 (20)

More from Amazon Web Services Korea (20)

[AWS Builders 온라인 시리즈] AWS 서비스를 활용하여 파일 스토리지 빠르게 마이그레이션 하기 - 서지혜, AWS 솔루션즈 아키텍트