[AWS Innovate 온라인 컨퍼런스] Amazon SageMaker 신규 기능을 활용한 다양한 ML 모델 실험해 보기 - 서지혜, AWS AI/ML 스페셜리스트

© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon SageMaker 신규 기능을
활용한 다양한 ML 모델 실험해 보기
Seo, Jihye
AI/ML Specialist SA
AWS

Agenda
SageMaker 소개
머신러닝 과학자를 위한 통합 IDE SageMaker Studio & Notebook
데이터 전처리를 위한 SageMaker Processing
학습 Job 관리를 위한 SageMaker Experiment
학습 상태를 모티터링 하기 위한 SageMaker Debugger
데이터 전처리,학습 알고리즘 선택, 튜닝까지 알아서! Sagemaker AutoPilot

데이터 프로세싱 및
레이블링
원클릭 노트북 공유 및
고성능 알고리즘 및
모델
원클릭 트레이닝 디버깅 및 최적화
원클릭 배포 및
오토스케일링
Experiments를 통해
Job을 비교 및 시각화
Data drift를
자동으로 감지
완전 관리 및
오토스케일링,
최대 75% 절감
Prepare Build Train & Tune Deploy & Manage
101011010
010101010
000011110
Collect and
prepare
training data
Choose or build an
ML algorithm
Set up and manage
environments
for training
Train, debug, and
tune models
Deploy
model in
production
Manage training runs Monitor
models
예측결과를
사람을 통해
확인
Web-based IDE for machine learning
Automatically build and train models
Amazon SageMaker 머신 러닝을 위한 툴

Amazon SageMaker
머신 러닝 학습을 위한 신규 서비스
Amazon SageMaker
Studio
Amazon SageMaker
Notebooks
(Preview)
Amazon SageMaker
DebuggerAmazon SageMaker
Experiments
Amazon SageMaker
AutopilotAmazon SageMaker
Processing

SageMaker Studio와 신규 Notebook 서비스는 왜?
• 데이터 사이언스 팀에서 여러 데이터 사이언티스트들은 종종 단일 AWS
계정을 공유합니다. 데이터 사이언티스트는 AWS 콘솔을 사용하고 싶지
않으며 IT 팀 또한 이를 원하지 않습니다.
• Notebook 인스턴스는 재시작 하는데 시간이 걸리고 많은 사용자들이 한
인스턴스 타입을 코딩, 전처리, 학습을 하는데 동일하게 사용합니다.
따라서 불필요하게 고사양의 노트북 인스턴스를 사용하고 있습니다.
• 여러명의 데이터 사이언티스트 간에는 github 등을 를 통해 소스를
공유하기도 하지만 동일한 라이브러리 Dependency와 머신러닝
프레임워크 환경 차이로 인해 공유받은 소스 코드를 바로 실행해 보기가
어렵습니다.

Amazon SageMaker Studio
• Amazon SageMaker Studio는 계정 당 여러 사용자를 지원
• AWS Single Sign-On(SSO) 또는 IAM 역할(Role)을 사용하여 사용자 관리

SageMaker Studio 생성

1. SSO 로그인 : 사용자에게 초대 메일 발송. 초기 로그인 시 패스워드 세팅

1. SSO 로그인 : 전용 URL로 접속

https://d-1nbr4jxdocow.studio.us-east-
2.sagemaker.aws/jupyter/default
2. IAM 사용자로 로그인 하기

© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon SageMaker Notebook 아키텍처
Jupyter Server
• 사용자당 1개 할당
• 서버 무료
• Storage
- data는 EFS에 저장
- Snapsot은 S3 사용
Jupyter Kernels
• Notebook Cell을 실행
• Kernel instance 사용에
따라 과금 발생
JupyterLAB에 Sagemaker전용 plug-in을 추가
Jupyter Kernel Gateway를 통해 다양한
Notebook환경을 제공
Source: https://jupyter-kernel-gateway.readthedocs.io/en/latest/

Amazon SageMaker Experiments
대규모 실험 추적 최상 결과 시각화 평가 지표 기록 빠르게 반복 가능
실험 및 사용자의 매개 변수
및 평가 지표(metrics) 추적
맞춤형 실험 구성
팀, 목표, 가설에 의해
실험 구성
각 실험 간 시각화
및 비교
Python SDK와 API를
사용하여 맞춤 평가 지표를
기록하고 모델 추적
반복 학습을 통한 고품질
모델 개발

from smexperiments.experiment import Experiment
mnist_experiment = Experiment.create(
experiment_name="mnist-hand-written-digits-classification",
description="Classification of mnist hand-written digits",
sagemaker_boto_client=sm)
cnn_trial.add_trial_component(tracker.trial_component)
cnn_trial = Trial.create(
trial_name=trial_name,
experiment_name=mnist_experiment.experiment_name,
sagemaker_boto_client=sm,)
Experiment
생성
Trial 생성
Experiments & Trials
estimator.fit()
estimator.fit(
inputs={'training': inputs},
job_name=cnn_training_job_name,
experiment_config={
"TrialName": cnn_trial.trial_name,
"TrialComponentDisplayName": "Training",
},wait=True,)
from smexperiments.tracker import Tracker
with Tracker.create(display_name="Preprocessing",
sagemaker_boto_client=sm) as tracker:
tracker.log_parameters({
"normalization_mean": 0.1307, "normalization_std": 0.3081,
})
tracker.log_input(name="mnist-dataset", media_type="s3/uri", value=inputs)
Tracker
생성
https://aws.amazon.com/ko/blogs/aws/amazon-sagemaker-experiments-organize-track-and-compare-your-machine-learning-trainings/ 참고

Trial간 Metric 비교

데이터 검증 및 EDA(Exploratory Data Analysis)
Images from https://towardsdatascience.com/exploratory-data-analysis-8fc1cb20fd151

전처리 예제
- Null 값 제거
- 중복 값 또는 중복 라인
- Class 값들을 수치로 변환
- One-hot encoding
- 수치 값 Scaling
42개 열

72개 열

Amazon SageMaker Processing
데이터 처리 및 모델 평가를 위한 분석 작업 수행
SageMaker 빌트인 컨테이너
및 사용자 정의 컨테이너 지원
피쳐 엔지니어링을 위한
사용자 정의 스크립트
맞춤형 프로세싱
클러스터에 대한 분산
처리 제공
리소스 자동 생성, 설정 및
종료
SageMaker의 보안 및
규정 준수 기능 활용

# Built-in Scikit Learn Container
from sagemaker.sklearn.processing import SKLearnProcessor
processor = SKLearnProcessor(framework_version='0.20.0',
role=role,
instance_type='ml.m5.xlarge',
instance_count=1)
# Your Own Container
from sagemaker.processing import ScriptProcessor
processor = ScriptProcessor(image_uri='123456789012.dkr.ecr.us-west-2.
amazonaws.com/sagemaker-spacy-container:latest’,
role=role,
instance_count=1,
instance_type='ml.m5.xlarge')
from sagemaker.processing import ProcessingInput, ProcessingOutput
processor.run(
code='preprocessing.py',
inputs=[ProcessingInput(
source='dataset.csv',
destination='/opt/ml/processing/input')],
outputs=[ProcessingOutput(source='/opt/ml/processing/output/train'),
ProcessingOutput(source='/opt/ml/processing/output/validation'),
ProcessingOutput(source='/opt/ml/processing/output/test')]
)
Processing
Container
s3://bucket/path
/to/output_data
s3://bucket/path
/to/input_data
Instance 1
Cluster
/opt/ml/processing/inp
ut
/opt/ml/processing/out
put

학습이 잘 되는 지 무엇을 확일해 봐야할까요?
• Vanishing gradients
• Exploding gradients
• Epoch마다 Loss 가 줄어들지 않는 경우
• Weight 업데이트가 너무 작거나 너무 큰경우
• Tensor의 값이 모두 0 인 경우
학습 과정에 위 모든 것들이 영향을 줄수 있습니다.

데이터 분석 및 디버깅관련 데이터 캡처 자동 에러 감지 기능 경고(alerts)에 의한
생산성 향상
시각적 분석
및 디버깅
코드 변경 없이 데이터
분석 및 디버깅
분석을 위해 데이터가
자동으로 캡처됨
규칙에 따라 에러 자동 감지 경고 기반 수정 조치 수행 SageMaker Studio와
연계 가능
Amazon SageMaker Debugger

Amazon SageMaker Debugger 동작방식
Training in progress Analysis in
progress
Customer’s S3 Bucket
Amazon CloudWatch
Event
Amazon SageMaker
Amazon SageMaker
Studio Visualization
Amazon SageMaker
Notebook
Action  Stop the training
Action  Analyze using
Debugger SDK
Action  Visualize Tensors
using charts

Early Stopping
• 룰에 따라 디버거가 해당 메트릭 모니터링 문제가 발견 되었을경우 “IssuesFound” 로 Job
상태 변경
• CloudWatch Event 와 연계된 Lambda를 통해 훈련 Job을 정지 할수 있음
Training job
Debugger
job
Loss value
4.2 5.8
Status
InProgress IssuesFound
Amazon CloudWatch
Detect state changes
AWS Lambda
X
Lambda function
Write the job stop code
in advance
Stop

Debugger Built-in Rules
from sagemaker.debugger import Rule, CollectionConfig, rule_configs
exploding_tensor_rule = Rule.sagemaker(
base_config=rule_configs.exploding_tensor(),
rule_parameters={"collection_names": "weights,losses"},
collections_to_save=[
CollectionConfig("weights"),
CollectionConfig("losses")
]
)
vanishing_gradient_rule = Rule.sagemaker(
base_config=rule_configs.vanishing_gradient()
)
import sagemaker as sm
sagemaker_estimator = sm.tensorflow.TensorFlow(
entry_point='src/mnist.py',
role=sm.get_execution_role(),
base_job_name='smdebug-demo-job',
train_instance_count=1,
train_instance_type="ml.m4.xlarge",
framework_version="1.15",
py_version="py3",
# smdebug-specific arguments below
rules=[exploding_tensor_rule, vanishing_gradient_rule],
)
sagemaker_estimator.fit()

from sagemaker.debugger import Rule, CollectionConfig
custom_coll = CollectionConfig(
name="relu_activations",
parameters={
"include_regex": "relu",
"save_interval": "500",
"end_step": "5000" })
improper_activation_rule = Rule.custom(
name='improper_activation_job',
image_uri='552407032007.dkr.ecr.ap-south-
1.amazonaws.com/sagemaker-debugger-rule-
evaluator:latest',
instance_type='ml.c4.xlarge',
volume_size_in_gb=400,
source='rules/custom_rules.py',
rule_to_invoke='ImproperActivation',
rule_parameters={"collection_names":
"relu_activations"},
collections_to_save=[custom_coll] )
Debugger Custom Rules
import sagemaker as sm
sagemaker_estimator = sm.tensorflow.TensorFlow(
entry_point='src/mnist.py',
role=sm.get_execution_role(),
base_job_name='smdebug-demo-job',
train_instance_count=1,
train_instance_type="ml.m4.xlarge",
framework_version="1.15",
py_version="py3",
# smdebug-specific arguments below
rules=[improper_activation_rule],
)
sagemaker_estimator.fit()
Default tensor emitting interval Step = 500

Debugger Custom Rules (소스 코드 hook 생성)
import smdebug.tensorflow as smd
def train(batch_size, epoch, model):
….
def main():
…
model = ResNet50(weights=None, input_shape=(32,32,3), classes=10)
# Create hook from the configuration provided through sagemaker python sdk
hook = smd.KerasHook.create_from_json_file()
opt = tf.keras.optimizers.Adam()
# wrap the optimizer so the hook can identify the gradients
opt = hook.wrap_optimizer(opt)
model.compile(loss='categorical_crossentropy',
optimizer=opt,
metrics=['accuracy'])
# start the training.
train(opt.batch_size, opt.epoch, model)

빠르게 시작 가능
표(tabular) 형식으로 데이터
제공 및 타겟 변수 지정
자동 모델 생성
피쳐 엔지니어링 및 자동 모델
튜닝을 통한 ML 모델 자동 생성
가시성 및 데이터
제어
모델에 맞는 노트북 소스 코드
완벽한 가시성 및 제어 기능을 갖춘 자동 모델 생성
추천 및 최적화 기능
리더보드 확보 및 모델
개선 지속
Amazon SageMaker Autopilot

SageMaker Autopilot 동작 방식
문제 유형
• Linear regression
• Binary Classification
• Multi-Class classification
지원 알고리즘
• XGBoost
• Linear Learner
+ 계속 추가 예정

Simple to get started

Under the hood
1 7 250

Autopilot에서 자동 생성된 노트북

Autopilot에서 자동 생성된 노트북
XGBoost
Tree depth
Max leaf nodes
Gamma
Eta
Lambda
Alpha
Etc.

Hyperparameter 튜닝 결과 비교

#
Model Accuracy Latency Model Size
1
churn-xgboost-1756-013-
33398f0
95% 450 ms 9.1 MB
2 churn-xgboost-1756-014-53facc2 93% 200 ms 4.8 MB
3
churn-xgboost-1756-015-
58bc692
92% 200 ms 4.3 MB
4 churn-linear-1756-016-db54598 91% 50 ms 1.3 MB
5 churn-xgboost-1756-017-af8d756 91% 190 ms 4.2 MB
모델 트레이닝 Tradeoffs

AWS 머신러닝(ML) 교육 및 자격증
Amazon의 개발자와 데이터 과학자를 교육하는 데 직접 활용 되었던 커리큘럼을 기반으로 학습하세요!
전체 팀을 위한
머신러닝 교육
원하는 방법으로!
교육 유연성 제공
전문성에 대한
검증
비즈니스 의사 결정자,
데이터 과학자, 개발자,
데이터 플랫폼 엔지니어 등
역할에 따라 제공되는
맞춤형 학습 경로를
확인하세요.
약 65개 이상의
온라인 과정 및
AWS 전문 강사를 통해
실습과 실적용의 기회가
제공되는 강의실 교육이
준비되어 있습니다.
업계에서 인정받는
‘AWS 공인 머신러닝 – 전문분야’
자격증을 통해
머신러닝 모델을 구축, 학습,
튜닝 및 배포하는 데 필요한
전문 지식이 있음을
입증할 수 있습니다.
https://aws.amazon.com/ko/traini
ng/learning-paths/machine-
learning/

© 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
AWS Innovate 온라인 컨퍼런스에 참석해주셔서
대단히 감사합니다.
aws-korea-marketing@amazon.com
twitter.com/AWSKorea
facebook.com/amazonwebservices.ko
youtube.com/user/AWSKorea
slideshare.net/awskorea
twitch.tv/aws
저희가 준비한 내용, 어떻게 보셨나요?
더 나은 세미나를 위하여 설문을 꼭 작성해 주시기 바랍니다.

[AWS Innovate 온라인 컨퍼런스] Amazon SageMaker 신규 기능을 활용한 다양한 ML 모델 실험해 보기 - 서지혜, AWS AI/ML 스페셜리스트

More Related Content

What's hot (20)

Similar to [AWS Innovate 온라인 컨퍼런스] Amazon SageMaker 신규 기능을 활용한 다양한 ML 모델 실험해 보기 - 서지혜, AWS AI/ML 스페셜리스트 (20)

More from Amazon Web Services Korea (20)

[AWS Innovate 온라인 컨퍼런스] Amazon SageMaker 신규 기능을 활용한 다양한 ML 모델 실험해 보기 - 서지혜, AWS AI/ML 스페셜리스트