SlideShare a Scribd company logo
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon SageMaker 기반 고품질
데이터 생성 및 심화 기계학습 기법
김필호
AWS AI/ML Specialist SA
강정희
AWS Solutions Architect
발표자료 바로 공개
발표자료는 발표 종료 후 해당
사이트에서 바로 보실 수
있습니다
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon SageMaker Ground Truth (GT)
Ground Truth 데모 – 강정희 SA
GT Active Learning 소개
SageMaker Semantic Algorithm 소개
Amazon SageMaker Neo 소개
목차
S U M M I T © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Put machine learning in the
hands of every developer
Our mission at AWS
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
The Amazon ML stack: 가장 넓고 깊은 기능
R E K O G N I T I O N
I M A G E
P O L L Y T R A N S C R I B E T R A N S L A T E C O M P R E H E N D L E XR E K O G N I T I O N
V I D E O
Vision Speech Language Chatbots
A M A Z O N
S A G E M A K E R
B U I L D T R A I N
F O R E C A S T
Forecasting
T E X T R A C T P E R S O N A L I Z E
Recommendations
D E P L O Y
Pre-built algorithms & notebooks
Data labeling (G R O U N D T R U T H )
One-click model training & tuning
Optimization (N E O )
One-click deployment & hosting
F r a m e w o r k s I n t e r f a c e s I n f r a s t r u c t u r e
E C 2 P 3
& P 3 D N
E C 2 C 5 F P G A s G R E E N G R A S S E L A S T I C
I N F E R E N C E
Reinforcement learningAlgorithms & models ( A W S M A R K E T P L A C E
F O R M A C H I N E L E A R N I N G )
I N F E R E N T I A
AI SERVICES
ML SERVICES
M L F R A M E W O R K S &
I N F R A S T R U C T U R E
App 개발자용
ML 개발자 및
데이타 과학자용
ML 연구자 및
학계용
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AMAZON
SAGEMAKER
Data labeling
(G R O U N D
T R U T H )
오늘 세션에서 다룰 SageMaker 서비스들
Optimization
(N E O )
Neo
Semantic
Segmentation
Algorithm
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
머신러닝 사이클
비즈니스 문제
데이터 준비
모델 개발
모델 배포
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
이전까지만 해도 ML 은 여전히 복잡한 문제였습니다.
1
2
3
1
2
3
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon SageMaker: ML 개발, 훈련 그리고 배포 모두를 지원
1
2
3
1
2
3
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
고품질의 레이블링 작업을
좀 더 쉽게 하는 방법
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon SageMaker: ML 개발, 훈련 그리고 배포 모두를 지원
훈련용 데이터
수집 및 준비
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
왜 데이터 레이블링이 필요할까요?
“Five”
“Two”
“Three
“Seven”
입력 데이터 ML 모델 & 알고리즘 예측
Input
layer
Hidden
layers
Output
layer
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
왜 데이터 레이블링이 힘들까요?
• ML 모델은 매우 큰 훈련 데이터가 필요합니다.
• 빠르게 데이터를 구축하기 위해선 많은
사람이 필요합니다.
• 레이블링 작업도 높은 정확도를 갖추기가
쉽지 않습니다.
• ML 모델 개발 완료까지의 전체 시간 중 80%
까지의 시간을 차지 합니다.
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
왜 데이터 레이블링이 힘들까요?
• ML 모델은 매우 큰 훈련 데이터가 필요합니다.
• 빠르게 데이터를 구축하기 위해선 많은
사람이 필요합니다.
• 레이블링 작업도 높은 정확도를 갖추기가
쉽지 않습니다.
• ML 모델 개발 완료까지의 전체 시간 중 80%
까지의 시간을 차지 합니다.
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
고품질의 데이터는 ML 모델의 성능을 향상 시킵니다
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
고품질의 데이터는 ML 모델의 성능을 향상 시킵니다
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
레이블링 작업에 ML을 적용하여 정밀한 훈련 데이터셋
구축을 도와 드리고 작업 비용을 70%까지 줄입니다
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon SageMaker Ground Truth
ML 훈련용 데이터를 쉽고 정확하게 레이블링함
손쉬운 인력 지원 정확한 결과 획득
K E Y F E A T U R E S
머신 러닝을 통한 자동
레이블링
이미지 영역 검출, segmentation
또는 텍스트 레이블링시 미리
제공하는 workflow를 또는 직접
레이블링 UI를 만들 수 있습니다.
레이블 관리
빠른 레이블링 지원
Private and public
human workforce
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
레이블링 작업환경: 미리 제공되는 환경 및 Custom 지원
Bounding boxes Image classification Semantic segmentation
Text classification Custom
https://docs.aws.amazon.com/sagemaker/latest/dg/sms-custom-templates-step2.html
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
학습 데이터 생성 방법
Mechanical
turk workers
Private labeling
workforce
Third-party
vendors
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
SageMaker Ground Truth 동작법
Raw Data
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
SageMaker Ground Truth 동작법
Raw Data Human
Annotations
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
SageMaker Ground Truth 동작법
Raw Data Human
Annotations
Active Learning
Model
Automatic Annotations
Training
Data
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
SageMaker Ground Truth 동작법
Raw Data Human
Annotations
Active Learning
Model
Automatic Annotations
Training
Data
Human Annotations
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
SageMaker Ground Truth 동작법
Raw Data Human
Annotations
Active Learning
Model
Automatic Annotations
Training
Data
Human Annotations
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Demo 소개 : 회전 초밥을 지켜라
AWS Expo 현장에서 체험 가능 합니다.
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
실시간 이미지 분석을 위한 서비스 선택
조직의 요구사항과 데이터와 전문인력 유무에 따라 적절한 서비스를 선택합니다.
AWS 서비스 특징 지원 클라이언트 플랫폼
이미지 분석
서비스 활용
• Amazon Rekognition Image • 범용적인 컴퓨터 비전 기능들을 손쉽게 활용
• API를 사용한 가장 간단한 개발
• 프레임 단위나 원하는 시점에 API로 호출하여 비
용 조절
• 가장 다양한 클라이언트
언어 지원
비디오 분석
서비스 활용
• Amazon Kinesis Video Stream
• Amazon Rekognition Video
• 범용적인 컴퓨터 비전 기능들을 손쉽게 활용
• 이미지 분석만으로는 어려운 추가적인 분석 가능
(e.g. person tracking, behavior tracking)
• 높고 안정적인 네트워크 대역을 요구
• Kinesis Video Stream
(Producer)
o C++, Java, Android
엣지 디바이스
환경에서 컴퓨터
비전 추론
• Amazon Sagemaker
• AWS Greengrass ML Inference
or
• AWS DeepLens
• 조직의 특화된 비지니스 요구사항 해결 가능
• 로컬 추론을 통해 오프라인 시나리오를 지원하며
빠른 응답 가능
• 데이터 수집과 머신러닝 전문가 필요
• 적절한 성능의 클라이언트 하드웨어 필요
• DeepLens
o Python 2.7
• Greengrass ML
Inference
o Python 2.7, Node.JS
6.10, or Java 8
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
SageMaker를 활용한 손쉬운 End-to-End ML 환경 구성
훈련용 데이터
수집 및 준비
Ground Truth를
활용한 레이블링
SageMaker 내장
알고리즘
Object Detection 활용
Edge device에서의
추론을 위해
Greengrass ML
Inference 활용
제공되는Notebook
샘플을 참조하여
생성된 데이터를
바로 학습에 활용
SageMaker Neo를
활용한 Edge device
환경 성능 최적화
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
데이터 생성
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Ground Truth를 이용한 레이블링 작업 구성하기
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Private team을 통한 레이블링 과정
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
생성된 매니페스트 확인
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
생성된 데이터를 통한 모델 학습
제공되는Notebook 샘플을 참조하여 생성된 데이터(증강 매니페스트,
Augmented Manifest)를 바로 학습에 활용
object_detection_augmented_manifest_training
: Ground Truth 이후 학습 과정에 대한 예제
object_detection_tutorial
: 자동화된 데이터 레이블링 모델 훈련 예제
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
생성된 데이터를 통한 모델 학습
• Ground Truth에 의해 생성된 데이터 포맷인 증강
매니페스트(Augmented Manifest)는 JSON Lines 형식
• 특별한 데이터 변환 과정 없이 바로 트레이닝
데이터로 활용 할 수 있음
• Labeling Job name을 AttributeNames로 전달
{"source-
ref":"s3://DATA_BUCKET/1.jpg","TrainLabel":{"annotations":[],"image_size"
:[{"width":640,"depth":3,"height":480}]}, …}
{"source-
ref":"s3://DATA_BUCKET21.jpg","TrainLabel":{"annotations":[{"class_id":0,"
width":383,"top":2,"height":136,"left":126}],"image_size":[{"width":640,"de
pth":3,"height":480}}, …}
한 라인이 하나의 데이터로 독립된 JSON 형태
https://github.com/awslabs/amazon-sagemaker-
examples/blob/master/ground_truth_labeling_jobs/object_detection_augmented_manifest_training/obje
ct_detection_augmented_manifest_training.ipynb
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
자동화된 데이터 레이블링 모델 훈련 예
• Iter. 1: 라벨링이 작업이 제대로 동작하는지를
확인하는 단계로 Mechanical Turk 작업자들이
10개의 무작위로 추출된 조그만 데이터셋을
라벨링 해봅니다.
• Iter. 2: 또다른 190개의 무작위로 추출된
이미지를 라벨링 해서 자동라벨링 ML 모델
생성시 사용될 validation dataset을 만듭니다.
• Iter. 3: 이번에는 200개의 무작위 추출
이미지에 대해 라벨링을 하여 training
데이터셋을 만듭니다.
• 이 과정에 Ground Truth는 여러 Mechanical
Turk 작업자들간의 의견차이를 자동으로 합병
정리 (Label consolidation) 합니다.
https://aws.amazon.com/blogs/machine-learning/annotate-data-for-less-with-amazon-sagemaker-ground-truth-and-automated-data-labeling/
Automated labeling Training instance type Inference instance type
Image classification ml.p3.2xlarge ml.c5.xlarge
Object detection ml.p3.2xlarge ml.c5.4large
Text classification ml.c5.2xlarge ml.m4.xlarge
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
bulldog sharpei bulldog bulldog bulldog
레이블 의견 차이 합병 방법 (Consolidation): 투표 기반
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
bulldog sharpei bulldog bulldog
레이블 의견 차이 합병 방법 (Consolidation): 확률 기반
P(x1, x2, x3, x4|B) =
Y
i
P(xi|B) = 0.7 ⇤ 0.1 ⇤ 0.5 ⇤ 0.3 ⇡ 0.01
P(x1, x2, x3, x4|S) =
Y
i
P(xi|S) = 0.3 ⇤ 0.9 ⇤ 0.5 ⇤ 0.7 ⇡ 0.1
P(S|x1, . . . x4)
P(B|x1, . . . x4)
=
P(x1, . . . x4|S)
P(x1, . . . x4|B)
⇡ 10
<latexit sha1_base64="UUx5g10II1jlXy57R66lrcTmrlU=">AAADCHicbVJLa9tAEF4pfaTuy0mPhTLUtDilBG3i4vYQCO6lRxfXScAyYrVeJUv0YndVbGQfe8lfySWHltJrf0Jv/TcdbURxHA/M8PHNzDea0YZ5LLXxvL+Ou3Hn7r37mw8aDx89fvK0ubV9pLNCcTHkWZypk5BpEctUDI00sTjJlWBJGIvj8PxjlT/+KpSWWfrFzHIxTthpKiPJmUEq2HJevIZ+exrQt9NgD30fvTPv7cAB+LnKJoG0aQlzQBJZb7cLbzBSG9/ZuA8+y7F6itij4PuNdaKDdaKWrBQqnQ9Lmt0lTWoV/UgxXvbbA2yrtMGfZEYj7OwskO6toauBddfN1HwAtmmlw265+D+Zeo2g2cKdrMFtQGvQIrX1g+YfVONFIlLDY6b1iHq5GZdMGcljsWj4hRY54+fsVIwQpiwRelzaH7mAV8hMIMoUemrAsssdJUu0niUhVibMnOnVXEWuy40KE70flzLNCyNSfj0oKmIwGVSvAiZSCW7iGQLGlcRvBX7G8HIG3051BLq68m1wtLdLEX/utA579Tk2yXPykrQJJV1ySD6RPhkS7nxzLp3vzg/3wr1yf7q/rktdp+55Rm6Y+/sflAHeBw==</latexit><latexit sha1_base64="UUx5g10II1jlXy57R66lrcTmrlU=">AAADCHicbVJLa9tAEF4pfaTuy0mPhTLUtDilBG3i4vYQCO6lRxfXScAyYrVeJUv0YndVbGQfe8lfySWHltJrf0Jv/TcdbURxHA/M8PHNzDea0YZ5LLXxvL+Ou3Hn7r37mw8aDx89fvK0ubV9pLNCcTHkWZypk5BpEctUDI00sTjJlWBJGIvj8PxjlT/+KpSWWfrFzHIxTthpKiPJmUEq2HJevIZ+exrQt9NgD30fvTPv7cAB+LnKJoG0aQlzQBJZb7cLbzBSG9/ZuA8+y7F6itij4PuNdaKDdaKWrBQqnQ9Lmt0lTWoV/UgxXvbbA2yrtMGfZEYj7OwskO6toauBddfN1HwAtmmlw265+D+Zeo2g2cKdrMFtQGvQIrX1g+YfVONFIlLDY6b1iHq5GZdMGcljsWj4hRY54+fsVIwQpiwRelzaH7mAV8hMIMoUemrAsssdJUu0niUhVibMnOnVXEWuy40KE70flzLNCyNSfj0oKmIwGVSvAiZSCW7iGQLGlcRvBX7G8HIG3051BLq68m1wtLdLEX/utA579Tk2yXPykrQJJV1ySD6RPhkS7nxzLp3vzg/3wr1yf7q/rktdp+55Rm6Y+/sflAHeBw==</latexit><latexit sha1_base64="UUx5g10II1jlXy57R66lrcTmrlU=">AAADCHicbVJLa9tAEF4pfaTuy0mPhTLUtDilBG3i4vYQCO6lRxfXScAyYrVeJUv0YndVbGQfe8lfySWHltJrf0Jv/TcdbURxHA/M8PHNzDea0YZ5LLXxvL+Ou3Hn7r37mw8aDx89fvK0ubV9pLNCcTHkWZypk5BpEctUDI00sTjJlWBJGIvj8PxjlT/+KpSWWfrFzHIxTthpKiPJmUEq2HJevIZ+exrQt9NgD30fvTPv7cAB+LnKJoG0aQlzQBJZb7cLbzBSG9/ZuA8+y7F6itij4PuNdaKDdaKWrBQqnQ9Lmt0lTWoV/UgxXvbbA2yrtMGfZEYj7OwskO6toauBddfN1HwAtmmlw265+D+Zeo2g2cKdrMFtQGvQIrX1g+YfVONFIlLDY6b1iHq5GZdMGcljsWj4hRY54+fsVIwQpiwRelzaH7mAV8hMIMoUemrAsssdJUu0niUhVibMnOnVXEWuy40KE70flzLNCyNSfj0oKmIwGVSvAiZSCW7iGQLGlcRvBX7G8HIG3051BLq68m1wtLdLEX/utA579Tk2yXPykrQJJV1ySD6RPhkS7nxzLp3vzg/3wr1yf7q/rktdp+55Rm6Y+/sflAHeBw==</latexit><latexit sha1_base64="UUx5g10II1jlXy57R66lrcTmrlU=">AAADCHicbVJLa9tAEF4pfaTuy0mPhTLUtDilBG3i4vYQCO6lRxfXScAyYrVeJUv0YndVbGQfe8lfySWHltJrf0Jv/TcdbURxHA/M8PHNzDea0YZ5LLXxvL+Ou3Hn7r37mw8aDx89fvK0ubV9pLNCcTHkWZypk5BpEctUDI00sTjJlWBJGIvj8PxjlT/+KpSWWfrFzHIxTthpKiPJmUEq2HJevIZ+exrQt9NgD30fvTPv7cAB+LnKJoG0aQlzQBJZb7cLbzBSG9/ZuA8+y7F6itij4PuNdaKDdaKWrBQqnQ9Lmt0lTWoV/UgxXvbbA2yrtMGfZEYj7OwskO6toauBddfN1HwAtmmlw265+D+Zeo2g2cKdrMFtQGvQIrX1g+YfVONFIlLDY6b1iHq5GZdMGcljsWj4hRY54+fsVIwQpiwRelzaH7mAV8hMIMoUemrAsssdJUu0niUhVibMnOnVXEWuy40KE70flzLNCyNSfj0oKmIwGVSvAiZSCW7iGQLGlcRvBX7G8HIG3051BLq68m1wtLdLEX/utA579Tk2yXPykrQJJV1ySD6RPhkS7nxzLp3vzg/3wr1yf7q/rktdp+55Rm6Y+/sflAHeBw==</latexit>
0.7 0.9 0.5 0.3
bulldog 0.1
sharpeii 0.9
Probabilities of
correct labels
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
자동 레이블링
1. ML 알고리즘을 사용하여 Validation
데이터셋에 대해 bounding box 들과
신뢰도를 계산함
2. 신뢰도에 기반하여 사람이 수작업으로 한
레이블 대비 mIoU (mean Intersection
over Union) 기반 어느 정도의 정확도를
threshold (θ) 로 할지를 결정 (ex. 0.6)
3. 알고리즘을 이용하여 남은 레이블링 되지
않은 데이터셋에 대해 bounding box들과
신뢰도를 검출 및 계산
4. 레이블링 되지 않은 데이터셋 중 θ 값
이상인 데이터들을 선택함
https://aws.amazon.com/blogs/machine-learning/annotate-data-for-less-with-amazon-sagemaker-ground-truth-and-automated-data-labeling/
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Active Learning
• 이 단계에서부터 더이상 랜덤으로 라벨링할 이미지를 선택하지 않습니다.
• 대신에 ML 모델이 수작업 라벨링이 필요한 이미지를 선택해서 보여주게 됩니다.
https://aws.amazon.com/blogs/machine-learning/annotate-data-for-less-with-amazon-sagemaker-ground-truth-and-automated-data-labeling/
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
자동 생성 레이블 vs. 수작업 레이블 비교
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
분류 (Classification) 실험 결과
Ground Truth
Ground Truth
Ground Truth
Ground Truth
Ground Truth
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Semantic Segmentation 화면 예
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Semantic Segmentation Mask 생성 예
Pascal VOC 2012 데이터셋
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
SageMaker Semantic Segmentation Algorithms
https://arxiv.org/pdf/1605.06211.pdf https://arxiv.org/pdf/1612.01105.pdf
https://arxiv.org/pdf/1706.05587.pdf
Fully-Convolutional Network (FCN) Figure 3. Overview of our proposed PSPNet. Given an input image (a), we first use CNN to get the feature map of the last convolutional
layer (b), then a pyramid parsing module is applied to harvest different sub-region representations, followed by upsampling and concatena-
tion layers to form the final feature representation, which carries both local and global context information in (c). Finally, the representation
is fed into a convolution layer to get the final per-pixel prediction (d).
call it pyramid pooling module for global scene prior con-
struction upon the final-layer-feature-map of the deep neu-
ral network, as illustrated in part (c) of Fig. 3.
The pyramid pooling module fuses features under four
different pyramid scales. The coarsest level highlighted in
red is global pooling to generate a single bin output. The
following pyramid level separates the feature map into dif-
ferent sub-regions and forms pooled representation for dif-
ferent locations. The output of different levels in the pyra-
mid pooling module contains the feature map with varied
sizes. To maintain the weight of global feature, we use 1⇥1
convolution layer after each pyramid level to reduce the di-
mension of context representation to 1/N of the original
one if the level size of pyramid is N. Then we directly up-
sample the low-dimension feature maps to get the same size
feature as the original feature map via bilinear interpolation.
Finally, different levels of features are concatenated as the
final pyramid pooling global feature.
Figure 4. Illustration of auxiliary loss in ResNet101. Each blue
box denotes a residue block. The auxiliary loss is added after the
res4b22 residue block.
map, we use the pyramid pooling module shown in (c) to
gather context information. Using our 4-level pyramid, the
pooling kernels cover the whole, half of, and small portions
of the image. They are fused as the global prior. Then we
concatenate the prior with the original feature map in the
final part of (c). It is followed by a convolution layer to
2
96
384
256 4096
4096 21
21
backward/learning
forward/inference
pixelwise prediction
segmentation g.t.
256
384
Fig. 1. Fully convolutional networks can efficiently learn to make dense
predictions for per-pixel tasks like semantic segmentation.
lowing sections explain FCN design, introduce our architec-
ture with in-network upsampling and skip layers, and de-
scribe our experimental framework. Next, we demonstrate
improved accuracy on PASCAL VOC 2011-2, NYUDv2,
SIFT Flow, and PASCAL-Context. Finally, we analyze design
choices, examine what cues can be learned by an FCN, and
calculate recognition bounds for semantic segmentation.
2 RELATED WORK
Our approach draws on recent successes of deep nets for
image classification [1], [2], [3] and transfer learning [18],
[19]. Transfer was first demonstrated on various visual
recognition tasks [18], [19], then on detection, and on both
instance and semantic segmentation in hybrid proposal-
classifier models [5], [14], [15]. We now re-architect and
fine-tune classification nets to direct, dense prediction of
semantic segmentation. We chart the space of FCNs and
relate prior models both historical and recent.
Ganin and Lempitsky [16]; and image restoration and depth
estimation by Eigen et al. [23], [25]. Common elements of
these approaches include
• small models restricting capacity and receptive fields;
• patchwise training [10], [11], [12], [13], [16];
• refinement by superpixel projection, random field regu-
larization, filtering, or local classification [11], [12], [16];
• “interlacing” to obtain dense output [4], [13], [16];
• multi-scale pyramid processing [12], [13], [16];
• saturating tanh nonlinearities [12], [13], [23]; and
• ensembles [11], [16],
whereas our method does without this machinery. However,
we do study patchwise training (Section 3.4) and “shift-and-
stitch” dense output (Section 3.2) from the perspective of
FCNs. We also discuss in-network upsampling (Section 3.3),
of which the fully connected prediction by Eigen et al. [25]
is a special case.
Unlike these existing methods, we adapt and extend
deep classification architectures, using image classification
as supervised pre-training, and fine-tune fully convolution-
ally to learn simply and efficiently from whole image inputs
and whole image ground thruths.
Hariharan et al. [14] and Gupta et al. [15] likewise adapt
deep classification nets to semantic segmentation, but do so
in hybrid proposal-classifier models. These approaches fine-
tune an R-CNN system [5] by sampling bounding boxes
and/or region proposals for detection, semantic segmenta-
tion, and instance segmentation. Neither method is learned
end-to-end. They achieve the previous best segmentation
results on PASCAL VOC and NYUDv2 respectively, so we
directly compare our standalone, end-to-end FCN to their
semantic segmentation results in Section 5.
Combining feature hierarchies We fuse features across
Conv1
+
Pool1
Image 4
Block1
8
Block2
16
Block3
16
Block4
rate=2
output
stride
3x3 Conv
rate=6
3x3 Conv
rate=18
16
Concat
+
1x1 Conv
(a) Atrous Spatial
Pyramid Pooling
(b) Image Pooling
3x3 Conv
rate=12
1x1 Conv
Figure 5. Parallel modules with atrous convolution (ASPP), augmented with image-level features.
put resolution. For example, when output stride = 8, the
last two blocks (block3 and block4 in our notation) in the
output stride 8 16 32 64 128 256
mIOU 75.18 73.88 70.06 59.99 42.34 20.29
Pyramid-scene-parsing network (PSP)
DeepLab-V3
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
SageMaker Fully-Convolutional Network Examples
Estimator config
Hyperparameters
Inference
https://github.com/awslabs/amazon-sagemaker-examples/blob/master/introduction_to_amazon_algorithms/semantic_segmentation_pascalvoc/semantic_segmentation_pascalvoc.ipynb
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Semantic Recognition FCN 인식 예
https://github.com/awslabs/amazon-sagemaker-examples/blob/master/introduction_to_amazon_algorithms/semantic_segmentation_pascalvoc/semantic_segmentation_pascalvoc.ipynb
• Pascal VOC 2012 데이터셋에 대해 SageMaker FCN을 이용하여 훈련한 후
• Resnet-50 pretrained encoder와 FCN을 이용하여 21 클래스들에 대해 학습한 결과입니다.
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
https://github.com/neo-ai
Apache Software License
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Neo 는 ML을 위한 컴파일러이자 실행환경입니다
TensorFlow, MXNet,
PyTorch, 또는
XGBoost 모델들은
공통 포멧으로 변환
ML 모델내부의
패턴들을 파악한 후
실행비용을 줄임
메모리 최적화를 위한
입력 형태의 패턴을
파악
저레벨 컴파일러를
통한 설치 환경에 맞는
machine code 생성
Parse
Model
Optimize
Graph
Optimize
Tensors
Generate
Code
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Neo 는 오픈소스입니다
Compiler
Runtime
프로세스 개발사들은 특정
하드웨어를 위한 최적화 기능을
결합할 수 있습니다.
디바이스 제작사들은 Neo 실행
환경을 Edge 디바이스및 IoT에
적용할 수 있습니다.
github.com/neo-ai
Apache Software License
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Neo 에는 많은 오픈소스들이 결합되어 있습니다
Neo-TVM Neo-Treelite
LLVM CUDA OpenCL
TensorFlow
Parser
MXNet
Parser
PyTorch
Parser
ONNX
Parser
XGBoost
Parser
Contrib Backend EC2 Instance Device
Neo-Runtime
Contrib Runtime
Contrib Compiler
Compiled Model
COMPILER RUNTIME
Decision Tree ModelsDeep Learning Models
FPGAX86 ASICGPURISC-VAARCH64
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
• 관련 자료
• SageMaker Ground Truth: https://aws.amazon.com/sagemaker/groundtruth/
• SageMaker 개발자 문서: https://docs.aws.amazon.com/sagemaker/index.html
• SageMaker Neo: https://aws.amazon.com/sagemaker/neo/
• 관련 세션
• [오전 9시] 인공지능/기계학습 기반의 디지털 트랜스포메이션과 글로벌 사례
• [오전 11시10분] 아마존닷컴처럼 Amazon Forecast로 시계열 예측하기
• [오전 11시10분] Deep Learning 모델의 효과적인 분산 트레이닝과 모델 최적화 방법
• [오후 05시20분] 개인화 및 추천 기능의 맞춤형 AI 서비스 혁명: Amazon Personalize
안내 사항
여러분의 피드백을 기다립니다!
#AWSSummit 해시태그로
소셜미디어에 여러분의
행사소감을 올려주세요.
AWS Summit Seoul 2019
모바일 앱과 QR코드를 통해
강연평가 및 설문조사에
참여하시고 재미있는 기념품을
받아가세요.
내년 Summit을 만들 여러분의
소중한 의견 부탁 드립니다.
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
감사합니다!
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.

More Related Content

PDF
Deep Learning 모델의 효과적인 분산 트레이닝과 모델 최적화 방법 - 김무현 데이터 사이언티스트, AWS :: AWS Summit...
PDF
AWS System Manager: Parameter Store를 사용한 AWS 구성 데이터 관리 기법 - 정창훈, 당근마켓 / 김대권, ...
PDF
Apache MXNet/Gluon을 이용한 입술 읽기(Lipreading) 모델 만들기 - 김형준, SK텔레콤 :: AWS Summit S...
PDF
NAB(호주국립은행) 사례 공유 - Building a Mass Migration Program: Moving Through Vision ...
PDF
아마존닷컴처럼 Amazon Forecast로 시계열 예측하기 - 강지양 솔루션즈 아키텍트, AWS / 강태욱 매니저, GSSHOP :: A...
PDF
교육, 연구 개발자가 직접 전하는 AWS를 선택한 이유 Part.3 - 김재동 교사, IndiSchool (NPO) :: AWS Summi...
PDF
AWS Transit Gateway를 통한 Multi-VPC 아키텍처 패턴 - 강동환 솔루션즈 아키텍트, AWS :: AWS Summit ...
PDF
[AWS Techshift] Innovation and AI/ML Sagemaker Build-in 머신러닝 모델 활용 및 Marketpl...
Deep Learning 모델의 효과적인 분산 트레이닝과 모델 최적화 방법 - 김무현 데이터 사이언티스트, AWS :: AWS Summit...
AWS System Manager: Parameter Store를 사용한 AWS 구성 데이터 관리 기법 - 정창훈, 당근마켓 / 김대권, ...
Apache MXNet/Gluon을 이용한 입술 읽기(Lipreading) 모델 만들기 - 김형준, SK텔레콤 :: AWS Summit S...
NAB(호주국립은행) 사례 공유 - Building a Mass Migration Program: Moving Through Vision ...
아마존닷컴처럼 Amazon Forecast로 시계열 예측하기 - 강지양 솔루션즈 아키텍트, AWS / 강태욱 매니저, GSSHOP :: A...
교육, 연구 개발자가 직접 전하는 AWS를 선택한 이유 Part.3 - 김재동 교사, IndiSchool (NPO) :: AWS Summi...
AWS Transit Gateway를 통한 Multi-VPC 아키텍처 패턴 - 강동환 솔루션즈 아키텍트, AWS :: AWS Summit ...
[AWS Techshift] Innovation and AI/ML Sagemaker Build-in 머신러닝 모델 활용 및 Marketpl...

What's hot (18)

PDF
20200205 AWSの16あるデータベースを使いこなそう
PDF
클라우드 세상에서 CIO로 살아남기 - 이한주 대표이사, Bespin Global :: AWS Summit Seoul 2019
PDF
Build Computer Vision Applications with Amazon Rekognition and SageMaker
PDF
AWS를 활용한 Digital Manufacturing 실현 방법 및 사례 소개 - Douglas Bellin, 월드와이드 제조 솔루션 담...
PDF
re:Invent 2018 Recap Digital Advertising (Japanese)
PDF
Sapporo devfesta 2019/11/13
PDF
갤럭시 규모의 인공지능 서비스를 위한 AWS 데이터베이스 아키텍처 - 김상필 솔루션 아키텍트 매니저, AWS / 김정환 데브옵스 엔지니어,...
PDF
PDF
20191023 AWS Black Belt Online Seminar Amazon EMR
PDF
20200714 AWS Black Belt Online Seminar Amazon Neptune
PDF
Amazon.com 의 개인화 추천 / 예측 기능을 우리도 써 봅시다. :: 심호진 - AWS Community Day 2019
PDF
Amazon GameLift – 김성수 (AWS 솔루션즈 아키텍트)
PDF
AI & Machine Learning Web Day | Einführung in Amazon SageMaker, eine Werkbank...
PDF
20200812 AWS Black Belt Online Seminar Amazon Macie
PDF
Maschinelles Lernen auf AWS für Entwickler, Data Scientists und Experten
PDF
AWS Black Belt Online Seminar 2018 AWS Certificate Manager
PDF
Get started with Machine Learning and Computer Vision Using AWS DeepLens (Feb...
PPTX
AWS Initiate - Transformação Digital Usando Machine Learning
20200205 AWSの16あるデータベースを使いこなそう
클라우드 세상에서 CIO로 살아남기 - 이한주 대표이사, Bespin Global :: AWS Summit Seoul 2019
Build Computer Vision Applications with Amazon Rekognition and SageMaker
AWS를 활용한 Digital Manufacturing 실현 방법 및 사례 소개 - Douglas Bellin, 월드와이드 제조 솔루션 담...
re:Invent 2018 Recap Digital Advertising (Japanese)
Sapporo devfesta 2019/11/13
갤럭시 규모의 인공지능 서비스를 위한 AWS 데이터베이스 아키텍처 - 김상필 솔루션 아키텍트 매니저, AWS / 김정환 데브옵스 엔지니어,...
20191023 AWS Black Belt Online Seminar Amazon EMR
20200714 AWS Black Belt Online Seminar Amazon Neptune
Amazon.com 의 개인화 추천 / 예측 기능을 우리도 써 봅시다. :: 심호진 - AWS Community Day 2019
Amazon GameLift – 김성수 (AWS 솔루션즈 아키텍트)
AI & Machine Learning Web Day | Einführung in Amazon SageMaker, eine Werkbank...
20200812 AWS Black Belt Online Seminar Amazon Macie
Maschinelles Lernen auf AWS für Entwickler, Data Scientists und Experten
AWS Black Belt Online Seminar 2018 AWS Certificate Manager
Get started with Machine Learning and Computer Vision Using AWS DeepLens (Feb...
AWS Initiate - Transformação Digital Usando Machine Learning
Ad

Similar to Amazon SageMaker 기반 고품질 데이터 생성 및 심화 기계학습 기법 - 김필호 솔루션즈 아키텍트, AWS / 강정희 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019 (20)

PDF
완전 관리형 ML 서비스인 Amazon SageMaker 의 신규 기능 소개 - 김필호 AI/ML 스페셜리스트 솔루션즈 아키텍트, AWS ...
PDF
국내 건설 기계사 도입 사례를 통해 보는 AI가 적용된 수요 예측 관리 - 베스핀글로벌 조창윤 AI/ML팀 팀장
PDF
Amazon EMR과 SageMaker를 이용하여 데이터를 준비하고 머신러닝 모델 개발 하기
PDF
[AWS Dev Day] 실습워크샵 | 모두를 위한 컴퓨터 비전 딥러닝 툴킷, GluonCV 따라하기
PDF
[AWS Dev Day] 인공지능 / 기계 학습 | AWS 기반 기계 학습 자동화 및 최적화를 위한 실전 기법 - 남궁영환 AWS 솔루션...
PDF
Amazon SageMaker를 통한 대용량 모델 훈련 방법 살펴보기 - 김대근 AWS AI/ML 스페셜리스트 솔루션즈 아키텍트 / 최영준...
PDF
[AWS Innovate 온라인 컨퍼런스] Kubernetes와 SageMaker를 활용하여 Machine Learning 워크로드 관리하...
PPTX
Easily Label Training Data For Machine Learning At Scale.pptx
PPTX
Easily Label Training Data For Machine Learning At Scale.pptx
PDF
End-to-End Machine Learning with Amazon SageMaker
PDF
자연어 처리 ML모델을 활용한 이커머스 문제 해결하기 - 진현두 (카카오스타일) :: AWS Community Day Online 2021
PDF
ICGIS 2018 - Cloud-powered Machine Learnings on Geospactial Services (Channy ...
PDF
Amazon AI/ML Overview
PDF
AI 클라우드로 완전 정복하기 - 데이터 분석부터 딥러닝까지 (윤석찬, AWS테크에반젤리스트)
PDF
개발자가 알아두면 좋은 5가지 AWS 인공 지능 서비스 깨알 지식 (윤석찬, AWS 테크에반젤리스트) :: AWS DevDay 2018
PDF
AWS의 새로운 언어, 음성, 텍스트 처리 인공 지능 서비스, Amazon SageMaker::Sunil Mallya::AWS Summit...
PDF
Amazon re:MARS를 통해 본 클라우드 기술의 미래 - 윤석찬 (AWS 테크에반젤리스트)
PDF
Amazon의 머신러닝 솔루션: Fraud Detection & Predictive Maintenance - 남궁영환 (AWS 데이터 사이...
PDF
1시간만에 머신러닝 개념 따라 잡기
PDF
시계열 예측 자동화를 위한 Amazon Forecast 기반 MLOps 파이프라인 구축하기 - 김주영, 이동민 AWS 솔루션즈 아키텍트 :...
완전 관리형 ML 서비스인 Amazon SageMaker 의 신규 기능 소개 - 김필호 AI/ML 스페셜리스트 솔루션즈 아키텍트, AWS ...
국내 건설 기계사 도입 사례를 통해 보는 AI가 적용된 수요 예측 관리 - 베스핀글로벌 조창윤 AI/ML팀 팀장
Amazon EMR과 SageMaker를 이용하여 데이터를 준비하고 머신러닝 모델 개발 하기
[AWS Dev Day] 실습워크샵 | 모두를 위한 컴퓨터 비전 딥러닝 툴킷, GluonCV 따라하기
[AWS Dev Day] 인공지능 / 기계 학습 | AWS 기반 기계 학습 자동화 및 최적화를 위한 실전 기법 - 남궁영환 AWS 솔루션...
Amazon SageMaker를 통한 대용량 모델 훈련 방법 살펴보기 - 김대근 AWS AI/ML 스페셜리스트 솔루션즈 아키텍트 / 최영준...
[AWS Innovate 온라인 컨퍼런스] Kubernetes와 SageMaker를 활용하여 Machine Learning 워크로드 관리하...
Easily Label Training Data For Machine Learning At Scale.pptx
Easily Label Training Data For Machine Learning At Scale.pptx
End-to-End Machine Learning with Amazon SageMaker
자연어 처리 ML모델을 활용한 이커머스 문제 해결하기 - 진현두 (카카오스타일) :: AWS Community Day Online 2021
ICGIS 2018 - Cloud-powered Machine Learnings on Geospactial Services (Channy ...
Amazon AI/ML Overview
AI 클라우드로 완전 정복하기 - 데이터 분석부터 딥러닝까지 (윤석찬, AWS테크에반젤리스트)
개발자가 알아두면 좋은 5가지 AWS 인공 지능 서비스 깨알 지식 (윤석찬, AWS 테크에반젤리스트) :: AWS DevDay 2018
AWS의 새로운 언어, 음성, 텍스트 처리 인공 지능 서비스, Amazon SageMaker::Sunil Mallya::AWS Summit...
Amazon re:MARS를 통해 본 클라우드 기술의 미래 - 윤석찬 (AWS 테크에반젤리스트)
Amazon의 머신러닝 솔루션: Fraud Detection & Predictive Maintenance - 남궁영환 (AWS 데이터 사이...
1시간만에 머신러닝 개념 따라 잡기
시계열 예측 자동화를 위한 Amazon Forecast 기반 MLOps 파이프라인 구축하기 - 김주영, 이동민 AWS 솔루션즈 아키텍트 :...
Ad

More from Amazon Web Services Korea (20)

PDF
[D3T1S01] Gen AI를 위한 Amazon Aurora 활용 사례 방법
PDF
[D3T1S06] Neptune Analytics with Vector Similarity Search
PDF
[D3T1S03] Amazon DynamoDB design puzzlers
PDF
[D3T1S04] Aurora PostgreSQL performance monitoring and troubleshooting by use...
PDF
[D3T1S07] AWS S3 - 클라우드 환경에서 데이터베이스 보호하기
PDF
[D3T1S05] Aurora 혼합 구성 아키텍처를 사용하여 예상치 못한 트래픽 급증 대응하기
PDF
[D3T1S02] Aurora Limitless Database Introduction
PDF
[D3T2S01] Amazon Aurora MySQL 메이저 버전 업그레이드 및 Amazon B/G Deployments 실습
PDF
[D3T2S03] Data&AI Roadshow 2024 - Amazon DocumentDB 실습
PDF
AWS Modern Infra with Storage Roadshow 2023 - Day 2
PDF
AWS Modern Infra with Storage Roadshow 2023 - Day 1
PDF
사례로 알아보는 Database Migration Service : 데이터베이스 및 데이터 이관, 통합, 분리, 분석의 도구 - 발표자: ...
PDF
Amazon DocumentDB - Architecture 및 Best Practice (Level 200) - 발표자: 장동훈, Sr. ...
PDF
Amazon Elasticache - Fully managed, Redis & Memcached Compatible Service (Lev...
PDF
Internal Architecture of Amazon Aurora (Level 400) - 발표자: 정달영, APAC RDS Speci...
PDF
[Keynote] 슬기로운 AWS 데이터베이스 선택하기 - 발표자: 강민석, Korea Database SA Manager, WWSO, A...
PDF
Demystify Streaming on AWS - 발표자: 이종혁, Sr Analytics Specialist, WWSO, AWS :::...
PDF
Amazon EMR - Enhancements on Cost/Performance, Serverless - 발표자: 김기영, Sr Anal...
PDF
Amazon OpenSearch - Use Cases, Security/Observability, Serverless and Enhance...
PDF
Enabling Agility with Data Governance - 발표자: 김성연, Analytics Specialist, WWSO,...
[D3T1S01] Gen AI를 위한 Amazon Aurora 활용 사례 방법
[D3T1S06] Neptune Analytics with Vector Similarity Search
[D3T1S03] Amazon DynamoDB design puzzlers
[D3T1S04] Aurora PostgreSQL performance monitoring and troubleshooting by use...
[D3T1S07] AWS S3 - 클라우드 환경에서 데이터베이스 보호하기
[D3T1S05] Aurora 혼합 구성 아키텍처를 사용하여 예상치 못한 트래픽 급증 대응하기
[D3T1S02] Aurora Limitless Database Introduction
[D3T2S01] Amazon Aurora MySQL 메이저 버전 업그레이드 및 Amazon B/G Deployments 실습
[D3T2S03] Data&AI Roadshow 2024 - Amazon DocumentDB 실습
AWS Modern Infra with Storage Roadshow 2023 - Day 2
AWS Modern Infra with Storage Roadshow 2023 - Day 1
사례로 알아보는 Database Migration Service : 데이터베이스 및 데이터 이관, 통합, 분리, 분석의 도구 - 발표자: ...
Amazon DocumentDB - Architecture 및 Best Practice (Level 200) - 발표자: 장동훈, Sr. ...
Amazon Elasticache - Fully managed, Redis & Memcached Compatible Service (Lev...
Internal Architecture of Amazon Aurora (Level 400) - 발표자: 정달영, APAC RDS Speci...
[Keynote] 슬기로운 AWS 데이터베이스 선택하기 - 발표자: 강민석, Korea Database SA Manager, WWSO, A...
Demystify Streaming on AWS - 발표자: 이종혁, Sr Analytics Specialist, WWSO, AWS :::...
Amazon EMR - Enhancements on Cost/Performance, Serverless - 발표자: 김기영, Sr Anal...
Amazon OpenSearch - Use Cases, Security/Observability, Serverless and Enhance...
Enabling Agility with Data Governance - 발표자: 김성연, Analytics Specialist, WWSO,...

Recently uploaded (20)

PPTX
Programs and apps: productivity, graphics, security and other tools
PDF
Review of recent advances in non-invasive hemoglobin estimation
PDF
Profit Center Accounting in SAP S/4HANA, S4F28 Col11
PDF
Electronic commerce courselecture one. Pdf
PDF
Peak of Data & AI Encore- AI for Metadata and Smarter Workflows
PDF
Mobile App Security Testing_ A Comprehensive Guide.pdf
PDF
TokAI - TikTok AI Agent : The First AI Application That Analyzes 10,000+ Vira...
PDF
Encapsulation theory and applications.pdf
PDF
Approach and Philosophy of On baking technology
PDF
Blue Purple Modern Animated Computer Science Presentation.pdf.pdf
PDF
Building Integrated photovoltaic BIPV_UPV.pdf
PDF
Spectral efficient network and resource selection model in 5G networks
PPTX
Understanding_Digital_Forensics_Presentation.pptx
PDF
Chapter 3 Spatial Domain Image Processing.pdf
PDF
Build a system with the filesystem maintained by OSTree @ COSCUP 2025
PDF
Advanced methodologies resolving dimensionality complications for autism neur...
DOCX
The AUB Centre for AI in Media Proposal.docx
PDF
How UI/UX Design Impacts User Retention in Mobile Apps.pdf
PPT
“AI and Expert System Decision Support & Business Intelligence Systems”
PPTX
MYSQL Presentation for SQL database connectivity
Programs and apps: productivity, graphics, security and other tools
Review of recent advances in non-invasive hemoglobin estimation
Profit Center Accounting in SAP S/4HANA, S4F28 Col11
Electronic commerce courselecture one. Pdf
Peak of Data & AI Encore- AI for Metadata and Smarter Workflows
Mobile App Security Testing_ A Comprehensive Guide.pdf
TokAI - TikTok AI Agent : The First AI Application That Analyzes 10,000+ Vira...
Encapsulation theory and applications.pdf
Approach and Philosophy of On baking technology
Blue Purple Modern Animated Computer Science Presentation.pdf.pdf
Building Integrated photovoltaic BIPV_UPV.pdf
Spectral efficient network and resource selection model in 5G networks
Understanding_Digital_Forensics_Presentation.pptx
Chapter 3 Spatial Domain Image Processing.pdf
Build a system with the filesystem maintained by OSTree @ COSCUP 2025
Advanced methodologies resolving dimensionality complications for autism neur...
The AUB Centre for AI in Media Proposal.docx
How UI/UX Design Impacts User Retention in Mobile Apps.pdf
“AI and Expert System Decision Support & Business Intelligence Systems”
MYSQL Presentation for SQL database connectivity

Amazon SageMaker 기반 고품질 데이터 생성 및 심화 기계학습 기법 - 김필호 솔루션즈 아키텍트, AWS / 강정희 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019

  • 1. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker 기반 고품질 데이터 생성 및 심화 기계학습 기법 김필호 AWS AI/ML Specialist SA 강정희 AWS Solutions Architect
  • 2. 발표자료 바로 공개 발표자료는 발표 종료 후 해당 사이트에서 바로 보실 수 있습니다 © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
  • 3. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker Ground Truth (GT) Ground Truth 데모 – 강정희 SA GT Active Learning 소개 SageMaker Semantic Algorithm 소개 Amazon SageMaker Neo 소개 목차
  • 4. S U M M I T © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Put machine learning in the hands of every developer Our mission at AWS
  • 5. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. The Amazon ML stack: 가장 넓고 깊은 기능 R E K O G N I T I O N I M A G E P O L L Y T R A N S C R I B E T R A N S L A T E C O M P R E H E N D L E XR E K O G N I T I O N V I D E O Vision Speech Language Chatbots A M A Z O N S A G E M A K E R B U I L D T R A I N F O R E C A S T Forecasting T E X T R A C T P E R S O N A L I Z E Recommendations D E P L O Y Pre-built algorithms & notebooks Data labeling (G R O U N D T R U T H ) One-click model training & tuning Optimization (N E O ) One-click deployment & hosting F r a m e w o r k s I n t e r f a c e s I n f r a s t r u c t u r e E C 2 P 3 & P 3 D N E C 2 C 5 F P G A s G R E E N G R A S S E L A S T I C I N F E R E N C E Reinforcement learningAlgorithms & models ( A W S M A R K E T P L A C E F O R M A C H I N E L E A R N I N G ) I N F E R E N T I A AI SERVICES ML SERVICES M L F R A M E W O R K S & I N F R A S T R U C T U R E App 개발자용 ML 개발자 및 데이타 과학자용 ML 연구자 및 학계용
  • 6. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. AMAZON SAGEMAKER Data labeling (G R O U N D T R U T H ) 오늘 세션에서 다룰 SageMaker 서비스들 Optimization (N E O ) Neo Semantic Segmentation Algorithm
  • 7. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
  • 8. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 머신러닝 사이클 비즈니스 문제 데이터 준비 모델 개발 모델 배포
  • 9. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 이전까지만 해도 ML 은 여전히 복잡한 문제였습니다. 1 2 3 1 2 3
  • 10. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker: ML 개발, 훈련 그리고 배포 모두를 지원 1 2 3 1 2 3
  • 11. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 고품질의 레이블링 작업을 좀 더 쉽게 하는 방법
  • 12. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker: ML 개발, 훈련 그리고 배포 모두를 지원 훈련용 데이터 수집 및 준비
  • 13. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 왜 데이터 레이블링이 필요할까요? “Five” “Two” “Three “Seven” 입력 데이터 ML 모델 & 알고리즘 예측 Input layer Hidden layers Output layer
  • 14. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 왜 데이터 레이블링이 힘들까요? • ML 모델은 매우 큰 훈련 데이터가 필요합니다. • 빠르게 데이터를 구축하기 위해선 많은 사람이 필요합니다. • 레이블링 작업도 높은 정확도를 갖추기가 쉽지 않습니다. • ML 모델 개발 완료까지의 전체 시간 중 80% 까지의 시간을 차지 합니다.
  • 15. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 왜 데이터 레이블링이 힘들까요? • ML 모델은 매우 큰 훈련 데이터가 필요합니다. • 빠르게 데이터를 구축하기 위해선 많은 사람이 필요합니다. • 레이블링 작업도 높은 정확도를 갖추기가 쉽지 않습니다. • ML 모델 개발 완료까지의 전체 시간 중 80% 까지의 시간을 차지 합니다.
  • 16. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 고품질의 데이터는 ML 모델의 성능을 향상 시킵니다
  • 17. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 고품질의 데이터는 ML 모델의 성능을 향상 시킵니다
  • 18. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 레이블링 작업에 ML을 적용하여 정밀한 훈련 데이터셋 구축을 도와 드리고 작업 비용을 70%까지 줄입니다
  • 19. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker Ground Truth ML 훈련용 데이터를 쉽고 정확하게 레이블링함 손쉬운 인력 지원 정확한 결과 획득 K E Y F E A T U R E S 머신 러닝을 통한 자동 레이블링 이미지 영역 검출, segmentation 또는 텍스트 레이블링시 미리 제공하는 workflow를 또는 직접 레이블링 UI를 만들 수 있습니다. 레이블 관리 빠른 레이블링 지원 Private and public human workforce
  • 20. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 레이블링 작업환경: 미리 제공되는 환경 및 Custom 지원 Bounding boxes Image classification Semantic segmentation Text classification Custom https://docs.aws.amazon.com/sagemaker/latest/dg/sms-custom-templates-step2.html
  • 21. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 학습 데이터 생성 방법 Mechanical turk workers Private labeling workforce Third-party vendors
  • 22. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker Ground Truth 동작법 Raw Data
  • 23. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker Ground Truth 동작법 Raw Data Human Annotations
  • 24. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker Ground Truth 동작법 Raw Data Human Annotations Active Learning Model Automatic Annotations Training Data
  • 25. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker Ground Truth 동작법 Raw Data Human Annotations Active Learning Model Automatic Annotations Training Data Human Annotations
  • 26. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker Ground Truth 동작법 Raw Data Human Annotations Active Learning Model Automatic Annotations Training Data Human Annotations
  • 27. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
  • 28. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Demo 소개 : 회전 초밥을 지켜라 AWS Expo 현장에서 체험 가능 합니다.
  • 29. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 실시간 이미지 분석을 위한 서비스 선택 조직의 요구사항과 데이터와 전문인력 유무에 따라 적절한 서비스를 선택합니다. AWS 서비스 특징 지원 클라이언트 플랫폼 이미지 분석 서비스 활용 • Amazon Rekognition Image • 범용적인 컴퓨터 비전 기능들을 손쉽게 활용 • API를 사용한 가장 간단한 개발 • 프레임 단위나 원하는 시점에 API로 호출하여 비 용 조절 • 가장 다양한 클라이언트 언어 지원 비디오 분석 서비스 활용 • Amazon Kinesis Video Stream • Amazon Rekognition Video • 범용적인 컴퓨터 비전 기능들을 손쉽게 활용 • 이미지 분석만으로는 어려운 추가적인 분석 가능 (e.g. person tracking, behavior tracking) • 높고 안정적인 네트워크 대역을 요구 • Kinesis Video Stream (Producer) o C++, Java, Android 엣지 디바이스 환경에서 컴퓨터 비전 추론 • Amazon Sagemaker • AWS Greengrass ML Inference or • AWS DeepLens • 조직의 특화된 비지니스 요구사항 해결 가능 • 로컬 추론을 통해 오프라인 시나리오를 지원하며 빠른 응답 가능 • 데이터 수집과 머신러닝 전문가 필요 • 적절한 성능의 클라이언트 하드웨어 필요 • DeepLens o Python 2.7 • Greengrass ML Inference o Python 2.7, Node.JS 6.10, or Java 8
  • 30. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker를 활용한 손쉬운 End-to-End ML 환경 구성 훈련용 데이터 수집 및 준비 Ground Truth를 활용한 레이블링 SageMaker 내장 알고리즘 Object Detection 활용 Edge device에서의 추론을 위해 Greengrass ML Inference 활용 제공되는Notebook 샘플을 참조하여 생성된 데이터를 바로 학습에 활용 SageMaker Neo를 활용한 Edge device 환경 성능 최적화
  • 31. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 데이터 생성
  • 32. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Ground Truth를 이용한 레이블링 작업 구성하기
  • 33. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Private team을 통한 레이블링 과정
  • 34. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 생성된 매니페스트 확인
  • 35. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 생성된 데이터를 통한 모델 학습 제공되는Notebook 샘플을 참조하여 생성된 데이터(증강 매니페스트, Augmented Manifest)를 바로 학습에 활용 object_detection_augmented_manifest_training : Ground Truth 이후 학습 과정에 대한 예제 object_detection_tutorial : 자동화된 데이터 레이블링 모델 훈련 예제
  • 36. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 생성된 데이터를 통한 모델 학습 • Ground Truth에 의해 생성된 데이터 포맷인 증강 매니페스트(Augmented Manifest)는 JSON Lines 형식 • 특별한 데이터 변환 과정 없이 바로 트레이닝 데이터로 활용 할 수 있음 • Labeling Job name을 AttributeNames로 전달 {"source- ref":"s3://DATA_BUCKET/1.jpg","TrainLabel":{"annotations":[],"image_size" :[{"width":640,"depth":3,"height":480}]}, …} {"source- ref":"s3://DATA_BUCKET21.jpg","TrainLabel":{"annotations":[{"class_id":0," width":383,"top":2,"height":136,"left":126}],"image_size":[{"width":640,"de pth":3,"height":480}}, …} 한 라인이 하나의 데이터로 독립된 JSON 형태 https://github.com/awslabs/amazon-sagemaker- examples/blob/master/ground_truth_labeling_jobs/object_detection_augmented_manifest_training/obje ct_detection_augmented_manifest_training.ipynb
  • 37. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
  • 38. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 자동화된 데이터 레이블링 모델 훈련 예 • Iter. 1: 라벨링이 작업이 제대로 동작하는지를 확인하는 단계로 Mechanical Turk 작업자들이 10개의 무작위로 추출된 조그만 데이터셋을 라벨링 해봅니다. • Iter. 2: 또다른 190개의 무작위로 추출된 이미지를 라벨링 해서 자동라벨링 ML 모델 생성시 사용될 validation dataset을 만듭니다. • Iter. 3: 이번에는 200개의 무작위 추출 이미지에 대해 라벨링을 하여 training 데이터셋을 만듭니다. • 이 과정에 Ground Truth는 여러 Mechanical Turk 작업자들간의 의견차이를 자동으로 합병 정리 (Label consolidation) 합니다. https://aws.amazon.com/blogs/machine-learning/annotate-data-for-less-with-amazon-sagemaker-ground-truth-and-automated-data-labeling/ Automated labeling Training instance type Inference instance type Image classification ml.p3.2xlarge ml.c5.xlarge Object detection ml.p3.2xlarge ml.c5.4large Text classification ml.c5.2xlarge ml.m4.xlarge
  • 39. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. bulldog sharpei bulldog bulldog bulldog 레이블 의견 차이 합병 방법 (Consolidation): 투표 기반
  • 40. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. bulldog sharpei bulldog bulldog 레이블 의견 차이 합병 방법 (Consolidation): 확률 기반 P(x1, x2, x3, x4|B) = Y i P(xi|B) = 0.7 ⇤ 0.1 ⇤ 0.5 ⇤ 0.3 ⇡ 0.01 P(x1, x2, x3, x4|S) = Y i P(xi|S) = 0.3 ⇤ 0.9 ⇤ 0.5 ⇤ 0.7 ⇡ 0.1 P(S|x1, . . . x4) P(B|x1, . . . x4) = P(x1, . . . x4|S) P(x1, . . . x4|B) ⇡ 10 <latexit sha1_base64="UUx5g10II1jlXy57R66lrcTmrlU=">AAADCHicbVJLa9tAEF4pfaTuy0mPhTLUtDilBG3i4vYQCO6lRxfXScAyYrVeJUv0YndVbGQfe8lfySWHltJrf0Jv/TcdbURxHA/M8PHNzDea0YZ5LLXxvL+Ou3Hn7r37mw8aDx89fvK0ubV9pLNCcTHkWZypk5BpEctUDI00sTjJlWBJGIvj8PxjlT/+KpSWWfrFzHIxTthpKiPJmUEq2HJevIZ+exrQt9NgD30fvTPv7cAB+LnKJoG0aQlzQBJZb7cLbzBSG9/ZuA8+y7F6itij4PuNdaKDdaKWrBQqnQ9Lmt0lTWoV/UgxXvbbA2yrtMGfZEYj7OwskO6toauBddfN1HwAtmmlw265+D+Zeo2g2cKdrMFtQGvQIrX1g+YfVONFIlLDY6b1iHq5GZdMGcljsWj4hRY54+fsVIwQpiwRelzaH7mAV8hMIMoUemrAsssdJUu0niUhVibMnOnVXEWuy40KE70flzLNCyNSfj0oKmIwGVSvAiZSCW7iGQLGlcRvBX7G8HIG3051BLq68m1wtLdLEX/utA579Tk2yXPykrQJJV1ySD6RPhkS7nxzLp3vzg/3wr1yf7q/rktdp+55Rm6Y+/sflAHeBw==</latexit><latexit sha1_base64="UUx5g10II1jlXy57R66lrcTmrlU=">AAADCHicbVJLa9tAEF4pfaTuy0mPhTLUtDilBG3i4vYQCO6lRxfXScAyYrVeJUv0YndVbGQfe8lfySWHltJrf0Jv/TcdbURxHA/M8PHNzDea0YZ5LLXxvL+Ou3Hn7r37mw8aDx89fvK0ubV9pLNCcTHkWZypk5BpEctUDI00sTjJlWBJGIvj8PxjlT/+KpSWWfrFzHIxTthpKiPJmUEq2HJevIZ+exrQt9NgD30fvTPv7cAB+LnKJoG0aQlzQBJZb7cLbzBSG9/ZuA8+y7F6itij4PuNdaKDdaKWrBQqnQ9Lmt0lTWoV/UgxXvbbA2yrtMGfZEYj7OwskO6toauBddfN1HwAtmmlw265+D+Zeo2g2cKdrMFtQGvQIrX1g+YfVONFIlLDY6b1iHq5GZdMGcljsWj4hRY54+fsVIwQpiwRelzaH7mAV8hMIMoUemrAsssdJUu0niUhVibMnOnVXEWuy40KE70flzLNCyNSfj0oKmIwGVSvAiZSCW7iGQLGlcRvBX7G8HIG3051BLq68m1wtLdLEX/utA579Tk2yXPykrQJJV1ySD6RPhkS7nxzLp3vzg/3wr1yf7q/rktdp+55Rm6Y+/sflAHeBw==</latexit><latexit sha1_base64="UUx5g10II1jlXy57R66lrcTmrlU=">AAADCHicbVJLa9tAEF4pfaTuy0mPhTLUtDilBG3i4vYQCO6lRxfXScAyYrVeJUv0YndVbGQfe8lfySWHltJrf0Jv/TcdbURxHA/M8PHNzDea0YZ5LLXxvL+Ou3Hn7r37mw8aDx89fvK0ubV9pLNCcTHkWZypk5BpEctUDI00sTjJlWBJGIvj8PxjlT/+KpSWWfrFzHIxTthpKiPJmUEq2HJevIZ+exrQt9NgD30fvTPv7cAB+LnKJoG0aQlzQBJZb7cLbzBSG9/ZuA8+y7F6itij4PuNdaKDdaKWrBQqnQ9Lmt0lTWoV/UgxXvbbA2yrtMGfZEYj7OwskO6toauBddfN1HwAtmmlw265+D+Zeo2g2cKdrMFtQGvQIrX1g+YfVONFIlLDY6b1iHq5GZdMGcljsWj4hRY54+fsVIwQpiwRelzaH7mAV8hMIMoUemrAsssdJUu0niUhVibMnOnVXEWuy40KE70flzLNCyNSfj0oKmIwGVSvAiZSCW7iGQLGlcRvBX7G8HIG3051BLq68m1wtLdLEX/utA579Tk2yXPykrQJJV1ySD6RPhkS7nxzLp3vzg/3wr1yf7q/rktdp+55Rm6Y+/sflAHeBw==</latexit><latexit sha1_base64="UUx5g10II1jlXy57R66lrcTmrlU=">AAADCHicbVJLa9tAEF4pfaTuy0mPhTLUtDilBG3i4vYQCO6lRxfXScAyYrVeJUv0YndVbGQfe8lfySWHltJrf0Jv/TcdbURxHA/M8PHNzDea0YZ5LLXxvL+Ou3Hn7r37mw8aDx89fvK0ubV9pLNCcTHkWZypk5BpEctUDI00sTjJlWBJGIvj8PxjlT/+KpSWWfrFzHIxTthpKiPJmUEq2HJevIZ+exrQt9NgD30fvTPv7cAB+LnKJoG0aQlzQBJZb7cLbzBSG9/ZuA8+y7F6itij4PuNdaKDdaKWrBQqnQ9Lmt0lTWoV/UgxXvbbA2yrtMGfZEYj7OwskO6toauBddfN1HwAtmmlw265+D+Zeo2g2cKdrMFtQGvQIrX1g+YfVONFIlLDY6b1iHq5GZdMGcljsWj4hRY54+fsVIwQpiwRelzaH7mAV8hMIMoUemrAsssdJUu0niUhVibMnOnVXEWuy40KE70flzLNCyNSfj0oKmIwGVSvAiZSCW7iGQLGlcRvBX7G8HIG3051BLq68m1wtLdLEX/utA579Tk2yXPykrQJJV1ySD6RPhkS7nxzLp3vzg/3wr1yf7q/rktdp+55Rm6Y+/sflAHeBw==</latexit> 0.7 0.9 0.5 0.3 bulldog 0.1 sharpeii 0.9 Probabilities of correct labels
  • 41. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 자동 레이블링 1. ML 알고리즘을 사용하여 Validation 데이터셋에 대해 bounding box 들과 신뢰도를 계산함 2. 신뢰도에 기반하여 사람이 수작업으로 한 레이블 대비 mIoU (mean Intersection over Union) 기반 어느 정도의 정확도를 threshold (θ) 로 할지를 결정 (ex. 0.6) 3. 알고리즘을 이용하여 남은 레이블링 되지 않은 데이터셋에 대해 bounding box들과 신뢰도를 검출 및 계산 4. 레이블링 되지 않은 데이터셋 중 θ 값 이상인 데이터들을 선택함 https://aws.amazon.com/blogs/machine-learning/annotate-data-for-less-with-amazon-sagemaker-ground-truth-and-automated-data-labeling/
  • 42. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Active Learning • 이 단계에서부터 더이상 랜덤으로 라벨링할 이미지를 선택하지 않습니다. • 대신에 ML 모델이 수작업 라벨링이 필요한 이미지를 선택해서 보여주게 됩니다. https://aws.amazon.com/blogs/machine-learning/annotate-data-for-less-with-amazon-sagemaker-ground-truth-and-automated-data-labeling/
  • 43. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 자동 생성 레이블 vs. 수작업 레이블 비교
  • 44. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 분류 (Classification) 실험 결과 Ground Truth Ground Truth Ground Truth Ground Truth Ground Truth
  • 45. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
  • 46. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Semantic Segmentation 화면 예
  • 47. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Semantic Segmentation Mask 생성 예 Pascal VOC 2012 데이터셋
  • 48. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker Semantic Segmentation Algorithms https://arxiv.org/pdf/1605.06211.pdf https://arxiv.org/pdf/1612.01105.pdf https://arxiv.org/pdf/1706.05587.pdf Fully-Convolutional Network (FCN) Figure 3. Overview of our proposed PSPNet. Given an input image (a), we first use CNN to get the feature map of the last convolutional layer (b), then a pyramid parsing module is applied to harvest different sub-region representations, followed by upsampling and concatena- tion layers to form the final feature representation, which carries both local and global context information in (c). Finally, the representation is fed into a convolution layer to get the final per-pixel prediction (d). call it pyramid pooling module for global scene prior con- struction upon the final-layer-feature-map of the deep neu- ral network, as illustrated in part (c) of Fig. 3. The pyramid pooling module fuses features under four different pyramid scales. The coarsest level highlighted in red is global pooling to generate a single bin output. The following pyramid level separates the feature map into dif- ferent sub-regions and forms pooled representation for dif- ferent locations. The output of different levels in the pyra- mid pooling module contains the feature map with varied sizes. To maintain the weight of global feature, we use 1⇥1 convolution layer after each pyramid level to reduce the di- mension of context representation to 1/N of the original one if the level size of pyramid is N. Then we directly up- sample the low-dimension feature maps to get the same size feature as the original feature map via bilinear interpolation. Finally, different levels of features are concatenated as the final pyramid pooling global feature. Figure 4. Illustration of auxiliary loss in ResNet101. Each blue box denotes a residue block. The auxiliary loss is added after the res4b22 residue block. map, we use the pyramid pooling module shown in (c) to gather context information. Using our 4-level pyramid, the pooling kernels cover the whole, half of, and small portions of the image. They are fused as the global prior. Then we concatenate the prior with the original feature map in the final part of (c). It is followed by a convolution layer to 2 96 384 256 4096 4096 21 21 backward/learning forward/inference pixelwise prediction segmentation g.t. 256 384 Fig. 1. Fully convolutional networks can efficiently learn to make dense predictions for per-pixel tasks like semantic segmentation. lowing sections explain FCN design, introduce our architec- ture with in-network upsampling and skip layers, and de- scribe our experimental framework. Next, we demonstrate improved accuracy on PASCAL VOC 2011-2, NYUDv2, SIFT Flow, and PASCAL-Context. Finally, we analyze design choices, examine what cues can be learned by an FCN, and calculate recognition bounds for semantic segmentation. 2 RELATED WORK Our approach draws on recent successes of deep nets for image classification [1], [2], [3] and transfer learning [18], [19]. Transfer was first demonstrated on various visual recognition tasks [18], [19], then on detection, and on both instance and semantic segmentation in hybrid proposal- classifier models [5], [14], [15]. We now re-architect and fine-tune classification nets to direct, dense prediction of semantic segmentation. We chart the space of FCNs and relate prior models both historical and recent. Ganin and Lempitsky [16]; and image restoration and depth estimation by Eigen et al. [23], [25]. Common elements of these approaches include • small models restricting capacity and receptive fields; • patchwise training [10], [11], [12], [13], [16]; • refinement by superpixel projection, random field regu- larization, filtering, or local classification [11], [12], [16]; • “interlacing” to obtain dense output [4], [13], [16]; • multi-scale pyramid processing [12], [13], [16]; • saturating tanh nonlinearities [12], [13], [23]; and • ensembles [11], [16], whereas our method does without this machinery. However, we do study patchwise training (Section 3.4) and “shift-and- stitch” dense output (Section 3.2) from the perspective of FCNs. We also discuss in-network upsampling (Section 3.3), of which the fully connected prediction by Eigen et al. [25] is a special case. Unlike these existing methods, we adapt and extend deep classification architectures, using image classification as supervised pre-training, and fine-tune fully convolution- ally to learn simply and efficiently from whole image inputs and whole image ground thruths. Hariharan et al. [14] and Gupta et al. [15] likewise adapt deep classification nets to semantic segmentation, but do so in hybrid proposal-classifier models. These approaches fine- tune an R-CNN system [5] by sampling bounding boxes and/or region proposals for detection, semantic segmenta- tion, and instance segmentation. Neither method is learned end-to-end. They achieve the previous best segmentation results on PASCAL VOC and NYUDv2 respectively, so we directly compare our standalone, end-to-end FCN to their semantic segmentation results in Section 5. Combining feature hierarchies We fuse features across Conv1 + Pool1 Image 4 Block1 8 Block2 16 Block3 16 Block4 rate=2 output stride 3x3 Conv rate=6 3x3 Conv rate=18 16 Concat + 1x1 Conv (a) Atrous Spatial Pyramid Pooling (b) Image Pooling 3x3 Conv rate=12 1x1 Conv Figure 5. Parallel modules with atrous convolution (ASPP), augmented with image-level features. put resolution. For example, when output stride = 8, the last two blocks (block3 and block4 in our notation) in the output stride 8 16 32 64 128 256 mIOU 75.18 73.88 70.06 59.99 42.34 20.29 Pyramid-scene-parsing network (PSP) DeepLab-V3
  • 49. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker Fully-Convolutional Network Examples Estimator config Hyperparameters Inference https://github.com/awslabs/amazon-sagemaker-examples/blob/master/introduction_to_amazon_algorithms/semantic_segmentation_pascalvoc/semantic_segmentation_pascalvoc.ipynb
  • 50. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Semantic Recognition FCN 인식 예 https://github.com/awslabs/amazon-sagemaker-examples/blob/master/introduction_to_amazon_algorithms/semantic_segmentation_pascalvoc/semantic_segmentation_pascalvoc.ipynb • Pascal VOC 2012 데이터셋에 대해 SageMaker FCN을 이용하여 훈련한 후 • Resnet-50 pretrained encoder와 FCN을 이용하여 21 클래스들에 대해 학습한 결과입니다.
  • 51. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. https://github.com/neo-ai Apache Software License
  • 52. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Neo 는 ML을 위한 컴파일러이자 실행환경입니다 TensorFlow, MXNet, PyTorch, 또는 XGBoost 모델들은 공통 포멧으로 변환 ML 모델내부의 패턴들을 파악한 후 실행비용을 줄임 메모리 최적화를 위한 입력 형태의 패턴을 파악 저레벨 컴파일러를 통한 설치 환경에 맞는 machine code 생성 Parse Model Optimize Graph Optimize Tensors Generate Code
  • 53. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Neo 는 오픈소스입니다 Compiler Runtime 프로세스 개발사들은 특정 하드웨어를 위한 최적화 기능을 결합할 수 있습니다. 디바이스 제작사들은 Neo 실행 환경을 Edge 디바이스및 IoT에 적용할 수 있습니다. github.com/neo-ai Apache Software License
  • 54. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Neo 에는 많은 오픈소스들이 결합되어 있습니다 Neo-TVM Neo-Treelite LLVM CUDA OpenCL TensorFlow Parser MXNet Parser PyTorch Parser ONNX Parser XGBoost Parser Contrib Backend EC2 Instance Device Neo-Runtime Contrib Runtime Contrib Compiler Compiled Model COMPILER RUNTIME Decision Tree ModelsDeep Learning Models FPGAX86 ASICGPURISC-VAARCH64
  • 55. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. • 관련 자료 • SageMaker Ground Truth: https://aws.amazon.com/sagemaker/groundtruth/ • SageMaker 개발자 문서: https://docs.aws.amazon.com/sagemaker/index.html • SageMaker Neo: https://aws.amazon.com/sagemaker/neo/ • 관련 세션 • [오전 9시] 인공지능/기계학습 기반의 디지털 트랜스포메이션과 글로벌 사례 • [오전 11시10분] 아마존닷컴처럼 Amazon Forecast로 시계열 예측하기 • [오전 11시10분] Deep Learning 모델의 효과적인 분산 트레이닝과 모델 최적화 방법 • [오후 05시20분] 개인화 및 추천 기능의 맞춤형 AI 서비스 혁명: Amazon Personalize 안내 사항
  • 56. 여러분의 피드백을 기다립니다! #AWSSummit 해시태그로 소셜미디어에 여러분의 행사소감을 올려주세요. AWS Summit Seoul 2019 모바일 앱과 QR코드를 통해 강연평가 및 설문조사에 참여하시고 재미있는 기념품을 받아가세요. 내년 Summit을 만들 여러분의 소중한 의견 부탁 드립니다. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
  • 57. 감사합니다! © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.