AWS CLOUD 2018- AWS의 새로운 통합 머신러닝 플랫폼 서비스, Amazon SageMaker (김무현 솔루션즈 아키텍트)
9 likes6,014 views
AWS CLOUD 2018- AWS의 새로운 통합 머신러닝 플랫폼 서비스, Amazon SageMaker (김무현 솔루션즈 아키텍트)
- 1. AWS의 새로운 통합 머신러닝 플랫폼 서비스 Amazon SageMaker 김무현 / AWS 솔루션즈 아키텍트
- 2. 목차 • 머신러닝 프로세스 리뷰 • Amazon SageMaker 소개 • Amazon SageMaker 주요 기능 • 데모
- 3. 모든 개발자와 데이터 과학자들이 사용할 수 있는 서비스를 제공하는 것입니다. ML on AWS: Our mission
- 4. FRAMEWORKS AND INTERFACES AWS DEEP LEARNING API Apache MXNet TensorFlowCaffe2 Torch KerasCNTK PyTorch GluonTheano PLATFORM SERVICES V I S I O N AWS DeepLens L A N G U A G E A P P L I C A T I O N S E R V I C E S Amazon Rekogni tion Amazon Polly Amazon Lex Amazon Rekognitio n Video Amazon Transcribe Amazon Translate Amazon Comprehend Alexa for Business V R / I R Amazon Sumerian Amazon Kinesis Video Streams AWS 머신러닝 스택 Amazon SageMaker
- 6. Data Visualization & Analysis Business Problem – Data Collection Data Integration Data Preparation & Cleaning Feature Engineering Model Training & Parameter Tuning Model Evaluation Are Business Goals met? Model Deployment Monitoring & Debugging – Predictions YesNo DataAugmentation Feature Augmentation Re-training ML problem framing 머신러닝 프로세스
- 7. Data Visualization & Analysis Business Problem – Data Collection Data Integration Data Preparation & Cleaning Feature Engineering Model Training & Parameter Tuning Model Evaluation Are Business Goals met? Model Deployment Monitoring & Debugging – Predictions YesNo DataAugmentation Feature Augmentation Re-training ML problem framing 탐색: 분석 •정확한 질문을 만들 는데 도움을 주는 것 • Domain Knowledge
- 8. Data Visualization & Analysis Business Problem – Data Collection Data Integration Data Preparation & Cleaning Feature Engineering Model Training & Parameter Tuning Model Evaluation Are Business Goals met? Model Deployment Monitoring & Debugging – Predictions YesNo DataAugmentation Feature Augmentation Re-training ML problem framing 통합: 데이터 아키텍처 •데이터 플렛폼 구현 • Amazon S3 • AWS Glue • Amazon Athena • Amazon EMR • Amazon Redshift Spectrum
- 9. Data Visualization & Analysis Business Problem – Data Collection Data Integration Data Preparation & Cleaning Feature Engineering Model Training & Parameter Tuning Model Evaluation Are Business Goals met? Model Deployment Monitoring & Debugging – Predictions YesNo DataAugmentation Feature Augmentation Re-training ML problem framing 왜 SageMaker를 만들었나 학습 환경 제공 • 노트북 환경 구성 및 관리 • 학습 클러스터 구성 및 관리 • 데이터 커넥터 작성 • 대용량 데이터를 수용할 수 있 는 확장성 있는 ML 알고리즘 • 여러 노드를 사용할 수 있는 분산 ML 학습 알고리즘 • 모델 결과물에 대한 보안
- 10. Data Visualization & Analysis Business Problem – Data Collection Data Integration Data Preparation & Cleaning Feature Engineering Model Training & Parameter Tuning Model Evaluation Are Business Goals met? Model Deployment Monitoring & Debugging – Predictions YesNo DataAugmentation Feature Augmentation Re-training ML problem framing 왜 SageMaker를 만들었나 배포 환경 제공 • 인퍼런스 클러스터 구성 및 운영 • 인퍼런스 API를 확장성 있게 구성하고 운영하기 • 모델 예측 결과에 대한 모니 터링과 디버깅 • 모델 버저닝과 성능 추적 • 새로운 모델을 운영환경에 A/B 테스팅 형태로 배포
- 11. 데이터 과학자와 개발자들이 스마트 어플리케이션에 사용될 머신러닝 기반의 모델을 빠르고 쉽게 만들도록 해주는 완전 관리형 서비스 Amazon SageMakerNEW!
- 12. Amazon SageMaker 구축사전에 빌드된 노트북 인스턴스 고도로 최적화된 머신러닝 알고리즘들
- 13. 한번 클릭으로 ML, DL, 커스텀 알고리즘 학습 구축사전에 빌드된 노트북 인스턴스 하이퍼파라메터 최적화를 통한 손쉬운 학습 학습 Amazon SageMaker 고도로 최적화된 머신러닝 알고리즘들
- 14. 엔지니어링 노력이 필요없는 배포 확장성이 있는 관전 관리형 모델 호스팅 구축사전에 빌드된 노트북 인스턴스 배포 학습 Amazon SageMaker 고도로 최적화된 머신러닝 알고리즘들 한번 클릭으로 ML, DL, 커스텀 알고리즘 학습 하이퍼파라메터 최적화를 통한 손쉬운 학습
- 15. End-to-End 머신러닝 플랫폼 제로 셋업 유연한 모델 학습 초당 과금 $ 머신러닝 모델을 확장성이 있도록 빌드, 학습, 배포 Amazon SageMaker
- 16. Amazon ECR Model Training (on EC2) Amazon SageMaker Client application Training code 학습 코드 및 학습 데이터세트 준비
- 17. Amazon ECR Model Training (on EC2) Trainingdata Training code Helper code Client application Training code Amazon SageMaker 학습 환경 구성 및 학습 수행
- 18. Amazon ECR Model Training (on EC2) Trainingdata Modelartifacts Training code Helper code Client application Inference code Training code Amazon SageMaker 학습 완료된 모델 저장 및 예측 코드 준비
- 19. Amazon ECR Model Training (on EC2) Model Hosting (on EC2) Trainingdata Modelartifacts Training code Helper code Helper codeInference code Client application Inference code Training code Amazon SageMaker 예측 환경 구성 및 모델 호스팅
- 20. Amazon ECR Model Training (on EC2) Model Hosting (on EC2) Trainingdata Modelartifacts Training code Helper code Helper codeInference code Client application Inference code Training code Inference requestInference response Inference Endpoint Amazon SageMaker 예측 엔드포인트 를 통한 API 서비 스 제공
- 21. Amazon ECR Model Training (on EC2) Model Hosting (on EC2) Trainingdata Modelartifacts Training code Helper code Helper codeInference code GroundTruth Client application Inference code Training code Inference requestInference response Inference Endpoint Amazon SageMaker 새로운 학습 데이터 수집 및 재학습, 배포 …
- 22. Intuit에서 말하는 SageMaker의 장점들 노트북 환경을 Ad-hoc 하게 구성하고 관리 해야했음 모델 배포 환경 선택의 제약 팀간의 컴퓨트 자원 경쟁 SageMaker 노트북에서 쉬운 데이터 탐색 가능 가상화를 활용한 유연한 배포 환경 구성 Auto-scale이 지원되는 모델 호스팅 환경 SageMaker 사용 전 SageMaker 사용 후
- 23. Model Hosting (SageMaker) SageMaker를 이용한 실시간 사기 탐지 기능 Calculate Featu res Reader Cleanser Processor Data Lookup Training Feature Store Model Training (SageMaker) Model Client Service Amazon EM R Amazon SageMa ker Amazon SageMa ker
- 24. Amazon SageMaker 1 2 3 4 I I I I Notebook 인스턴스 ML 알고리즘들 ML 학습 서비스 ML 호스팅 서비스
- 25. 1 I Notebook 인스턴스 데이터 탐색을 통한 분석을 바로 수행 노트북 작성 AWS 데이터베이스 서비스에 ELT 접근 S3 데이터 레이크 접근 • 추전/개인화 • 이상 거래 탐지 • 예측 • 이미지 분류 • 이탈 예측 • 마케팅 이메일, 캠패인 타케팅 • 로그 프로세스 및 이상 탐지 • 음성을 텍스트로 변환 • … “Just add data” Zero Setup
- 26. 예제 - Jupyter 노트북 만들기 SageMaker가 없다면 … 1. AWS Deep Learning AMI 선택 2. EC2 인스턴스 생성 3. Jupuyter 노트북 서비스 구동 4. SSH 터널링 설정 5. Jupyter 노트북 접속 6. 문제 생기면, 3번부터 반복 SageMaker를 이용하면 … 1. Jupyter 인스턴스 생성 요청 2. AWS 콘솔에서 Jupyter 노트북 열기 IAM Role
- 27. 데모
- 28. 2 I Algorithms Training code • Matrix Factorization • Regression • Principal Component Analysis • K-Means Clustering • Gradient Boosted Trees • Time-series Prediction • Image Classification • 더 많은 알고리즘 추가 예정 Amazon provided Algorithms Bring Your Own Script (SageMaker builds the Container) SageMaker Estimators i n Apache Spark Bring Your Own Algorithm (You build the Container) 속도와 큰 데이터에 최적화된 ML Algorithm
- 29. 데이터셋 스트리밍을 통한 저렴한 학습 비용 싱글 패스로 빠른 학습 아주 큰 데이터셋에 대한 학습이 가능 다양한 ML 알고리즘 제공 I Algorithms Amazon SageMaker ML 알고리즘 특징
- 30. 빌트인 ML Algorithm 종류 문제 알고리즘 러닝 형태 Discrete Classification, Regression Linear Learner Supervised XGBoost Algorithm Supervised Discrete Recommendations Factorization Machines Supervised Image Classification Image Classification Algorithm Supervised, CNN Neural Machine Translation Sequence to Sequence Supervised, seq2seq Time-series Prediction DeepAR Supervised, RNN Discrete Groupings K-Means Algorithm Unsupervised Dimensionality Reduction PCA (Principal Component Analysis) Unsupervised Topic Determination Latent Dirichlet Allocation (LDA) Unsupervised Neural Topic Model (NTM) Unsupervised, Neural Network Based
- 31. 알고리즘을 조금 더 살펴보면 … Neural Machine Translation • Recurrent Neural Networks (RNNs)와 Convolutional Neural Network (CNN) 모델을 attention과 함께 사용하는 encoder-decoder 아키텍처 • 활용예 - 기계 번역, 텍스트 요약, 음성을 텍스트로 변환 Time-series Forecasting • 관련된 여러 Time-series 학습 데이터들로 부터 패턴을 학습해서 정확한 예측 모델을 생성하는 알고리즘 • https://arxiv.org/abs/1704.04110 • 특정 시점에 대한 예측 및 특정 기간에 대한 예측 결과 제공
- 32. SageMaker를 이용한 학습의 단순화 1.학습 환경 구성 1) EC2, EBS 생성 2) 필요시 클러스터 구성 2.EC2에 필요한 파일들 복사 1) 학습 스크립트 복사 2) 학습 데이터 복사 3.학습 수행 4.학습 완료 후, 1) 모델을 영구 스토리지로 이동 2) 학습 환경 삭제
- 33. Amazon SageMaker를 Apache Spark와 함께 사용 Apache Spark 데이터 전처리 모델 학습 모델 호스팅 Amazon SageMaker • 연동을 위한 SageMaker Spark SDK 제공 • Spark ML 파이프라인에 SageMaker를 통합해서 학습 및 모델 호스팅에 사용할 수 있음
- 34. 어떤 머신러닝/딥러닝 프레임워크와도 함께 사용 • ML/DL 프레임워크 • 학습 스크립트 • 예측 스크립트 • API 설정 ECR 학습 데이터 API 서비스 학습된 모델 • 학습 수행 • 모델 호스팅
- 35. Training code • Matrix Factorization • Regression • Principal Component Analysis • K-Means Clustering • Gradient Boosted Trees • And More! Amazon provided Algorithms Bring Your Own Script (SageMaker builds the Container) Bring Your Own Algorithm (You build the Container) 3 I ML 학습 서비스 학습 데이터 로딩 모델 결과물 저장 Fully managed – Secured– Amazon ECR 예측 코드 저장 SageMaker Estimator s in Apache Spark CPU GPU HPO 유연한 분산 학습 환경을 관리형 서비스로 제공
- 36. 4 I ML Hosting Service Amazon ECR Amazon SageMaker 쉬운 모델 배포
- 37. Amazon ECR Model Artifacts Inference Image 모델 생성 ModelName: prod Amazon SageMaker 4 I ML Hosting Service 쉬운 모델 배포
- 38. Amazon ECR Model Artifacts Inference Image 여러 버전의 모델 모델 의 버전들 생성 Amazon SageMaker 4 I ML Hosting Service 쉬운 모델 배포
- 39. Amazon ECR 30 50 10 10 InstanceType: c3.4xlarge InitialInstanceCount: 3 ModelName: prod VariantName: primary InitialVariantWeight: 50 Model Artifacts Inference Image 가중치를 적용한 ProductionVariants 생성 Amazon SageMaker ProductionVariant 여러 버전의 모델 4 I ML Hosting Service 쉬운 모델 배포
- 40. Amazon ECR 30 50 10 10 Model Artifacts Inference Image 하나 이상의 ProductionVariant를 이용해서 EndpointConfiguration 생성EndpointConfiguration Amazon SageMaker ProductionVariant InstanceType: c3.4xlarge InitialInstanceCount: 3 ModelName: prod VariantName: primary InitialVariantWeight: 50 여러 버전의 모델 4 I ML Hosting Service 쉬운 모델 배포
- 41. Amazon ECR 30 50 10 10 Model Artifacts Inference Image EndpointConfiguration 를 이 용해서 Endpoint 생성 EndpointConfiguration Amazon SageMaker ProductionVariant InstanceType: c3.4xlarge InitialInstanceCount: 3 ModelName: prod VariantName: primary InitialVariantWeight: 50 여러 버전의 모델 Inference Endpoint 4 I ML Hosting Service 쉬운 모델 배포
- 42. 데모: 학습에서 배포까지
- 43. 데모 어떤 문제를 풀어볼까요
- 44. 데모 어떤 문제를 풀어볼까요 Species 0 – Iris Setosa 1 – Iris Versicolor 2 – Iris Virginica 데이터 학습 데이터: 120 샘플 / iris_training.csv 테스트 데이터: 30 샘플 / iris_test.csv
- 45. 데모 학습, 예측 스크립트 준비
- 46. 데모 S3 버킷 이름 정의
- 47. 데모 SageMaker TensorFlow 객체 생성
- 48. 데모 학습 수행
- 49. 데모 학습 수행
- 50. 데모 학습 수행
- 51. 데모 모델 배포 및 테스트
- 52. 데모 모델 배포 및 테스트
- 53. 데모 모델 배포 및 테스트
- 54. 데모 모델 배포 및 테스트
- 55. 1. “Getting started with Amazon SageMaker”를 통한 간단한 실습 2. Amazon SageMaker SDK 사용법 익히기 • Python: https://github.com/aws/sagemaker-python-sdk • Spark: https://github.com/aws/sagemaker-spark 3. SageMaker 예제들 https://github.com/awslabs/amazon-sagemaker-examples 본 강연이 끝난 후…
- 56. 감사합니다