[AWS Innovate 온라인 컨퍼런스] Amazon Forecast를 통한 시계열 예측 활용하기 - 김종선, AWS 솔루션즈 아키텍트
1 like1,493 views
발표자료 다시보기: https://youtu.be/XXIZQdzjVbs Amazon Forecast는 제품 수요, 리소스 요구량 또는 금융 실적 등의 향후 비즈니스 성과를 정확하게 예측하기 위해 기계 학습을 사용하는 완전관리형 기계 학습 서비스입니다. 본 세션에서는 기계 학습 경험이 없어도 시작 가능한 시계열 예측 방법을 제공하는 Amazon Forecast의 데모를 통해서, 데이터가 추가 변수와 결합하여 예측을 만들어내는 과정을 상세하게 알아봅니다.
![[AWS Innovate 온라인 컨퍼런스] Amazon Forecast를 통한 시계열 예측 활용하기 - 김종선, AWS 솔루션즈 아키텍트](https://image.slidesharecdn.com/awsinnovateonlineconferenceaimltrack2session3jongseonkim-200319071649/85/AWS-Innovate-Amazon-Forecast-AWS-1-320.jpg)
[AWS Innovate 온라인 컨퍼런스] Amazon Forecast를 통한 시계열 예측 활용하기 - 김종선, AWS 솔루션즈 아키텍트
- 2. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 김종선 Solutions Architect Forecast을 활용한 비즈니스 성과 예측하기 Amazon
- 3. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agenda The case for Forecasting Amazon Forecast : overview Amazon Forecast : Built-in Algorithms Amazon Forecast : Evaluating your Forecast Demo Next
- 4. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
- 5. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Forecasting Forecasting is the science of predicting the future Product demand Actual demand vs. forecasted demand ($ Millions) Actual Demand Forecast Demand Over-forecasting leads to wasted resources Under-forecasting leads to lost opportunity
- 6. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. The case for Forecasting 잘못된 예측의 영향 제품수요 계획 노동력 수요 계획 재고관리 예측 초과재고 활용되지 못한 노동력 재고관리 비용증가 영업기회 및 이익 손실 초과 근무 비용 발생 수요불충족 Over-forecasting Under-forecasting 재무지표 예측 기업자금 고갈 기회손실
- 7. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 1995 2000 2007 2010 2015 2019 Traditional statistical methods 계절 특화 제품일상생활용품 지속적이거나 반복되는 수요 패턴 전통적인 통계방법으로도 일부 제품의 수요를 예측 가능합니다. Forecasting at Amazon.com
- 8. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 1995 2000 2007 2010 2015 2019 Forecasting at Amazon.com machine learning을 통해 복잡한 예측 문제를 해결 Use of Machine Learning 잦은 가격 변동성 긴 교체 주기특정 지역 신상품 특정시즌 Traditional statistical methods Use of deep learning 15x 정확도 향상
- 9. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Product availability Fast delivery Lower price 매일 4 억개가 넘는 제품에 대한 수요 예측 고객에게 낮은 가격을 제공하기 위한 배송 및 재고관리 비용 절감 당일 무료 배송을 위한 12 가지 배송 옵션 Forecasting at Amazon.com 정확한 예측은 고객과의 약속을 이행하게 합니다
- 10. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Forecast Amazon
- 11. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. The AWS ML Stack Broadest and most complete set of Machine Learning capabilities VISION SPEECH TEXT SEARCH NEW CHATBOTS PERSONALIZATION FORECASTING FRAUD NEW DEVELOPMENT NEW CONTACT CENTERS NEW Amazon SageMaker Ground Truth Augmented AI SageMaker Neo Built-in algorithms SageMaker Notebooks NEW SageMaker Experiments NEW Model tuning SageMaker Debugger NEW SageMaker Autopilot NEW Model hosting SageMaker Model Monitor NEW Deep Learning AMIs & Containers GPUs & CPUs Elastic Inference Inferentia FPGA Amazon Rekognition Amazon Polly Amazon Transcribe +Medical Amazon Comprehend +Medical Amazon Translate Amazon Lex Amazon Personalize Amazon Forecast Amazon Fraud Detector Amazon CodeGuru AI SERVICES ML SERVICES ML FRAMEWORKS & INFRASTRUCTURE Amazon Textract Amazon Kendra Contact Lens For Amazon Connect SageMaker Studio IDE NEW NEW NEW NEW NEW
- 12. Amazon Forecast 완전관리형 높은 예측율 쉬운사용법 비즈니스 데이터 및 안심 가능한 보안 데이터파이프라인, 학습, 예측의 구성 자동화 전통적인 모델 대비 예측 정확도 50% 향상 딥러닝 경험 불필요 Amazon Key Management Service 를 통해 고객키를 사용한 암호화 정확한 예측을 위한 자동화된 기계학습 서비스
- 13. 예측하려는 아이템의 과거 시계열 데이터 Target time-series Dataset (필수) 과거 데이터로 예측하고 싶은 주요 타겟 (판매량, 재고, 주문수량 등) 예측에 사용된 데이터셋 구성 관련 속성 및 범주 데이터 Item metadata (비 시계열, 옵션) 각 아이템에 더 많은 컨텍스트를 제공할 수 있는 범주 (색상, 도시, 카테고리 등) 특정 도메인에 연관 있는 시계열 데이터 Related time- series dataset (옵션) 목표 값에 영향을 줄 수 있다고 판단되는 시계열데이터 (가격, 프로모션, 날씨 등) Amazon Forecast
- 14. 맞춤형 예측 API Amazon Forecast 세계 최대 전자상거래를 지원하는 기술 콘솔 혹은 API로 시작하기 Amazon S3에 저장된 데이터를 Amazon Forecast로 지정하십시오. 맞춤형 ML 모델 자동 학습 AutoML을 통해 Amazon Forecast가 데이터에 가장 적합한 것을 자동으로 선택하도록 합니다. 정확한 예측 생성 콘솔 또는 API를 통해 예측값 추출 Historical data Related data 판매, 통화량, 재고, 자원 수요 가격, 프로모션, 날씨 데이터, 맞춤 이벤트 Item metadata 색상, 도시, 국가, 카테고리, 저자, 앨범 이름 내장데이터셋 (휴일, 주말) Amazon Forecast
- 15. 맞춤형 예측 API Inspect data Identify features Select most accurate model from multiple algorithms Select Hyper- parameters Host models Load data Train models using multiple algorithms Optimize models Amazon Forecast Behind the scenes Amazon Forecast에 의한 완전관리형 Dataset생성 predictor (train, inference, metrics)생성 Forecast생성 Forecast export생성 Forecast검색 Amazon Forecast Historical data Related data 판매, 통화량, 재고, 자원 수요 가격, 프로모션, 날씨 데이터, 맞춤 이벤트 Item metadata 색상, 도시, 국가, 카테고리, 저자, 앨범 이름
- 16. 예측 값의 분포를 시각화 콘솔 상에서 모든 quantile에 대한 확률 예측(probabilistic forecasts) 확인 API를 통한 예측값 검색 .csv로 내보내기 Amazon Forecast
- 17. 확률 예측(probabilistic forecasts) Amazon Forecast (μ, σ)
- 18. 확률 예측(probabilistic forecasts) Amazon Forecast
- 19. 복잡한 예측 시나리오에도 적용 결측 데이터 또는 결 측값 콜드스타트 (신규 상품 출시) 불규칙한 계절성 제품 단종 시기 급격한 데이터 변화 민감한 데이터 분석 (미래 가격 변동) Amazon Forecast
- 20. Cost type Pricing 생성된 forecasts 1,000 forecasts 당 $0.60 데이터 스토리지 GB당 $0.088 학습시간 시간당 $0.24 Pay-as-you-go pricing model Pricing for Amazon Forecast 가격정책 프리티어(사용을 시작후 첫 두달간 제공) 생성된 forecasts 월별 최대 10K개의 시계열예측 데이터 스토리지 월 최대 10GB 학습시간 월 최대 10시간
- 21. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Forecast Amazon
- 22. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Forecast의 알고리즘 Amazon Forecast는 통계(statistical)와 기계학습 기반 예측 알고리즘을 포함 ARIMA Auto-regressive integrated moving average De facto statistical method NN Flexible Local Baseline algorithms ARIMA
- 23. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. ETS Error trend seasonality exponential smoothing을 사용하는 통계적 알고리즘 NN Flexible Local Baseline algorithms ARIMA ETS Amazon Forecast의 알고리즘 Amazon Forecast는 통계(statistical)와 기계학습 기반 예측 알고리즘을 포함
- 24. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. NPTS Non-parametric time series Jan 06 2014 Apr 07 2014 Jul 07 2014 Oct 06 2014 Jan 05 2015 Apr 06 2015 Jul 06 2015 Oct 05 2015 Jan 04 2016 Apr 04 2016 0246810 A Typical Time Series in Large Inventories NN Flexible Local Baseline algorithms ARIMA ETS NPTS Amazon Forecast의 알고리즘 Amazon Forecast는 통계(statistical)와 기계학습 기반 예측 알고리즘을 포함
- 25. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Prophet Additive model with Gaussian likelihood NN Flexible Local Baseline algorithms ARIMA ETS NPTS Flexible local algorithms Prophet Amazon Forecast의 알고리즘 Amazon Forecast는 통계(statistical)와 기계학습 기반 예측 알고리즘을 포함
- 26. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. DeepAR+ 관련 시계열 및 특성을 사용할 수 있는 글로벌 모델 NN Flexible Local Baseline algorithms ARIMA ETS NPTS Flexible local algorithms Prophet DeepAR+ Neural networks Amazon Forecast의 알고리즘 Amazon Forecast는 통계(statistical)와 기계학습 기반 예측 알고리즘을 포함
- 27. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. DeepAR+ 은 어떻게 다른가? • The DeepAR+ forecasting algorithm 은 아마존 내부의 미션크리티컬한 의사결정에만 내부적으로 사용되었습니다. • ARIMA 나 ETS와 같은 전통적인 예측 기법은 하나의 모델로 개별 시계열을 맞추는 데 적합. 하지만 대부분의 경우 일련의 관련 시계열 데이터가 수집되거나 수집할 수 있었습니다. • DeepAR +는 추가적인 통찰력과 예측력 향상을 위해 일련의 관련 시계열을 통해 모델을 학습 할 수 있습니다. • 최소한의 feature engineering이 필요하며, point (판매량은 X) 또는 probabilistic (판매량은 X와 Y 사이의 Z 의 확률로)예측을 할 수 있습니다.
- 28. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 시계열 예측을 위한 DeepAR+ • 여러 관련 시계열 모델링 : 한 번에 100,000 개 이상 • 콜드 스타트 예측 : 관련 시계열의 데이터 기반
- 29. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. DeepAR Sample Notebooks Amazon SageMaker로 DeepAR 알고리즘을 학습하기 위한 샘플 (1) 시계열 데이터 세트를 준비하는 방법 (2) 추론을 수행하기 위해 훈련 된 모델을 배포하는 방법
- 30. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Forecast Amazon
- 31. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Quantiles P90 quantile은 90 %의 시간에 실제 값이 예측 값보다 작을 것으로 예측합니다. P50 quantile 은 시간의 50 %에서 실제 값이 예상 값보다 작을 것으로 예측합니다 사용 사례에 가장 적합한 Quantile을 선택합니다 예측 평가
- 32. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Error/loss functions Weighted quantile loss (wQuantileLoss) 특정 Quantile이 실제 수요에서 얼마나 떨어져 있는지 예측합니다. RMSE oot mean square error) 실제 목표 값과 예측된 평균 값의 차이를 계산합니다. Many more: MAPE, MASE, log loss error 와 loss metrics 예측 평가
- 33. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 다양한 예측 시나리오에 대한 알고리즘의 정확성을 평가하고 predictor를 조정하려면 predictor metrics를 사용합니다. Amazon Forecast는 Back Testing을 사용하여 metrics 를 생성합니다. Forecast는 CreatePredictor 작업에서 지정한 BackTestWindowOffset 매개 변수를 사용하여 입력 데이터를 분할합니다. 예측 평가: Back Testing
- 34. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
- 35. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
- 36. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Forecast in production • 반복되는 프로세스를 자동화 • 입력 데이터 소스에 대한 데이터 파이프라인을 구성 • 시계열 데이터의 빈도를 확인하여 새로운 예측을 지속적으로 추론 • 환경의 변화에 확인할 수 있는 모델 학습 • error thresholds에 기반한 평가 자동화 Ingest Train Predict Evaluate
- 37. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Forecast in production EC2 instances cache pool 수요 변경을 예측 Demand publisher Cluster scaling EC2 cache pool Amazon Redshift Demand forecast table Copy Amazon DynamoDB Amazon Forecast Demand forecasts Demand history 1 2 34 1. Amazon EC2 캐시 풀 수요 변경 사항이 S3 버킷에 게시됩니다. 2. 새로운 데이터가 Amazon Forecast에 수집되고 새로운 예측 예측을 S3 버킷에 저장합니다. 3. Lambda 함수는 새로운 예측을 DynamoDB 테이블로 복사합니다. 4. 클러스터 스케일링 로직은 신규 예측을 읽고 예상 수요에 따라 캐시 풀 크기를 조정합니다.
- 38. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Next steps Amazon Forecast tutorials github.com/aws-samples/amazon-forecast-samples/tree/master/notebooks www.youtube.com/watch?v=Ed4j8Olf_E8 Amazon Forecast documentation docs.aws.amazon.com/forecast/latest/dg/what-is-forecast.html docs.aws.amazon.com/forecast/latest/dg/API_Operations.html Time series with Amazon SageMaker github.com/aws-samples/amazon-sagemaker-stock-prediction www.youtube.com/watch?v=g8UYGh0tlK0 Time series with GluonTS gluon-ts.mxnet.io/ github.com/awslabs/gluon-ts
- 39. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS 머신러닝(ML) 교육 및 자격증 Amazon의 개발자와 데이터 과학자를 교육하는 데 직접 활용 되었던 커리큘럼을 기반으로 학습하세요! 전체 팀을 위한 머신러닝 교육 원하는 방법으로! 교육 유연성 제공 전문성에 대한 검증 비즈니스 의사 결정자, 데이터 과학자, 개발자, 데이터 플랫폼 엔지니어 등 역할에 따라 제공되는 맞춤형 학습 경로를 확인하세요. 약 65개 이상의 온라인 과정 및 AWS 전문 강사를 통해 실습과 실적용의 기회가 제공되는 강의실 교육이 준비되어 있습니다. 업계에서 인정받는 ‘AWS 공인 머신러닝 – 전문분야’ 자격증을 통해 머신러닝 모델을 구축, 학습, 튜닝 및 배포하는 데 필요한 전문 지식이 있음을 입증할 수 있습니다. https://aws.amazon.com/ko/traini ng/learning-paths/machine- learning/
- 40. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS Innovate 온라인 컨퍼런스에 참석해주셔서 대단히 감사합니다. aws-korea-marketing@amazon.com twitter.com/AWSKorea facebook.com/amazonwebservices.ko youtube.com/user/AWSKorea slideshare.net/awskorea twitch.tv/aws 저희가 준비한 내용, 어떻게 보셨나요? 더 나은 세미나를 위하여 설문을 꼭 작성해 주시기 바랍니다.
- 41. Thank you! © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.