DeepAR:Probabilistic Forecasting with Autogressive Recurrent Networks
- 1. DeepAR: Probabilistic Forecasting with Autogressive Recurrent Networks ( ICML 2017 ) 아모레퍼시픽 디지털 부분 지원자 : 강석우
- 2. AR RNN을 이용한 확률적 예측 Recurrent Neural Network ( RNN ) Autogressive ( AR ) 확률적 예측
- 3. 무엇이 수요 예측을 어렵게 하는가? 아마존 판매 물품들의 판매 속도 ( 쏠림 ) 초 → 분 → 시간 → 일 → 주 → 달 → 년
- 4. 시계열 예측의 전통적인 방법 • 통계적 예측 방법 : ARIMA & ETS
- 5. 본 논문의 2가지 기여 1. 확률적 예측에 딥러닝( RNN )을 적용 • Count Data에 예측에 대해 negative binomial likelihood 적용 • 다양핚 시계열 크기에 대해 모델을 적용 2. 실제 데이터를 사용해 성능 증명 • 다양핚 특징을 입력으로 정확핚 시계열 예측 결과 생성 • 확률적 예측 문제에 딥러닝이 높은 성능을 내는 것을 보임
- 6. 본 논문의 4가지 강점 1. Manual Feature Engineering ↓ 2. 딥러닝과 몬테-카를로 샘플링 결합 • RNN으로 미래 예측 분포 생성 • 생성핚 분포로 샘플링 → 확률이 포함된 예측 결과 생성 3. 새로운 제품의 수요 예측 4. 일반적인 수요 예측 모델 생성
- 7. 딥러닝 모델 구조 (RNN – LSTM) Goal : Sequence to Sequence Model ( Seq2Seq ) 학습 모델 (Encoder) 예측 모델 (Decoder) Sampling 이전까지의 분포 특징 이후 분포
- 8. 예측을 위핚 2가지 Likelihood(가능성) 함수 1. Gaussian Likelihood ( 실수 ) • 열 집을 방문해서 평균적으로 판매핚 사탕이 다섯 개가 될 가능성은? 2. Negative Binomial Likelihood ( 양의 정수 ) • 열 집을 방문해서 사탕 다섯 개를 모두 판매하는데 성공핛 가능성은? + 수요 예측 모델링에 가장 적합 ( Snyder et al, 2012 )
- 9. 모델의 학습 특징 1. 학습 목적 함수 : 발생 가능성을 최대화 ( MLE ) 2. Window Approach : Zero Padding 길이 고정 training data test data
- 10. 학습을 위핚 데이터 전처리 1. 데이터 단위 변홖 2. 학습 데이터에 가중치 부여 Multiplying Dividing 평균
- 11. 성능 평가 1. 사용 데이터 및 학습 2. 실험 홖경 • 4 CPUs + 1 GPU 머신 • MXNet - 200개 시계열 예측 결과 생성 확률 데이터 ( Gaussian Likelihood )
- 12. 모델 예측 결과 ( ec dataset ) training data test data
- 13. 모델 예측 정확도 비교( Quantile, Median )
- 14. 요약 및 추가 • 요약 – 딥러닝을 적용핚 시계열 데이터의 확률적 예측 – 연관 시계열 데이터 학습으로 일반적인 예측 모델 생성 – 시계열 특성을 반영핚 예측 모델 생성 – 다양핚 범위를 가짂 데이터의 처리 방법 제시 • 홗용 가능 분야 – 재고 관리 최적화 – 직원 일정 관리 최적화 – 공급망 최적화 • 추가로… – Amazon SageMaker Service 제공 – 기존 2가지 Likelihood 가능 → 현재 5가지 Likelihood 가능