국내 건설 기계사 도입 사례를 통해 보는 AI가 적용된 수요 예측 관리 - 베스핀글로벌 조창윤 AI/ML팀 팀장
1 like806 views
This document discusses how a construction equipment company in Korea implemented machine learning and cloud technologies. It provides an overview of the company's existing IoT system for remotely monitoring construction equipment. It then describes a project to build an analytics environment using AWS services like SageMaker to enable data-driven decision making. This would allow for tasks like demand forecasting of equipment parts using time series models in SageMaker. The document shares the architecture designed, example SageMaker code, and discusses other potential use cases like abnormal detection that could leverage AWS machine learning services.
![15. Demand Forecasting (SaaS 환경) 사례
▪ 수요예측을 위한 SaaS 형 AI/ML 사례
AWS
데이터 추출, 가공
1. 실적 데이터
- 판매, 가격 변동 이력
- WEB 트래픽 등
2. 관련 마스터 데이터
- 상품 관련 특성
- 행사, 휴일 관련 등
Request
Upload Data 데이터 학습
[Data Lake]
데이터 Ingestion
(UI 또는 API)
Prediction
데이터 엔지니어
시각화, 리포트 및 API 연동
1. 데이터 특징 및 Feature 파악
2. 알고리즘 선택
3. Hyper-parameter 설정
4. 모델 학습
5. 모델 최적화 (HPO)
6. 모델 배포 및 서비스
Amazon
Forecast
• RETAIL
• INVENTORY_PLANNING
• CUSTOM 등
Domain
• TARGET_TIME_SERIES
• RELATED_TIME_SERIES
• ITEM_METADATA
Type
* Domain 별 특성 반영](https://image.slidesharecdn.com/awsclouddemandprediction-210128024041/85/AI-AI-ML-17-320.jpg)
국내 건설 기계사 도입 사례를 통해 보는 AI가 적용된 수요 예측 관리 - 베스핀글로벌 조창윤 AI/ML팀 팀장
- 1. Cloud and Machine Learning 국내 건설 기계사 도입 사례를 통해 보는 AI/ML이 적용된 수요 예측 관리 조창윤 | 베스핀글로벌 AI/ML팀 팀장 changyoon.cho@bespinglobal.com
- 2. 목차 1. 프로젝트 배경 2. 프로젝트 기대 효과 3. 프로젝트 Architecture 및 Data Flow 4. AWS AI/ML 서비스 5. AWS SageMaker 서비스 6. 다양한 고객 사례
- 3. 1. 고객사 현황 ▪ 건설장비 원격 관리 시스템인 Hi-Mate 시스템 운영 ▪ 2008년 상용화, 수 만대의 장비에 IoT Device 장착 ▪ 위성통신 또는 모바일 통신 통해 건설장비 정보 (IoT) 수집 ▪ 장비의 위치정보 및 가동정보, 고장알람, 소모품 관리 제공 ▪ 2018년 AWS Cloud로 Main System (Hi-Mate) 이전 : 속도 및 신뢰성 향상 국내 건설기계사
- 4. 2. 프로젝트 배경 ➔ 분석 환경 구축 및 분석 문화 정착 1. 데이터 분석 전문성 부재 : 분석가 / 조직 / 도구의 부재 2. 데이터의 연결 부재 : 분석을 위한 연동 수단 부재 3. 분석 결과와 현업 연결 부재 4. 분석의 연속성 확보 필요 : 지속적 분석 업무 기반 필요 일회성 분석 프로젝트 분석 보고서 분석 모델 구축 분석 결과의 시각화 분석 환경 구축 Self BI Good Better Best < <
- 5. 3. 프로젝트 기대 효과 “The best earth mover” 1. Machine Learning 기반의 데이터 분석 환경 구축 2. 장비/부품 수요예측, 선제적 고장 대응 및 신규 서비스 개발 ✓ 데이터 기반 의사 결정을 분석 환경 구축 ✓ 현업의 지속적 분석 활동 Best
- 6. 4. 프로젝트 Architecture 및 Data Flow Database (RDS) Batch, Trigger 실행 데이터 저장 Training 데이터 ML 결과 데이터 3 Machine Learning Platform SageMaker (Jupyter Notebook) Training 데이터 시각화 8 7 9 5 Model Artifacts Development 4 Oracle PostgreSQL 데이터 가공 2 Deploy & Prediction 6 외부 데이터 소스 다수의 내부/외부 데이터 환율, 유가 데이터 IoT 데이터 소스 장비 가동 및 운영 정보 9 예측 결과 확인 Self BI 원본 데이터 예측 데이터 사내 데이터 소스 ERP CRM 1. Jupyter Notebook Instance - Instance Type: ml.m5.2xlarge - Environment: conda_mxnet_p36 2. Training Environment - EC2 Instance : 1개 / Type : ml.c4.xlarge 3. Serving Environment - EC2 Instance : 1개 / Type : ml.c4.large 데이터 1 Main 운영 (AWS) 현업 데이터 분석
- 7. 수요예측 전체 SKU 데이터 현황 5. 수요예측 결과 전체 제품의 판매 건수 분포 (총 150 개) 예측 결과와 실제 데이터 일부 2개 제품의 판매 건수 분포
- 8. 6. 수요예측 모델 (Linear Learner Vs. DeepAR on AWS) DeepAR • RNN 기반의 Time Series 전용 모델 • Amazon 에서 개발되고 사용되고 있는 모델 • 1개의 모델로 N개의 Data-Set 들을 한번에 처리 • Category 선택 가능 • Dynamic Feature 추가 가능 • Cold start problem 및 Missing Value (NA) 을 자동 처리 Linear Learner • Regression 및 Classification 문제에 적용 가능한 모델 • HPO 기능과는 별도로 내부 Parallel 메커니즘 보유 • FullyReplicated 방식, Training 시 N 개의 Model 을 생성 • Feature Engineering 을 통한 성능향상 가능 • 기본적인 Normalization 및 Feature 들에 대한 scale 처리
- 9. 7. AWS AI/ML Stack Infrastructure Service Platform Services Application Services Amazon SageMaker AWS DeepLens Amazon Personalize Amazon Forecast Vision Speech Language General Service AWS DeepRacer Highest Performing CPU/GPU Instances
- 10. 8. AWS AI/ML Platform Service 특징 • 필요한 만큼 만 Sizing • 언제든지 즉시, Deploy • 사용한 만큼 지불 • Managed, Server-less • 유연한 Re-Architecture Public Cloud 특징 • 대용량 Data-Set 처리 • Pre-built SDK 및 Built-in Algorithm 제공 • Hyperparameter Tuning (HPO) 제공 • Training 및 Serving 시 Auto-Scaling 제공 • 다양한 인프라 환경 (CPU/GPU 등) 제공 Machine Learning Platform on AWS 특징 The quickest and easiest way to get ML models from idea to production
- 11. 9. AWS SageMaker 소개 ▪ SageMaker 란 - AI/ML 모델의 구축, 학습, 배포까지 End-to-End 플랫폼을 제공하는 관리형 AI/ML Platform 서비스 - 데이터 과학자와 개발자들이 손쉽게 모델을 만들 수 있는 환경 제공 - 쉬운 개발/배포 환경 제공 (클릭 또는 API 을 이용하여 Training/Deploy 처리) ▪ SageMaker 에서 제공하는 것들 - AWS In-built Algorithms (Customizing Algorithms 가능) - AWS Data Lake (S3) 및 AWS Hadoop (EMR) 과 쉽게 연동 - Deep Learning Frameworks (TensorFlow, MXNET 및 GLUON 등) - Agile, Reliable, GPU powered, and Productivity Ready Notebook Instance/Lab - Managed distributed Model Training Service - Production Ready Model Deploying/Serving requiring no engineering ➔ BigData 을 이용한 AI/ML Platform 으로써 최적의 환경 제공
- 12. 10. AWS SageMaker 의 Infrastructure 이해 1) SageMaker Notebook/Lab Instance (CPU/GPU, Low/High Memory) 2) Training & Deploy/Serving ECS, (Option) EMR using PySpark 3) Data Lake (S3) Data Lake Raw 데이터 Training 데이터 Validation 데이터 Test 데이터 Model Artifacts (Ver 1.0) 1 Notebook 1 SageMaker (Notebook) Model Artifacts (Ver 1.1) 2 Training 3 Interface Create Notebook Instance Endpoints Batch transform jobs Training jobs Hyperparameter tuning Models Endpoint Training, Inference Image AWS ML/DL Platform
- 13. 11. AWS SageMaker Jupyter Notebook Sample Code Hardware for training Hyper Parameters Training Deploy/Serving
- 14. 12. AWS SageMaker 의 Built-in Algorithm 들 ML/DL Problem Algorithm Name Learning Type 1 Discrete Classification Linear Learner Supervised 2 Regression (Decision trees) XGBoost Supervised 3 Discrete Recommendations Factorization Machines Supervised 4 Image Classification ResNET Supervised, CNN 5 Detects and classifies objects in images Object Detection Supervised, DNN 6 Neural Machine Translation Sequence to Sequence Supervised, seq2seq 7 Time Series Prediction DeepAR Forecasting Supervised, RNN 8 Natural Language Processing (NLP) BlazingText Supervised, Word2Vec 9 Discrete Groupings (Customer Segmentation) K-Means Unsupervised 10 Dimensionality Reduction PCA (Principal Component Analysis) Unsupervised 11 Topic Determination LDA (Latent Dirichlet Allocation) Unsupervised 12 Topic Determination NTM (Neural Topic Model) Unsupervised, Neural Network 13 Detecting anomalous data points RCF (Random Cut Forest) Unsupervised 14 Index-based classification or regression K-NN (k-nearest neighbors) Supervised ▪ https://docs.aws.amazon.com/sagemaker/latest/dg/algos.html
- 15. 13. AWS 분석 시스템 전체 Architecture Data Lake ERP CRM MES 고객정보 외부 데이터 사내 데이터 Cloud IoT Device Enterprise Workloads IoT Things Edge Computing 정형/비정형 데이터 (Database, Log, Image, Sound 등) SNS 유가 원자재 날씨 통화 경제지표 외부 데이터 Crawling Glue DMS Kinesis Kinesis DynamoDB IoT Core Greengrass EC2 Lambda Redshift QuickSight Athena EC2 EMR Sagemaker DW Hadoop Machine Learning VPC Glacier 데이터 수집 디바이스 제어 Visualization
- 16. 14. Demand Forecasting (PaaS 환경) 사례 ▪ 수요예측을 위한 PaaS 형 AI/ML 사례 Main 운영 (AWS) Database (RDS) Batch, Trigger 실행 데이터 저장 Training 데이터 ML 결과 데이터 3 Machine Learning Platform SageMaker (Jupyter Notebook) Training 데이터 시각화 8 7 9 5 Model Artifacts Development 4 Oracle PostgreSQL 데이터 가공 2 Deploy & Prediction 6 외부 데이터 소스 다수의 내부/외부 데이터 환율, 유가 데이터 IoT 데이터 소스 장비 가동 및 운영 정보 9 예측 결과 확인 Self BI 원본 데이터 예측 데이터 내부 데이터 소스 ERP CRM Data 1 ▪ 주기(일/주/달)별 수요 예측 ▪ Channel (Store) 및 SKU 별 수요 예측
- 17. 15. Demand Forecasting (SaaS 환경) 사례 ▪ 수요예측을 위한 SaaS 형 AI/ML 사례 AWS 데이터 추출, 가공 1. 실적 데이터 - 판매, 가격 변동 이력 - WEB 트래픽 등 2. 관련 마스터 데이터 - 상품 관련 특성 - 행사, 휴일 관련 등 Request Upload Data 데이터 학습 [Data Lake] 데이터 Ingestion (UI 또는 API) Prediction 데이터 엔지니어 시각화, 리포트 및 API 연동 1. 데이터 특징 및 Feature 파악 2. 알고리즘 선택 3. Hyper-parameter 설정 4. 모델 학습 5. 모델 최적화 (HPO) 6. 모델 배포 및 서비스 Amazon Forecast • RETAIL • INVENTORY_PLANNING • CUSTOM 등 Domain • TARGET_TIME_SERIES • RELATED_TIME_SERIES • ITEM_METADATA Type * Domain 별 특성 반영
- 18. 16. Abnormal Detection (PaaS 환경) 사례 ▪ (실시간) 이상징후 감지를 위한 AI/ML 사례 Data 데이터 저장 ML Data-Set Model Artifacts 관제 모니터링 이상 여부 확인 (실시간) 데이터 저장 Result Notification Data Ingestion 1. Event 감지 2. 데이터 저장 3. 감지 결과 확인 Hot Data SageMaker Training Serving 모델 Training 이상징후 확 인 Ex) IoT Real-time ▪ 실시간 데이터 저장 ▪ 실시간 데이터에 대한 이상징후 판별 ▪ 실시간 이상 결과 Notification
- 19. 감사합니다. 🌐 www.bespinglobal.com | ✉️ info_aws@bespinglobal.com