AWS 기계 학습 솔루션을 활용한 온라인 사기·부정거래 감지 – 서지혜 AWS 스타트업 AIML 스페셜리스트:: AWS Cloud Week - Industry Edition
0 likes230 views
금융사 AI 과제 중 제일 많은 관심과 사례를 가지고 있는것이 바로 금융 부정거래 및 온라인 사기 탐지 입니다. 이번 시간에는 비지니스 인사이트와 결합하여 사용할 수 있는 AWS 에서 제공하는 Fraud Detection 솔루션 들에 대해 소개합니다. Amazon SagaMaker 를 활용한 Custom Training 모델 구현 방식과 Amazon.com의 사기 탐지 패턴까지 녹여 만든 Amazon Fraud Detector 솔루션 활용 방식에 대해 알아봅니다.
AWS 기계 학습 솔루션을 활용한 온라인 사기·부정거래 감지 – 서지혜 AWS 스타트업 AIML 스페셜리스트:: AWS Cloud Week - Industry Edition
- 1. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 서지혜 스타트업 AIML 스페셜리스트 AWS AWS 기계 학습 솔루션을 활용한 온라인 사기·부정거래 감지
- 2. Agenda 금융 사기 탐지를 위한 AI/ML AI/ML on AWS Amazon SageMaker를 활용한 사기 탐지 Amazon Fraud Detector What’s Next
- 3. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
- 4. AIML을 통한 사기 탐지
- 5. 결제 사기로 인한 글로벌 피해 규모 $22.8b 2016 $27.9b 2018 $32.9b 2021 $35.7b 2023 Data fromThe Nilson Report, November 2019, Issue 1164 (https://nilsonreport.com/upload/content_promo/The_Nilson_Report_Issue_1164.pdf)
- 7. 새로운 위협에 지속적 대응 및 적용 금융 사기의 도전 과제 불필요한 경고와 조사를 줄이기 경제적이며 빠르게 확장하기
- 8. 전통적인 접근 방식: 룰 기반의 사기 탐지 DENY Over Limit High Rate Stolen Card ? APPROVE
- 9. 룰 기반의 사기 탐지의 제약 정적인 룰 버그가 발생하기 쉬움 복잡도가 높음 확장 불가능항상 뒤처짐
- 10. 사기 탐지를위한 기계 학습 모델 사용 동적임 스스로 개선 유지 하기 쉬움 확장성이 좋음실시간성을 가짐
- 11. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
- 13. The AWS ML Stack 가장 광범위하고 가장 완벽한 머신 러닝 기능 제공 VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS Ground Truth Augmented AI ML Marketplace Neo Built-in algorithms Notebooks Experiments Model training & tuning Debugger Autopilot Model hosting Model Monitor Deep Learning AMIs & Containers GPUs & CPUs Elastic Inference Inferentia FPGA Amazon Rekognition Amazon Polly Amazon Transcribe +Medical Amazon Comprehend +Medical Amazon Translate Amazon Lex Amazon Personalize Amazon Forecast Amazon Fraud Detector Amazon CodeGuru AI 서비스 ML 서비스 ML 프레임워크 & 인프라 Amazon Textract Amazon Kendra Contact Lens For Amazon Connect SageMaker Studio IDE NEW Amazon SageMaker
- 14. The AWS ML Stack 가장 광범위하고 가장 완벽한 머신 러닝 기능 제공 VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS Ground Truth Augmented AI ML Marketplace Neo Built-in algorithms Notebooks Experiments Model training & tuning Debugger Autopilot Model hosting Model Monitor Deep Learning AMIs & Containers GPUs & CPUs Elastic Inference Inferentia FPGA Amazon Rekognition Amazon Polly Amazon Transcribe +Medical Amazon Comprehend +Medical Amazon Translate Amazon Lex Amazon Personalize Amazon Forecast Amazon Fraud Detector Amazon CodeGuru AI 서비스 ML 서비스 ML 프레임워크 & 인프라 Amazon Textract Amazon Kendra Contact Lens For Amazon Connect SageMaker Studio IDE NEW Amazon SageMaker
- 15. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
- 16. Machine Leaning 프로세스: 프로세스별 역량 및 담당자의 역할 Exploratory Data Analysis(EDA) & 시각화 Business Challenge AI/ML 목표 데이터 수집 데이터 통합 데이터 준비및 정제 Feature 엔지니어링 모델 학습 및 파라미터 튜닝 모델 평가 모델 배포 모니터링 및 디버깅 Predictions Yes 재 학습 Variable Pruning Are Business Goals Met? LoB Data Engineering Data Science DevOps Architect Product Owner Ethicist Data Scientist Architect DevOps EngineerData EngineersBusiness Owner
- 17. Prepare Build Train & Tune Deploy & Manage Web-based IDE for machine learning (Studio) Automatically build and train models (autopilot) Amazon SageMaker 머신 러닝을 위한 툴 101011010 010101010 000011110 훈련 데이터 수집 및 준비 기계 학습 알고리즘 선택 또는 구축 훈련 환경 설정 및 관리 모델 훈련, 디버그 및 튜닝 프로덕션에 모델 배포 훈련 진행 관리 모델 모니터링 예측 결과 검증 프로덕션 환경 확장 및 관리 데이터 프로세싱 및 레이블링 원클릭 노트북 공유 및 고성능 알고리즘 및 모델 원클릭 트레이닝 디버깅 및 최적화 원클릭 배포 및 오토스케일링 Experiments를 통해 Job을 비교 및 시각화 Data drift를 자동으로 감지 예측결과를 사람을 통해 확인 완전 관리 및 오토스케일링, 최대 75% 절감 Processing Ground Truth Notebook Algorithms/Market Place Training Job Hyperparameter tuning jobs Debugger Experiment Model Hosting - Endpoints - Batch Transform Job Model Monitor Augmented AI Endpoint Configuration
- 18. Sagemaker 내장 알고리즘 AWS 마켓플레이스 알고리즘 Model Data Data Data Data SageMaker Model Model Model SageMaker Custom Script Algorithms or Models 지원되는 Machine Learning 프레임 워크에 커스텀 스크립트 BYO 알고리즘 및 프레임 워크 17 개의 고성능의 내장 알고르즘 지원 프레임워크: Apache MXNet, TensorFlow , Scikit-learn, PyTorch, Chainer 나만의 알고리즘 및 프레임 워크를 담은 Docker 컨네이너 3rd party 알고리즘 및 모델 SageMaker Custom Script and Custom Framework SageMaker Supported Framework Built in Algorithms Amazon SageMaker 학습/추론(호스팅) 시나리오 1 2 3 4
- 19. Data 분석, 개발, 배포를 컨테이너화 개발 학습 추론 P3 인스턴스 C5 인스턴스 T3 인스턴스 Numpy, Pandas, Mtplotlit Scikit-learn 0.22.2 Python 2.7 Numpy, Pandas Matplotlit TensorFlow 2.0 Python 3.5 Numpy, Pandas,Matplotlit Python 3.5 TensorFlow 2.0 헬퍼 코드 훈련 코드 Numpy, Pandas,Matplotlit Python 3.5 TensorFlow 2.0 헬퍼 코드 추론 코드 V100 Elastic Inference + G4 인스턴스 T4
- 21. Fraud Detection Using Machine Learning Amazon API Gateway AWS Lambda Amazon SageMaker (XGBoost) Amazon SageMaker (Random Cut Forest) Amazon S3 bucket (Model and Data) Amazon S3 bucket (Results) Amazon QuickSight Anomaly Detection Amazon Kinesis Data Firehose Fraud Detection Optional Transactions
- 22. Machine learning 방법 Reinforcement Learning Supervised Learning Unsupervised Learning SUPERVISED(지도학습) UNSUPERVISED (비지도 학습) REINFORCEMENT (강화학습)
- 23. Supervised Learning 방식의 기계학습 라벨링이 된 데이터를 알고리즘에 피드 (넣기) 입력 및 출력 데이터 간의 관계 찾기 새로운 (Unseen) 데이터 셋을 솔루션에 넣기 예측 하기
- 24. Unsupervised Learning 방식의 기계학습 알고리즘 에 원시 데이터를 피드 숨겨진 패턴을 찾아내기 자동으로 변칙/비정상을 감지 잠재적인 사기 탐지
- 25. Our Solution Train XGBoost Model using SageMaker* Train Random Cut Forest Model using SageMaker* Labeled Data Unlabeled Data Deploy XGBoost Model Deploy Random Cut Forest Model Live Data e.g. incoming, real-time transactions Predictions e.g. Anomalous transactions, fraud * SageMaker built-in algorithm
- 26. Cloudformation을 통해 손쉽게 구성해 보세요!
- 28. CloudFormation 배포 완료 시 구성 요소 Amazon API Gateway AWS Lambda Amazon SageMaker (XGBoost) Amazon SageMaker (Random Cut Forest) Amazon S3 bucket (Model and Data) Amazon S3 bucket (Results) Amazon QuickSight Anomaly Detection Amazon Kinesis Data Firehose Fraud Detection Optional Transactions
- 29. SageMaker Notebook을 통해 모델 학습 및 배포하기
- 31. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
- 32. 20+ Years of Experience Fighting Fraud at Amazon 결제 • 도난당한 결제 수단 • 고의적 미납 계정 탈취 • 도난 된 자격 증명, 사용자 패스워드 • API Key Compromises 남용 • 프로모션/ 프리 티어 남용 • 스팸 / 피슁
- 33. Amazon Fraud Detector 대규모의 잠재적인 온라인 사기를 실시간으로 탐지하는 기계학습 모델을 쉽게 만들 수 있도록 도와 주는 완전 관리형 서비스
- 34. 주요 기능 내장된 사기 탐지 모델 템플릿 사기 탐지 커스텀 모델 자동 생성 Amazon 에 축적된 노하우가 담긴 사기 탐지 모델 활용 Amazon SageMaker 와의 연동 과거 이벤트와 탐지 로직을 검토 할 수 있는 인터페이스
- 35. How It Works 코드 작성 없이 기계학습 모델을 생성 각자의 비지니스에서 발생했던 사기 탐지 데이터를 활용 결과를 더 빠르게 도출 하도록 많은 스탭을 자동화 함 단순하지만 강력한 비지니스 룰 적용 마우스 클릭 몇 번으로 배포하고 사용하기
- 36. Amazon Fraud Detector 데모
- 37. 고객 레퍼런스 • Payment services provider needs 24/7 transaction monitoring • 3rd party rules engine too costly to operate, integrate • Amazon Fraud Detector pre- integrated with Cloudwatch and CloudTrail; successfully built and deployed a detector in 30 minutes then ramped up to production-level volume in a few weeks • Website domain registration vendor deals with accounts used for phishing or paid for with stolen credit cards • Existing fraud model identifies these accounts days after account registration • With Amazon Fraud Detector can now accurately identify fraudsters at the time of registration, stopping fraudsters before they gain access to the platform • Marketing automation provider sees 20X increase in accounts used for phishing since COVID- 19 • Victims’ complaints impact company reputation; existing detection not robust enough • Amazon Fraud Detector model has been shown to be “astonishingly better” at detecting accounts used for phishing at signup while keeping a very low FPR
- 38. Why Amazon Fraud Detector 실시간으로 잠재적인 온라인 사기 탐지 모든 비즈니스 시나리오에 대한 맞춤형 사기 탐지 사기 탐지 시간 및 비용 감소 Amazon 및 AWS와의 통합
- 39. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
- 40. 자료: Fraud Detection Solution 시작하기 Visit the getting started guide Documentation > Access code & use sample data set or customize to deploy the solution Code on GitHub >
- 41. 자료: 알고리즘에 대해 좀더 알아보기 • Random Cut Forest Documentation: AWS Docs • XGBoost Documentation: AWS Docs • Imbalanced-learn (SMOTE): Library Documentation • SMOTE original publication: On ArXiv • Learning from imbalanced data review article: DOI Link
- 42. 자료: Amazon Fraud Detector에 대해 알아보기 Visit: aws.amazon.com/fraud-detector • Documentation • Blogs • Use Cases • Try it Today! • POC guidance “Catching Fraud Faster” •https://aws.amazon.com/blogs/machine-learning/catching-fraud-faster-by- building-a-proof-of-concept-in-amazon-fraud-detector/
- 43. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
- 44. 감사합니다 © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.