Azure ml studio_fraud_detection
0 likes322 views
Kaggle 상의 신용카드 승인 데이터로, MS Azure ML(Machine Learning) Studio 환경에서 기계학습을 진행하였습니다. 학습모델은 Random Forest 모델을 사용하였고, 훈련데이터와 테스트 데이터를 8:2로 분할하였습니다. 애저 ML Studio을 살펴볼 수 있습니다.
Azure ml studio_fraud_detection
- 1. 2018년 04월 MS Azure ML Studio 신용카드 부정사용 검출 테스트 타임게이트 연구소
- 2. Agenda • 신용카드 부정사용 테스트 데이터 (Kaggle) • Azure Machine Learning Studio • 신용카드 부정사용 검출 웹서비스 제작 • 결과 비교 • 웹서비스 배포 및 테스트
- 3. 신용카드 부정사용 테스트 데이터
- 4. 신용카드 사용 데이터 – 2010설립, 2017년 Google 인수 발췌 : https://www.kaggle.com/agpickersgill/credit-card-fraud-detection/data • 유럽 카드사 2013년 9월 2일치 데이터 • 전체 284,807 건 중 부정사용 492건 • (Time, Amount, Class)를 제외한 필드를 PCA를 사용해 V1~V28 로 변형 • Label field 는 Class
- 5. 신용카드 부정사용 데이터 – 유럽 카드사 2013년 2일치 데이터 발췌 : https://www.kaggle.com/agpickersgill/credit-card-fraud-detection/data 부정사용 여부 • 1 : 부정사용 • 0: 정상사용
- 7. Azure Machine Learning – 애저 머신러닝 지원 도구 발췌 : https://docs.microsoft.com/ko-kr/azure/machine-learning/ 데이터 탐색, 모델 개발, 배포를 손쉽게 관리할 수 있는 서비스 (Cloud/On- Premise 지원) Azure Machine Learning 웹서비스 개발 도구 DS(Data Science)용 가상머신 배포 서비스
- 8. Azure Machine Learning Stuido – GUI 기반 머신러닝 모델 개발툴 발췌 : https://docs.microsoft.com/ko-kr/azure/machine-learning/studio/studio-overview-diagram
- 9. Azure Machine Learning Studio– https://studio.azureml.net 발췌 : https://studio.azureml.net/ Azure 계정으로 로그인
- 10. 부정사용 검출 웹서비스 제작
- 11. Machine Learning 모델 개발 절차 1. 데이터 Upload (Dataset 생성) 2. Experiment 생성 3. Machine Learning 모델 작성 ① 데이터셋 블록 추가 ② 데이터 전처리(정규화, 합산 필드 생성 등) 블록 추가 ③ 데이터 분할(split – 훈련용, 테스트용) 블록 추가 ④ Train 블록과 ML(Machine Learning) 모델 블록 추가 ⑤ 채점 블록과 평가 블록 추가 4. 훈련된 모델 테스트 및 배포
- 12. 부정사용 검출 웹서비스 제작 – 데이터 업로드 발췌 : https://studio.azureml.net/Home/ViewWorkspaceCached/4a4d4ddb45754e9ab86d77250ca0d12b#Workspace/Datasets/ListDatasets 생성하기
- 13. 부정사용 검출 웹서비스 제작 – 데이터 업로드 데이터 셋 생성 발췌 : https://studio.azureml.net/Home/ViewWorkspaceCached/4a4d4ddb45754e9ab86d77250ca0d12b#Workspace/Datasets/ListDatasets 데이터 셋 파일 찾기
- 14. 부정사용 검출 웹서비스 제작 – 데이터 업로드 데이터 파일 선택 발췌 : https://studio.azureml.net/Home/ViewWorkspaceCached/4a4d4ddb45754e9ab86d77250ca0d12b#Workspace/Datasets/ListDatasets OK 버튼
- 15. 부정사용 검출 웹서비스 제작 – 생성된 데이터셋 업로드된 데이터 셋 발췌 : https://studio.azureml.net/Home/ViewWorkspaceCached/4a4d4ddb45754e9ab86d77250ca0d12b#Workspace/Datasets/ListDatasets
- 16. 부정사용 검출 웹서비스 제작 – experiment 생성 생성 버튼
- 17. 부정사용 검출 웹서비스 제작 – Blank Experiment 생성 발췌 : https://www.kaggle.com/agpickersgill/credit-card-fraud-detection/data
- 18. 부정사용 검출 웹서비스 제작 – Experiment 생성 Experiment 이름 입력
- 19. 부정사용 검출 웹서비스 제작 – 데이터셋 선택 데이터셋 선택 Drag & Drop
- 20. 부정사용 검출 웹서비스 제작 – 데이터 정규화 블록 추가 데이터 정규화 블록 블록 연결 정규화 방법 선택 정규화 대상 컬럼 선택
- 21. 부정사용 검출 웹서비스 제작 – 데이터 분할 블록 추가 데이터 분할 블록 블록 연결 분할 비율 선택 (일반적으로 8:2 혹은 7:3)
- 22. 부정사용 검출 웹서비스 제작 – Train Model 블록 추가 모델 훈련 블록 블록 연결 (연결점 확인 필요) Label 컬럼 선택
- 23. 부정사용 검출 웹서비스 제작 – ML 모델 블록 추가 ML(Machine Learning) 모델 블록 블록 연결 (연결점 위치 주목) 훈련 모델 매개변수 선택
- 24. 부정사용 검출 웹서비스 제작 – 모델 채점 블록 추가 모델 채점 블록 블록 연결 (연결점 주목)
- 25. 부정사용 검출 웹서비스 제작 – 비교 평가 블록 추가 비교평가 블록 블록 연결
- 26. 부정사용 검출 웹서비스 제작 – 모델 훈련 수행 훈련 수행
- 27. 결과 비교
- 28. 머신러닝 정확도 측정 관련 용어 • Sensitivity(Recall) = TP/(TP+FN) • Specificity = TN/(TN+FP) • Precision = TP/(TP+ FP) • Sensitivity 와 Specificity (반비례 관계) 참/거짓 비율이 다를 경우 • Sensitivity와 Precision (반비례 관계) 참/거짓 비율이 비슷할 경우 ( 참, 거짓 비율이 차이가 크면, 예측의 집합의 비율은 해석에 문제가 생길 가능성) • ROC(Receiver Operating Characteristic) 오적중 확률에 따른 적중확률 변화 • Accuracy = (TP+TN)/(TP+TN+FP+FN) • F1-score = 2*(Precision*Recall)/(Precision+Recall) 실제 True (부정사용) 실제 False (정상 사용) 예측 True (예측 부정 사용) TP (True Positive) FP (False Positive) 예측 False (예측 정상 사용) FN (False Negative) TN (True Negative)
- 29. 블록 연결 결과 비교 – 평가 점수 확인
- 30. 평가 스코어 • Sensitivity(Recall) = 0.771 • Accuracy = 0.999 • Precision = 0.955 • F1 = 0.853 • AUC = 0.940 결과 비교 – 평가 점수 확인
- 31. 웹 서비스 배포 및 테스트
- 32. Predictive 웹서비스 생성 웹 서비스 배포 – 웹서비스 생성
- 33. 생성된 웹서비스 모델 웹 서비스 배포 – 웹서비스 생성
- 34. 웹서비스 테스트 수행 웹 서비스 배포 – 웹서비스 모델 검증을 위한 테스트 수행 웹서비스 테스트 수행 후 deploy
- 35. 웹서비스 호출을 위한 API Key 웹 서비스 배포 – 생성된 웹서비스 테스트 웹서비스 테스트용 웹페이지 • 웹서비스 Request/Response 정보 • 샘플 클라이언트 코드
- 36. 웹 서비스 배포 – 웹서비스 테스트 화면
- 37. 웹 서비스 배포 – 웹서비스 Request/Response 확인
- 38. Address 서울특별시 성동구 아차산로 17 11층 (성수동 1가, 서울숲엘타워) 우편번호 04789 Telephone Tel : (02)575-0409 Fax: (02)6003-1987