AWS 머신러닝 솔루션을 활용한 고객 응대 자동화 구축 사례 공유 - 이창명, CTO, 위메이드 플레이 ::: Games on AWS 2022
0 likes306 views
현재 위메이드 플레이에서 운영 중인 다양한 게임들에서 사용자들의 많은 문의가 고객센터에 접수되고 있습니다. 데이터를 자세히 살펴보면 대부분의 고객 불만은 간단하게 처리가 가능한 문제들인데, 이런 이슈들이 많아지다 보니 정작 중요한 문제에 대한 고객 대응이 늦어지고 있었습니다. 이를 위해 AWS 머신러닝 서비스를 적극적으로 활용하여 고객 만족도를 향상시킨 과정들을 공유해드립니다.
AWS 머신러닝 솔루션을 활용한 고객 응대 자동화 구축 사례 공유 - 이창명, CTO, 위메이드 플레이 ::: Games on AWS 2022
- 1. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. © 2022, Amazon Web Services, Inc. or its affiliates. 이창명 CTO 위메이드 플레이 AWS 머신러닝 솔루션을 활용한 고객 응대 자동화 구축 사례 공유 G A M E S O N A W S 2 0 2 2 - T R A C K 0 4
- 2. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. © 2022, Amazon Web Services, Inc. or its affiliates. 회사 소개 위메이드플레이 (Wemade Play) 2
- 3. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. Wemade Play 회사 소개 3 「WE! MADE! PLAY!」 누구나 쉽게 ”플레이” 할 수 있는 게임으로 사람들에게 즐거움 그 이상의 가치를 제공합니다! IP콜라보 퍼즐명가 블록체인 글로벌 최고의 캐쥬얼 게임 개발사
- 4. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. © 2022, Amazon Web Services, Inc. or its affiliates. AWS 머신러닝 솔루션을 활용한 고객 응대 자동화 구축 사례 4
- 5. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. 고객 응대 자동화에 대한 고민 5 12명의 CS 담당자들이 처리해야 하는 업무 ✓ 하루 평균 1,300 건의 고객 문의 접수 ✓ 20개 이상의 다양한 게임 지원 ✓ 한국, 미국, 일본, 유럽, 대만 등 다양한 언어로 지원 필요 ✓ 20여개의 3rd party 모듈 지원 – 이 중 카XX, 페이XX, 라X, 애플, 구글 등 플랫폼 외에 광고, 네트워크 모듈 등 이 중 한 가지만 문제가 생겨도 게임 서비스에 영향을 줌
- 6. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. 실제 고객 문의 내용 6
- 7. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. 실제 고객 문의 내용 7
- 8. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. 실제 고객 문의 내용 8
- 9. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. 실제 고객 문의 내용 9
- 10. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. 고객 응대 자동화에 대한 고민 10 특정 장애로 인해 CS 문의가 급증할 경우 ✓ 반복적인 문의 대응에 시간이 많이 할애되어 높은 중요도의 문의를 처리하는 시간도 같이 늘어나게 됨 ✓ 터프한 게임 시장에서 User Experience를 지키키 어려운 상황이 발생 ✓실제로 일본 유저들로부터 이런 부분에서 신뢰를 많이 잃게 되었다는 피드백 ✓ 게임 업데이트 이후, 유저들의 반응을 모니터링 하고 폴리싱을 준비하는데, 이와 관련없는 CS 문의 증가로 인해 준비시간이 늦어지고 지체되는 상황이 발생
- 11. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. 고객 응대 자동화의 출발 (Pilot) 11 목표 : 유저 문의를 자동으로 분류하고 답변 제공 기대 효과 : ✓ CS 팀 업무 부담 감소 ✓ 업무 외 시간 문의에도 빠른 답변 제공
- 12. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. 고객 응대 자동화의 출발 12 • 급증하는 CS 문의를 실시간으로 분석하여 이미 답변을 나간 이슈들에 대해 미리 유저들에게 빠르게 대응 • 이런 프로세스를 구축하기 위해서 머신러닝 솔루션을 활용하여 급증하는 이슈들을 판단하여 분류 • 머신러닝의 판단이 잘못 될 경우 고객에게 더 큰 불편을 줄 수도 있을 것 같다는 우려 • 최대 상위 3가지만 우선 검토 해보고 진행
- 13. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. 머신러닝 도입의 어려움 13 ML 전문 인력의 부족 No-code ML 도구 전문 인력 없이도 가능한 ML 기반 예측 ML 을 위한 대용량 데이터 처리 및 라벨링의 어려움 Purpose-built 데이터 준비 도구 ML 용 데이터에 대한 라벨링 및 처리 너무 다양한 도구들 단일 인터페이스로 통합된 ML 도구 IDE 를 사용한 모델의 빌드, 트레이닝, 배포 수동으로 수행해야 하는 ML Operation 작업 Built-in MLOps 기능 ML 수명주기를 간소화하기 위한 MLOps 구현
- 14. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. Amazon SageMaker 에서는 ML 을 위한 모든 기능을 제공 14 Amazon SageMaker Studio IDE for ML Amazon SageMaker Autopilot Automatically build and train models Amazon SageMaker Model Monitor Automatically detect concept drift Amazon SageMaker notebooks One-click notebooks with elastic compute Amazon SageMaker Experiments Capture, organize, and compare every step Amazon SageMaker Neo Train once, deploy anywhere AWS Marketplace Pre-built algorithms, models, and data Amazon SageMaker Debugger Debug and profile training runs Automatic model tuning One-click hyperparameter optimization Amazon Augmented AI Add human review of model predictions Amazon SageMaker GroundTruth Build and manage training dataset Processing job Supports Python or Spark One-click training Supports supervised, unsupervised & RL One-click deployment Supports real-time, batch & multi-model Amazon Elastic Inference Auto scaling for 75% less 준비 빌드 학습 및 최적화 배포 및 관리
- 15. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. 왜 Amazon SageMaker 를 선택했을까? 최 대 1 0 배 더 높 은 생 산 성 을 가 져 올 수 있 는 P U R P O S E - B U I L T 도 구 15 Amazon SageMaker Studio notebooks ML 데이터에 접근 Amazon S3, Apache Spark, Amazon Redshift 등에 저장된 많은 데이터 소스에 쉽게 연결 데이터 준비 데이터를 변환하여 이를 검색하고, 메타데이터 및 스키마를 손쉽게 탐색 ML 모델 빌드 TensorFlow, PyTorch 와 같은 150개 이상의 인기 있는 오픈 소스 모델 및 프레임 워크를 통한 최적화 ML 모델 학습 및 최적화 실시간으로 성능 문제 수정 결과 배포 및 모니터링 모델 품질 향상을 위한 종단 간 ML 워크플로를 생성, 자동화 및 관리
- 16. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. Amazon SageMaker 를 선택한 이유 16 Data 전송비용 서비스의 다양성 사용 편의성 기술지원역량 확장성
- 17. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. 고객 응대 자동화의 출발 (데이터분석) 17 - 2019 ~ 2021 년 문의 데이터 - 총 데이터 개수 : 112,695개 - 글을 통해 질문 내용을 파악하는 것이 생각보다 어려움 - 고객 질문이 한 개가 아닌 다수의 질문으로 구성된 경우가 많음 - 맞춤법, 오타, 신조어, 띄어쓰기 등 표준 문법 외의 글이 상당히 많음 - 분류 클래스 개수 - 최초 분류는 총 20개 클래스로 분류 - 테스트 및 데이터 확인 후 클래스 재조정 작업하여 15개 클래스로 진행 - 클래스별 자동 답변 가능 여부 및 답변 내용 CS 팀에서 제작 완료
- 18. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. 전체 아키텍처
- 19. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. Part 1. Amazon SageMaker Part 1-1 모델 - KoBERT Classifier - Test Dataset Accuracy: 0.85 ~ 0.86 - 유저가 문의를 하는 경우 잘못 분류하여 답변 이 나간다면 유저 경험이 매우 나쁠 것이라 판 단 - Top 3 클래스 제공 - 모델의 Top 3 Accuracy : 0.97 ~ 0.98 19
- 20. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. Part 1. Amazon SageMaker Part 1-2 모델학습 - PyTorch - 학습 및 테스트 데이터 S3 에 업로드 - SageMaker Python SDK 사용하여 Training job 실행 - ml.g4dn 인스턴스 사용하여 학습 20
- 21. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. Part 1. Amazon SageMaker Part 1-3 SageMaker Interface를 통한 모델배포 - SageMaker Python SDK 의 PyTorchModel deploy 통 하여 Model, Endpoint configuration, Endpoint 생성 - Apache JMeter 로 부하 테스트 진행 - 부하 테스트 결과에 기반하여 분당 호출 수 (Invocations per minute), CPU Utilization 에 따른 Auto Scaling 설정 - AWS 피드백 : - Auto Scaling Policy 가 적용된 Endpoint 업데이 트 시에는 에러 발생 - 따라서 모델 배포시에는 Auto Scaling Policy 제거 하고 배포해야해 부하가 적은 시간대에 진행해야함 21
- 22. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. Part 2. 애플리케이션 22
- 23. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. Part 2. 애플리케이션 - 현재 문의 페이지와 동일하게 제작 - 문의 제출시 자동 답변 가능한 경우에는 답변 제공 - 자동 답변 불가능한 경우 및 유저가 원하는 경 우 젠데스크 티켓 생성 할 수 있도록 함 23 Part 2-1 Application Spec
- 24. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. Part 2. 애플리케이션 (Application) 24 Part 2-2 Application Demo
- 25. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. Part 2. 애플리케이션 (Application) - Python FastAPI 로 API 작업, Dockerize 하여 EKS 통하여 배포 - 프론트엔드는 S3 Static Web Hosting - 유저 문의 접수 시 SageMaker 로 요청 및 Top 3 클래스 추출 - 1) 자동 응답이 불가한 경우 - Zendesk API 사용하여 티켓 생성 - 2) 자동 응답이 가능한 경우 응답 제공 - 문의가 해결된 경우 로깅하여 추후 학습 데이터로 사용할 수 있도록 함 - 문의가 해결되지 않은 경우 Zendesk 티켓 생성하고 로깅. 필요한 경우 라벨링하여 학습 데이터로 사용 - Auto Scaling, CloudWatch Container Insight 설정 완료 25 Part 2-3 Application Detail
- 26. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. © 2022, Amazon Web Services, Inc. or its affiliates. Lessons & Learned 26
- 27. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. #1 G4dn vs Elastic Inference(EI) 27 ✓ G4dn 인스턴스 수량 부족으로 Auto Scaling 및 모델 배포 시 문제가 발생 될 수 있는 문제 ➢ AWS 와 협의하여 Elastic Inference 가 대안이 될 수 있음을 확인 ➢ EI Pytorch 1.3.1 버전 컨테이너 사용 • EI 용으로 AWS 에서 빌드한 버전인데 해당 패키지에는 Protobuf 3.5.1 버전이 패키징되어 있으나 사용하는 패키지 중 sentencepiece 에는 protobuf 3.5.1 버전을 사용하는 버전이 존재 ➢ EI Pytorch 1.5.1 버전 컨테이너 사용 • 1.5.1 버전을 사용하려면 학습된 모델을 torch.jit.script 로 변형해줘야 함 • transformers 패키지 모델을 사용하는데 해당 모델은 torch.jit.trace 만 지원 • torch.jit.script 도 지원하도록 패키지 코드를 수정했지만.. 더 아랫단에서 안 되는 문제 발생 ➢ EI Pytorch 1.3.1, 1.5.1 버전 모두 사용하지 못 하여 G4DN 인스턴스 부족한 경우를 대비해 CPU 인스턴스도 부하 테스트 진행 ➢ CPU 인스턴스도 성능이 괜찮아 필요하다면 해당 인스턴스 사용 예정
- 28. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. #2 모델 배포 파이프라인 28 - 따로 툴은 추가하지 않고 스크립트 작업만 완료 - AWS SageMaker Model 생성 => Endpoint Config 생성 => Endpoint 업데이트 혹은 생성 순으로 되도록 작업 - SageMaker Python SDK 는 엔드포인트 deploy 시 업데이트 옵션이 없어서 Boto3 로 작업
- 29. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. #3 관리 포인트 29 - 관리 포인트를 줄이기 위해 GitOps 적용 - 모델, 서버, 프론트엔드 등등 용 코드 베이스 리포와 Kubernetes 설정 파일용 리포 2개로 나누어서 관리 - Github Actions 사용. 코드 베이스 리포에서만 돌아감
- 30. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. 도입 효과 1. 고객 문의 처리 건수의 향상 I. 하루 평균 250건, 이슈 발생 시 400건 이상 AWS SageMaker 에서 처리 2. User Experience 향상 I. 고객 응대 처리 이후 고객 만족도 18% 향상 3. 고객 문의 처리 시간 단축 I. 고객 문의 해결에 걸리는 시간 29% 감소 4. 고객 응대 센터 직원들의 업무 난이도 향상 I. 단순 문의는 머신러닝으로 처리하면서 중요한 문의들을 해결하는데 역량을 집중할 수 있는 계기 마련
- 31. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. Next Step 31 - 고객 응대 자동화 서비스의 업그레이드 진행중 - Lesson & Learned를 바탕으로 개선점을 보완하여 V2 서비스 준비 - 같은 캐주얼 장르의 게임이라도 유저 연령과 행동패턴에 따라 고객 문의 내용이 상이함 - 고객 응대 자동화 서비스의 확장 - 신작에는 바로 적용 원칙 - 기존 글로벌 타이틀과 국내 타이틀에도 2023년 1H 에 확장 도입 예정
- 32. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. Thank you! © 2022, Amazon Web Services, Inc. or its affiliates. 이창명 chang@wemadeplay.com 위메이드 플레이