AWS Innovate: Mobile App testing with AWS Device Farm- Kevin Kim
3 likes1,285 views
AWS Innovate 2016
![ 개개의 문제를 파고들어 조사가능 [ 샘플 앱 Crash 예시]
결과 리포트 – 문제 원인파악](https://image.slidesharecdn.com/awsinnovatet32kevinkim-160714070249/85/AWS-Innovate-Mobile-App-testing-with-AWS-Device-Farm-Kevin-Kim-15-320.jpg)
AWS Innovate: Mobile App testing with AWS Device Farm- Kevin Kim
- 1. AWS Device Farm을 이용한 모바일 APP 테스팅 김용우 매니저 (kevkim@amazon.com) Partner Solutions Architect, Amazon Web Services
- 2. 목 차 서비스 출시배경 AWS Device Farm 제공 서비스 사용사례 이용요금 요약
- 3. 어플리케이션 품질관리(QC/QA)의 중요성 • 80%의 사용자는 App문제 발생시 3번이상 다시 시도해 보지 않고 삭제함 • 32% 사용자는 이러한 문제가 발생하면 유사한 기능의 다른 앱을 찾음 • 34%의 사용자는 사용자 리뷰에 기반하여 App을 구매 Failing to meet mobile app user expectations - A mobile app user survey from Dimensional Research (2015. 4) http://techbeacon.com/study-reveals-top-mobile-app-performance-failures
- 4. 고 품질 앱을 제공하는 것이 어려운 이유? 기기의 스펙 차이로 인한 이슈 발생 사용자의실제 기기와 같은 기종으로 테스트 필요 시중에 너무 많은 디바이스 및 OS 버전이 혼재 모든 모바일 디바이스를 갖추고 사전에 테스트 하는 것은 사실상 불가능함 수작업에 의한 테스트는 시간이 오래 걸림 Open Signal - Android Fragmentation Visualized (2015/8) http://opensignal.com/reports/2015/android-fragmentation/
- 5. 목 차 서비스 출시배경 AWS Device Farm 제공 서비스 사용사례 이용요금 요약
- 6. 자동화 테스팅 AWS에서 제공하는 다양한 디바이스를 이용해 병렬 테스팅 디바이스에 원격접속 웹 브라우저를 통해 실시간으로 실제 디바이스에 원격접속
- 7. Android, iOS, Fire OS 앱을 업로드후 테스트 항목을 설정하고 원하는 디바이스 선택 선택한 디바이스를 넣고 병렬로 앱 테스팅 수행 버그, 퍼포먼스 등의 문제를 몇 분 안에 상세하게 리포팅 YOUR APP + AWS 클라우드에 호스팅 된 수많은 실제 스마트 폰, 태블릿 및 기타 디바이스로 빠르고 안전하게 Android, iOS, Fire OS 용 앱을 테스트 자동화 테스팅
- 8. 서비스 제공 디바이스 디바이스 프로파일은 제조 회사/타입 & 모델/OS버전 등으로 분류 AWS데이터 센터에 호스팅 되어 있어 고객의 확장 요구에 대응 충분한 수량( 많은 동일한 디바이스 프로파일)을 보유 루트권한은 동작하지 않음 새로운 디바이스가 발매되면 추가됨 새로운 디바이스이용 가능한 최신 디바이스 세트 AWS데이터 센터
- 9. 앱 등록후 테스트를 진행할 디바이스를 리스트에서 선택하여 테스트 풀을 구성 (자동으로 해당 앱에 대한 호환성 테스트 수행) 서비스 제공 디바이스 (계속)
- 10. 현재 이용가능한 디바이스 (2016.6.01) https://aws.amazon.com/device-farm/device-list/
- 11. • 프로젝트 별로 최적의 테스트 프레임워크를 사용하여 테스팅 구성 • 개발 팀과 QA팀에서 요건이 다르더라도 하나의 공통 플랫폼에 통합가능 테스트 자동화 프레임 워크 Built-in : Explorer Built-in : Fuzz Buil-in: Fuzz Appium Java (Junit, TestNG) Appium Java (Junit, TestNG) Appium Python Appium Python Calabash Calabash UI Automation Instrumentation XCTest Uiautomator XCTest UI 복수의 테스트 프레임 워크 지원
- 12. Github – AWS Labs 샘플
- 13. 기본제공 테스트 Suite – Fuzz 테스트 빌트 인 Fuzz시험 • Fuzz시험은 앱에 여러 사용자 입력(터치, 스와이프, 키보드 입력) 이벤트를 통해 UI테스트실시 • 이벤트 수, 간격, 랜덤 이벤트에 사용되는 난수(seed)를 설정 장점 • 테스트 Script 없이 손쉽게 테스트 수행 • 몇 분 내에 호환성 문제를 파악가능 • 테스트 스크립트는 다음의 동작을 수행 • 앱 설치 / 앱의 기동 / Fuzz시험 / 언 인스톨
- 14. 결과 리포트 리포트는, 각 디바이스별 상세 정보뿐 아니라 다양한 테스트 결과를 포함 성공/실패 정보 Crash 리포트 테스트 로그 디바이스 로그 스크린 샷 성능 정보
- 15. 개개의 문제를 파고들어 조사가능 [ 샘플 앱 Crash 예시] 결과 리포트 – 문제 원인파악
- 16. 테스트 중 캡쳐된 스크린 샷 확인 결과 리포트 – 스크린 샷
- 17. 테스트 중 사용된 성능(CPU, 메모리 이용, 스레드 수)을 조사 결과 리포트 – 성능/소요자원
- 18. 테스트에서 작성된 로그 파일을 확인 결과 리포트 – 로그확인
- 19. Jenkins 플러그인 Jenkins CI서버와 AWS Device Farm을 기능적으로 연계 하는 플러그인 AWS Device Farm Jenkins Plugin https://github.com/awslabs/aws-device-farm-jenkins-plugin
- 20. 테스트 결과(스크린 샷 로그 등)을 다운로드 하는 것도 가능. Jenkins 플러그인
- 21. Gradle 플러그인 AWS Device Farm
- 22. 자동화 테스팅 AWS에서 제공하는 다양한 디바이스를 이용해 병렬 테스팅 디바이스에 원격접속 웹 브라우저를 통해 실시간으로 실제 디바이스에 원격접속
- 23. 원격으로 접속할 디바이스 선택
- 24. 웹을 통한 디바이스 접속 앱 업로드 앱 실행
- 25. 원격 테스트 실행 로그 및 세션 레코딩 레코딩 화면
- 27. 목 차 서비스 출시배경 AWS Device Farm 제공 서비스 사용사례 이용요금 요약
- 28. 힘들게 만든 우리 앱을 AWS에서 테스트 해보겠습니다! Pig_brothers.apk
- 29. 1. 프로젝트 작성 2. 앱 업로드 Device Farm 테스트 준비절차 3. 앱 정보 확인 4. 테스트 설정
- 30. 5. 디바이스 풀 구성 6. 디바이스 설정
- 31. 7. 테스트 수행/결과 Device Farm 테스트 결과 8. 테스트 스크린 샷
- 32. Device Farm 테스트 결과 – 자원 사용률 확인 Galaxy Note 5 Galaxy s3 * 기기 성능에 따른 자원 사용률 차이
- 33. Explorer 테스트 – 스타트 컴퍼니
- 34. Explorer 테스트 – 사용자 ID 및 Password
- 35. Explorer 테스트 – 실행결과 Summary
- 36. Explorer 테스트 – 실행결과 상세 테스트 실행결과 및 로그 다운로드
- 37. 서비스 출시배경 AWS Device Farm 제공 서비스 사용사례 이용요금 요약 목 차
- 38. 서비스 이용요금 • 종량 과금(Pay as you go) • 테스트를 실행하는데 필요한 Device Minutes, 사용시간(분) 무료제공： 250 Device Minutes 무료 소진후：1 Device Minute 당 $0.17 과금 • 정액옵션(Fixed Price) • 1개의 디바이스를 월 $250 에 이용 (디바이스 숫자가 아닌 Concurrency 갯수) 정액으로 디바이스 이용 Subscription을 변경하지 않아도 언제든지 디바이스 변경가능 Android Family(Fire OS포함) 또는 IOS Family 중 선택
- 39. Concurrency (동시 테스트) 시간 １ ２ ３ ４ 종량 과금 매월 250×2=$500 디바이스 2개에 대한 정액요금 계약시
- 40. 서비스 출시배경 AWS Device Farm 제공 서비스 사용사례 이용요금 요약 목 차
- 41. • 이미 테스트 자동화를 이용 혹은 계획하고 있다. • 더 많은 디바이스를 이용하고 싶다. • 자비로 기기 및 인프라를 관리하고 싶지 않다 • 아직 테스트 자동화를 이용하지 않고 있다. • 테스트 스크립트를 작성하는 자원이 부족하다. • 테스트를 실시하는 자원이 부족하다 언제 사용해야 하나? 지금 바로 모든 기능을 시험해 보세요! 간단한 Fuzz 테스트 부터 시작하세요! (무료 디바이스 Mins 250)
- 42. Online Labs & Training Gain confidence and hands-on experience with AWS. Watch free Instructional Videos and explore Self-Paced Labs Instructor Led Classes Learn how to design, deploy and operate highly available, cost- effective and secure applications on AWS in courses led by qualified AWS instructors Validate your technical expertise with AWS and use practice exams to help you prepare for AWS Certification AWS Certification More info at http://aws.amazon.com/training
- 43. Thank You for Attending AWS Innovate We hope you found it interesting! Do provide us with your feedback for the session and complete the feedback form. Let us know your thoughts of today’s event and how we can improve the event experience for you in the future.