Android Test Recorder & Profiler 구축 이야기

1. Android Test Recording & Profiler (Cerberus 구축 이야기)

2. 조재우

3. 노성현

4. 손영수

5. 윤강호

6. 황학범

7. 박종훈

9. PART

10. 1.

13. 우리는

14. 왜

15. PROFILER를

16. 만들었나?

19. 개인

20. 개발자:

21. 73%

22. 무료 어플리케이션 유료 어플리케이션 회사, 734, 25% 회사, 957, 31% 개인, 2125, 69% 개인, 2235, 75%

23. Startup

24. 에서

25. 상황

26. (1인

27. 3역)

28. 기획

29. QA

30. 개발

32. 대충

33. 만들고

34. 일단

35. 릴리즈!!!

37. 하지만

38. 그

39. 결과…⋯

42. 50%

43. 이상이

44. 앱이

45. 죽거나

46. 멈추거나

47. 느려지는

48. 문제를

49. 겪는다.

50. 출처 : http://offers2.compuware.com/rs/compuware/images/Mobile_App_Survey_Report.pdf

51. 앱을

52. 사용하지

53. 않겠다

54. 경쟁사

55. 앱으로

56. 바꾸겠다

57. 안좋은

58. 경험을

59. 다른

60. 사람들에게

61. 알리겠다

62. 이

63. 회사

64. 제품을

65. 사지

66. 않겠다

67. 별점을

68. 낮게

69. 주겠다

70. 회사에

71. 대한

72. 전체적인

73. 인식이

74. 나빠졌다

75. 그

76. 회사의

77. 사이트에

78. 들어가지

79. 않겠다

80. 회사의

81. 고객서비스에

82. 컨택하겠다

83. 회사의

84. 모바일

85. 웹서비스에

86. 접속한다

87. 소셜미디어에

88. 알린다

89. 아무것도

90. 하지

91. 않는다

93. 성능

94. 측정과

95. 테스트는

96. 이제

97. 필수

101. 안드로이드는…⋯…⋯

106. 높은

107. 학습곡선이

108. 존재하여

110. 성능

111. 분석은

112. 고급

113. 개발자의

114. 영역

116. 그렇다면

117. UI

118. 테스트는?

120. 한

121. 두개도

122. 아니고..

124. 꿈틀거리는

125. 테스트

126. 시장..

127. 자머 윈드리버

128. 스크립트

129. 직접

130. 작성,

132. 복잡한

133. 배포

135. Manual

136. Script

137. ,

138. Only

139. Emulator,

141. Not

142. Free

146. *

147. 프로젝트의

148. 가치

149. 찾기

151. 비즈니스 모델 캔버스는 창업자들이 생각한 가설이고, 고객 개발은 창업자들이 생각해낸 해결책을 검증하기 보다는 창업자들이 가정한 문제가 진짜 고객의 문 제인지 검증하는 것이다! Steve Blank Lean Startup의 아버지 Customer Development Method 저자

152. 수

153. 많은

154. 인터뷰..

155. 서드 파트 라이브러리 때문에 앱의 성 능에 문제가 생기는 경우가 많다. 직접 개발한 코드가 아니기 때문에 동적으로 분석해서 문제를 해결할 수 밖 에 없는 데 기존 분석 툴로는 정확한 정보를 얻 기가 굉장히 힘들다. 기존에 DDMS를 이용해서 성능분석을 하지만 한 번에 볼 수 있는 차트가 부족 하고 히스토리를 쉽게 남길 수가 없어 서 이전 분석과 이후 분석에 대해서 비 교가 쉽지 않다. 대부분 개발이 NDK로 이루어지는 상태 이다. 미디어 프레임워크에 대한 성능 분석을 자바 레벨과 Native 레벨에서 모 두 하고 싶지만 통합해서 쉽게 할 수 있 는 방법이 현재 없는 상태인 것 같다. 너무 많은 툴들이 분산되어있고 빠르게 정리해서 볼 수가 없다. 기존 크래시 리포트는 배포 후 end 유 저의 보고를 통해서만 알 수 있다. 스타 트업의 경우 빠르게 배포 후 고쳐나가 는 게 맞지만 배포 전에 적은 비용으로 미리 이러한 문제를 예측하고 해결할 수 있다면 좋을 것 같다. 알람 앱이 오작동하는 버그는 크래쉬가 아니기 때문에 잡을 수 없다. 미리 상황 을 예측하거나 오작동할 때 end user의 앱 상태를 관찰할 수 있는 방법이 없다. 빠르게 앱 개발을 해야 하는 일정에서 배포 전에 전체적으로 앱의 퀄리티를 향상시킬 수 있는 방법이 있으면 좋겠 다. 빠르게 앱 개발을 해야 하는 일정에서 배포 전에 전체적으로 앱의 퀄리티를 향상시킬 수 있는 방법이 있으면 좋겠 다.

156. 알람몬

157. 인터뷰..

158. 3rd Party Library 때문에 앱의 성능에 문제가 생 기는 경우가 많다. 직접 개발한 코드가 아니기 때문 에 동적으로 분석해서 문제를 해 결할 수 밖 에 없는데 기존 분석 툴로는 정확한 정보를 얻기가 굉 장히 힘들다.

159. 말랑스튜디오

160. CEO

161. 김영호

163. Sleep

164. If

165. U

166. Can

167. 인터뷰

168. 앱이 오작동하는 버그는 잡을 수 없다. 미리 상황을 예측하거나 오작동할 때 end user의 앱 상태를 관찰할 수 있는 방법이 없다. 신재명

170. Customer

172. Validation

173. Feedback

174. Customer

176. Discovery

177. 고객의

178. 요구사항

179. 테스트

180. 자동화와

181. 쉽 게

182. 사용할

183. 수

184. 있는

185. 성능측정

186. 툴의

187. 부재

188. 가치찾기

189. 워크샵

191. 가치 찾기 워크샵 진행

192. 1) Purpose Goal 수립

193. 1) Purpose Goal 수립 목적 목표 •  성능분석 솔루션 브랜드를 가지 고 싶다 •  Android 성능 분석 •  사용자의 느낌 – 실제 런칭 전에 사전문제를 점검 •  다른 사람에게 도움이 되는 글 발 표 •  많은 개발자들이 App 개발, 배포 전 필수적으로 사용되는 Product 가 되기를 희망 •  런칭 후에 다른 사람들에게 피드 백을 받고 싶다

194. 2) Why Why not Buy? 사야 되는 이유와 사지 않는 이유를 각자 30개씩 적고 그룹화 한다

195. 3) Simple Value Proposition

196. 3) Simple Value Proposition Offer 성능이슈해결 개발 및 유지보수 비용 감소 학습비용 최소화 소스코드에서 메모리에 영향을 주는 부분을 체크하고 실시간 메모리 추적을 통해 메모리 누수를 측정한다 Value 버전별 Test를 통해 해당 A pp의 Android 버전별 분석 결과를 알려준다 Android App의 성능에 악영 향을 끼치는 문제의 원인과 해결책을 보여주고 이에 기반한 App 등급을 보여준다 해당 App의 CPU사용률을 수치화하여 분석결과를 보여준 다 문제의 원인이 되는 소스 코드의 정확한 지점을 알 려준다 환경에 구애받지 않고 어디에 서든 사용할 수 있는 웹 기반이다 App이 컨텐츠(이미지, 동영상 등)를 처리하는 과정에서 발생 할 수 있는 문제를 찾아준다 내가 원하는 Test시나리오 를 만들고, 저장하고, 재사 용할 수 있다 부가적인 설정없이 클릭만으 로 처음쓰는 사람도 쉽게 사용 가능

197. 4) User Profiling을 통한 Opportunity도출

198. 작성한 페르소나 중 우선순위가 높은 페르소나를 선택하고 키워드를 그룹화

199. 5) Convergence

200. 5) Convergence Offer 웹에서 자동으로 설정파일을 만 들어주고 전체과정을 순서대로 따라할 수 있도록 함으로써 환경 에 구애받지 않고 설정과 학습곡 선을 줄여준다 소스코드에서 메모리에 영향을 주는 부분을 체크하고 실시간 메모리 추적을 통해 메모리 누수를 측 정한다 Value App이 예상치 못하게 종료되 거나 느려지는 원인을 조기에 찾아준다 정상적으로 동작하지 않는 버전이나 시나 리오를 찾아 그 원인과 해결책을 종류별로 그룹화하여 심각성이 높은 순서대로 보여 준다 버전별 Test를 통해 해당 App의 Android 버전별 분석 결과를 알려준다 환경에 구애받지 않고 어디에서 든 사용할 수 있는 웹 환경이다. 해당 App의 CPU사용률을 수 치화하여 분석결과를 보여준다 문제가 되는 소스코드의 정확한 위치와 해 결책을 종류별로 그룹화하여 심각성에 따라 우선순위를 부여하여 높은 순서대로 보여주고 이를 기반으로 App등급을 매겨준다 원하는 기능을 선택하면 자동으 로 이에 대한 완성된 설정파일을 제공함으로써 기존에 요구되던 복잡한 설정과정을 없앤다 내가 원하는 Test시나리오를 만들고, 저장하고, 재사용할 수 있다 포커싱과 따라하기 기능을 통해 전체 과정을 Step by Step으 로 따라가는 환경을 제공하여 학습곡선을 줄인다 App이 컨텐츠 (이미지, 동영상 등)를 처리하 는 과정에서 발생할 수 있는 문제를 찾아준다

201. Quality

202. Gate는

203. 모바일

204. 앱

205. 개발팀에게

207. VALUE

208. 성능에

209. 관한

211. 잠재적인

212. 오류 를

214. 조기에

215. 발견

216. 버전별,

217. 시나리오별

218. 테스트로

219. 그

220. 원인과

221. 해결책을

222. 제공

223. 낮은

225. 학습곡선

226. 가치를

227. 제공하는데

228. FEATURE

229. 메모리,

230. CPU,

231. 네트워크,

232. 배 터리

233. 정보

234. 분석

235. 시나리오

236. 테스트

237. 레코딩으로

240. 테스트

241. 자동화

242. 우선순위

243. 별로

245. 등급을

246. 나눈

247. 시각화

248. 를

249. 통해

250. 이루어

251. 진다.

253. Customer

255. Validation

256. Feedback

257. 고객의

258. 요구사항

259. 버그의

260. 위험

261. 정도를

262. 판별

263. 할

264. QA의

265. 부재

266. QA

267. Insight

268. 가치찾기

269. 워크샵

270. UI개선

271. 필요

272. Single

273. Page

274. Repo rt

275. 사용자

276. 스크린

277. 우선

278. 사용자

279. 메서드

281. 파서

282. 개발

283. 고객

284. 타겟팅

285. 액티비티

286. 기반

288. 필터링

289. UI

290. 시안,

291. 기능

292. 사용자

293. 피드백

294. 최종

296. 사용자

297. 피드백

298. Quality

299. Gate만 의

300. 가치가

301. 있다

302. Customer

304. Discovery

306. 데모

308. 기존 프로파일링 솔루션의 문제 해결 위젯으로

309. 프로파일링

310. 한

311. 줄의

312. API

313. 설정만으로

315. 설정

316. 우선

317. 순위별로

318. 등급화된

320. 결과

321. 확인

322. 높은

323. 접근성

324. (웹)

325. 직관적인

326. 시각확

328. *

329. 대표적인

330. 안드로이드

335. 테스팅/

338. 도구들

340. 대표적인 UI 테스트 툴 Monkey

342. Runner

343. UI

345. Automator

346. Robotium

348. 대표적인 UI 테스트 툴 Monkey

350. Runner

351. UI

353. Automator

354. Robotium

355. 지원

356. 버전

357. All

358. 4.2↑

359. All

360. 입력

361. 방법

362. 좌표

363. 이벤트

364. 이벤트

365. JUnit

366. 지원

367. X

368. O

369. O

371. 대표적인 PROFILING 툴 Procstats

372. Top

373. Traceview

374. Systrace

375. 지원

376. 버전

377. 4.2↑

378. All

379. All

380. 4.1↑

381. 범위

382. Device

383. 전체

384. Device

385. 전체

386. 1

387. App

388. 인스턴스

390. 1

391. App

392. 인스턴스

393. 대상

394. 실행중인

395. 전체

396. 앱,

397. 서비스의

398. 메모리

399. 사용량,

400. 실행시간

401. 출력

402. 포맷

403. text

404. Dalvik

405. 내부의

406. 함수/클래스별

407. 컴포넌트별

408. CP 매모리

409. 상태

410. CPU

411. 실행시간

412. U

413. 실행시간

414. text

415. text,

416. tree,

417. tim eline

418. timeline

420. Procstats

421. 각

422. 서비스에

423. 대한

424. 메모리

425. 사용량,

426. 실행시간

428. TOP

429. 상태정보:

430. heap,

431. objects,

432. sql..

434. Traceview

435. 함수,

436. 클래스별

437. CPU

438. 실행시간

440. Systrace

442. CPU

443. 실행시간

445. 대표적인 PROFILING 툴 Procstats

446. Top

447. Traceview

448. Systrace

449. 지원

450. 버전

451. 4.2↑

452. All

453. All

454. 4.1↑

455. 범위

456. Device

457. 전체

458. Device

459. 전체

460. 1

461. App

462. 인스턴스

464. 1

465. App

466. 인스턴스

467. 대상

468. 실행중인

469. 전체

470. 앱,

471. 서비스의

472. 메모리

473. 사용량,

474. 실행시간

475. 출력

476. 포맷

477. text

478. Dalvik

479. 내부의

480. 함수/클래스별

482. CP 매모리

483. 상태

484. CPU

485. 실행시간

486. U

487. 실행시간

488. text

489. text,

490. tree,

491. tim eline

492. timeline

494. PART

495. 2.

496. PROFILING의

497. 필요성

500. 기능적

501. 오류

503. 환경적 오류 Out

504. of

505. Memory

506. 솔루션

507. :

508. Profiler

509. Low

510. Battery

511. Network

512. 100%

513. CPU

514. Usage

517. 자주

518. 만나는

519. 환경적

520. 에러

521. 이야기.

522. Out

523. Of

524. Memory

526. Dalvik

527. is

528. Isolation

529. model

530. App

532. Memory

533. App

534. Memory

535. App

536. Memory

537. DALVIK

538. App

539. Memory

540. App

541. Memory

543. 프로세스당 메모리 한계 Heap Allocated

544. Bitmap Android Memory 참조만 Java Heap, 비트맵 객체는 Native Heap에 존재 Lower 참조와 비트맵 객체 모두 Java Heap 에 존재 Higher

545. Honeycomb 이전에는 Memory Control 을 위해 Recycle() 호출로 Native Heap 영역 해제

546. Honeycomb 이후로는 Memory Control 을 위해 Java Heap Memory Control 해야 한다.

547. 직접적으로

548. 메모리

549. 제어

550. 할

551. 수

552. 없다.

554. Garbage

555. Collector

556. 힙(heap)

557. 내의

558. 객체

559. 중에서

563. 가비지(garbage)를

564. 찾아낸다

567. 찾아낸

568. 가비지를

569. 처리해서

571. 힙의

572. 메모리를

573. 회수한다.

575. Java

576. 가비지

577. 컬렉터는

578. Garbage를

579. 찾기

580. 위해

582. Reachability

583. 개념

584. 사용

586. Reachable

587. -

588. 객체에

589. 유효한

590. 참조

591. Unreachable

592. 객체에

593. 유효한

594. 참조가

595. 없을

596. 때,

598. 가비지로

599. 간주되어

600. 수집

601. 대상이

602. 된다.

606. Reachable

607. Object

608. Strongly

609. Reachable

610. Object

611. Softly

612. Reachable

613. Object

614. Weakly

615. Reachable

616. Object

617. Phantomly

618. Reachable

619. Object

620. Un

621. Reacahable

622. Object

623. 가비지

625. 컬렉션

626. 대상이

628. 되는

629. 시점

631. 회수

632. X

633. 메모리가

635. 부족할

636. 때

637. 가비지

639. 컬렉션이

641. 일어날

642. 때

643. 회수

644. X,

645. Finalize

647. 이후

648. 회수

649. o

650. Reference

651. Strong

653. Reference

654. Soft

656. Reference만

657. 통과

658. Weak

660. Reference만

661. 통과

662. Phantom

664. Reference만

666. 통과

667. X

669. Weakly

670. Reachable

671. Object

673. Strong

674. Reference

675. Object

676. obj

677. =

678. new

679. Object();

680. 일반적인

681. 객체

682. =

683. Out

684. of

685. Memory

686. 위험이

687. 있음

689. Soft

690. Reference

691. SoftReference

692. sr

693. =

695. new

696. SoftReference(new

697. Object());

699. 메모리

700. 여유

701. 기준에

702. 따라

703. 가비지

704. 컬렉션

705. 대상

707. Weak

708. Reference

709. WeakReference

710. wr

711. =

713. new

714. WeakReference(new

715. Object());

716. 가비지

717. 컬렉션이

718. 일어날

719. 때

720. 바로

721. 회수

724. Phantom

725. Reference

726. ReferenceQueueObject

727. rq

728. =

730. new

731. ReferenceQueueObject();

733. PhantomReferenceObject

734. pr

735. =

737. new

738. PhantomReferenceObject(new

739. Object(),

740. rq);

741. 객체의

742. 파이널라이즈

743. 시점을

744. 알고

746. 객체의

747. 클린업

748. 동작을

749. 수행할

750. 필요가

751. 있을

752. 때

754. Strong

756. vs Weak

758. Strong Reference Code

759. Heap size 140 Out Of Memory !! 120 100 80 Strong Weak 60 40 20 0 Time

760. Weak Reference Code

761. Heap size 140 120 100 80 Strong Weak 60 40 20 0 Time

762. Heap size 140 120 100 80 Strong Weak 60 40 20 0 Time

763. PART

764. 3.

767. 오픈소스로

769. 테스트

770. 자동화

771. 개발하기

775. 로보티움 Test를 통 한 자동화 테스트

777. 사용자의

778. 모션을

779. 어떻게

780. 레코딩

781. 할까? 화면

782. 파편화를

783. 극복

785. 귀찮은

786. UI

787. 테스트를

788. 자동화

790. Quality Gate Client Server

791. Client

792. Architecture

793. Data

794. Marshaller/

795. UnMashaller

796. profiler

797. interface

799. wrapper

800. façade

801. User

802. Program

803. Scenario

804. Robotium

805. Runner

806. User

807. Motion

808. Collector

809. Motion

810. Listener

811. Injector

812. [범례]

813. Profiler

814. Profiling

816. Widget

817. Battery

818. Data

819. Collector

821. Heap

822. Analyser

823. component

824. infrastructure

825. External

826. system

827. Profiling

828. Status

830. Manager

831. Network

832. Data

833. Collector

834. CPU

835. Tracer

836. Function

837. call

838. JSON

840. 모션수집 방법 리스너에 모션을 수집하는 코드를 삽입 모션 수집 코드 사용자 리스너 코드

841. 모션수집 코드의 예 btn1.setOnClickListener(new OnClickListener() { @Override public void onClick(View v) { } });

842. 모션수집 코드의 예 btn1.setOnClickListener(new OnClickListener() { @Override public void onClick(View v) { motionCollection(v, onClick); } }); 수집코드를 리스너에 삽입

843. 모든 리스너에 수집 코드를 삽입하는 일은 불편하고 귀찮은이용 Aspect Oriented Programming를 일!

844. Aspect Oriented Programming 기본 컨셉

845. Aspect Oriented Programming 어떠한 코드 시점 이전,이후에 자동으로 코드를 삽입해 준다. 공통 로직 A Weaving 코드 시점 -  -  -  -  -  공통 로직 B 메소드 호출 필드 접근 예외처리 생성자 호출 초기화

846. AOP를 사용하기 전 위젯 리스너 모션수집 Widget1 Listener1 MotionCollect1 Widget2 Listener2 MotionCollect2 Widget3 Listener3 MotionCollect3

847. AOP를 사용한 후 위젯 리스너 모션수집 Widget1 Widget2 Widget3 onClickListener MotionCollectAop

848. AOP의 Key = BCI Byte Code Instrumentation란? Java Byte Code에 직접 수정을 가해 로직을 추가하는 기 술

849. 공통 로직 A Weaving 코드 시점 -  -  -  -  -  공통 로직 B 메소드 호출 필드 접근 예외처리 생성자 호출 초기화

850. Aop를 이용한 자동 코드 삽입 시나리오 수집 로직 Weaving 리스너 메소드 호출 시점

851. 컴파일로 보는 Weaving시점 Compile Time Weaving java class Class Loading Weaving Runtime Weaving JVM Compile Time Weaving java class dex apk Dalvik Java ByteCode가 아닌 Dalvik Code를 사 용

852. AspectJ

854. Compile

855. Time

856. Weaving

857. 라이브러리

859. AOP의 용어 Pointcut 공통 로직 A 코드 시점 -  -  -  -  -  공통 로직 B 메소드 호출 필드 접근 예외처리 생성자 호출 초기화

860. AOP의 용어 공통 로직 A 코드 시점 선처리 후처리 공통 로직 B -  -  -  -  -  메소드 호출 필드 접근 예외처리 생성자 호출 초기화

861. AOP의 용어 공통 로직 A 코드 시점 선처리(Before) JoinPoint 후처리(After) 공통 로직 B -  -  -  -  -  메소드 호출 필드 접근 예외처리 생성자 호출 초기화

862. AspectJ를

863. 이용한

864. HelloWorld

865. public

866. class

867. HelloWorld

868. {

875. public

876. void

877. sayHello()

878. {

891. System.out.print(Hello);

899. }

901. }

902. pointcut

903. sayHello()

904. :

906. execution(*

907. HelloWorld.sayHello());

910. before()

911. :

912. sayHello()

913. {

921. System.out.print(say

922. );

923. }

925. after()

926. :

927. sayHello()

928. {

936. System.out.println(

937. world);

938. }

940. 위젯 리스너 모션수집 Widget1 JoinPoint:Before Widget2 onClickListener PointCut Widget3 MotionCollectAo p

941. 모든

942. 클릭이벤트를

943. 수집하는

945. Aspect

947. 코드

949. //

950. 모든

951. onClick메소드로

952. 부터

954. View를

955. 파라미터로

956. 받는

957. Pointcut

958. pointcut

959. onClickAop(View

960. v)

961. :

962. execution(*

963. *.onClick(..))

965. args(v);

968. //

969. onClickAop가

970. 실행되기

971. 전이라는

972. Joinpoint를

973. 정의

974. before(View

975. v)

976. :

977. onClickAop(v)

978. {

982. //

983. insert

984. your

985. code...

988. motionCollection(v,

989. onClick);

992. }

994. 수집된

995. 정보와

996. Robotium을

998. 이용하여

999. UI테스트

1000. 진행

1001. Robotium

1003. PART4.

1005. 우리의

1006. 비전!!

1008. 1단계

1009. 프로젝트

1011. 인원:

1012. 3명

1014. 기간:

1015. 5개월

1021. 2단계

1022. 프로젝트

1024. 인원:

1025. 3명

1026. (1명

1027. 교체)

1029. 기간:

1030. 7개월

1031. 진행중

1033. 보다

1034. 도움이

1035. 되는

1036. 정보를

1037. 제공하려면?

1038. 편의성은?

1039. 지표는?

1040. 시각화는?

1042. Hprof

1043. 힙

1044. 덤프

1045. 분석

1046. 무거운 덤프 분석이 항상 필요한가? 일단 다른 지표로 대체, 향후 보완

1047. Hprof

1048. 힙

1049. 덤프

1050. 분석

1051. 힙

1052. 덤프

1053. 분석은

1054. 어떻게

1055. 해야

1056. 하는가?

1057. 성능

1058. 분석

1059. 전문가

1060. 자문

1061. 김성조

1063. 현)

1064. LG

1065. CNS

1066. 전)

1067. 제니퍼소프트

1068. CTO

1070. Battery

1071. 사용량

1072. 모니터링

1073. Powertutor

1074. 사용했으나

1075. 부하가

1076. 많이

1077. 걸려

1078. 제거

1079. …⋯대안

1080. 모색중

1082. VISUALIZATION

1084. 안드로이드

1085. 앱

1086. 개발에

1087. 있어

1088. 필수적인

1089. 도구-서비스

1090. !!

1092. 월간 마이크로소프트웨어 (총 3편, 1~3월호)

1093. chjw102@gmail.com

1094. shtjdgus1090@gmail.com

1095. yoonkangho@gmail.com

Android Test Recorder & Profiler 구축 이야기

More Related Content

What's hot (20)

Viewers also liked (6)

Similar to Android Test Recorder & Profiler 구축 이야기 (20)

More from YoungSu Son (20)

Android Test Recorder & Profiler 구축 이야기