SlideShare a Scribd company logo
ISO 25000과 ISO 29119를 활용한

임베디드 소프트웨어 시험 평가 방법에 관한 연구
노경현, 이금석

이민재

동국대학교 컴퓨터공학과
2014.02.13

㈜ 티큐엠에스
목차

1. 연구 개요

2. 소프트웨어 시험 및 평가 국제 표준
3. 임베디드 소프트웨어 시험 및 평가 방법 제안
4. 결론 및 향후 연구 과제

2
1. 연구 개요 – 필요성
 IT 선진국의 ISO/IEC 국제 표준에 적합한 소프트웨어 시험 평가 체계 구축 현황
 일본: 2013년부터 CSAJ(Computer Software Association of Japan)가 주축이
되어 ISO/IEC 25051- Requirements for quality of Commercial Off-The-Shelf
(COTS) software product and instructions for testing – 국제표준을 기반으로
하는 PSQ(Packaged Software Quality Certification) 인증 제도를 시행
 프랑스: 국가인증기관인 AFNOR에서 IT 분야에 대한 품질인증기관으로 위임을
받은 INFORCERT에서 ISO/IEC 25051을 기반으로 소프트웨어 제품 품질에
대한 NF 인증제도 운영

 국내 IT 융합 산업의 확산으로 국제 표준을 활용한 임베디드 소프트웨어의
국제 표준 적합성 구현이 필요함
 ISO/IEC 25000 시리즈와 ISO/IEC 29119 시리즈에 적합한 평가 가이드 개발
 산업현장에서 개발과정 또는 최종 제품에 대한 시험평가인증에 활용할 수 있도록
가이드 형식의 표준 문서 개발
 글로벌 시장 진입 위한 인프라 확충

3
1. 연구 개요 – 연구 방법
임베디드 소프트웨어 품질 특성 조사
(GS 인증 시험 데이터 분석)

품질 특성 분류 (ISO 25010)

품질 특성에 따른 시험 유형/기법 조사
(ISO 29119 Part 4)

품질 특성에 따른 품질 지표 조사
(ISO 25023)

품질 특성의 시험 유형/기법
매트릭스 개발

품질 특성별 품질 지표
매트릭스 맵핑

소프트웨어 제품의 품질 및
시험 요구사항 적용 (ISO 25051)

소프트웨어 제품의 적합성 평가 적용
(ISO 25051)

4
2. 소프트웨어 시험 및 평가 국제 표준 - ISO 25000

5
2. 소프트웨어 시험 및 평가 국제 표준 – ISO 29119
Part 1 – 개념 및 용어
Part 2 – 시험 절차
테스트 관리
절차

시험 절차

상태 보고

테스트 환경
지원

Part 3 – 시험 문서화
시험 절차
문서화

시험 결과
문서화

중간 상태 보고

Part 4 – 시험 기법

6

테스트 환경
보고
3. 임베디드 소프트웨어 시험 및 평가 방법 제안(1/5)
임베디드 소프트웨어 품질 특성 조사
(GS 인증 시험 데이터 분석)

품질 특성 분류 (ISO 25010)

KTL에서 수행한 GS 인증 시험
결과 분석1)
- ISO 9126-2에 정의된 평가
측정 항목의 101개 품질
측정항목 사용
- GS 시험 수행된 50개의
인증 완료 제품의
품질 특성 조사

임베디드 소프트웨어 특성을
반영하여 ISO 25010에
적합하도록 품질 특성 선정
1) 이금석,

선수림, 소프트웨어 제품의 품질 평가를 위한 공통 측정요소 및 측정기법 개발, 2010
7
3. 임베디드 소프트웨어 시험 및 평가 방법 제안(2/5)
품질 특성에 따른 품질 지표 조사
(ISO 25023)

임베디드 소프트웨어의
평가 지표 중요도 구분
- HR: High Recommend
- R: Recommend
- UO: User Option

8
3. 임베디드 소프트웨어 시험 및 평가 방법 제안(3/5)

성능 효율성
호환성

사용성

신뢰성

보안성

유지보수성

이식성

9

●
●

●
●

설치 시험

●

접근성 시험

신뢰성 시험

사용성 시험

보안 시험

이식성 시험

성능 관련 시험

안정성 시험

●

유지보수 시험

재난 복구 시험

품질 특성 및 부특성별로
평가할 수 있는 시험 유형 선정

기능 완전성
기능 정확성
기능 적절성
시간 효율성
자원 사용성
수용력
공존성
상호운영성
적합 인지성
학습성
운영성
사용자 오류 보호
사용자 인터페이스 호감성
접근성
성숙성
가용성
결함 허용성
복구성
기밀성
무결성
부인방지
추적성
인증성
모듈화
재사용성
분석성
변경성
시험성
적응성
설치성
대치성

백업/ 복구 시험

기능 적합성

품질 부특성

기능 시험

품질 특성

상호운영성 시험

품질 특성에 따른 시험
유형/기법 조사
(ISO 29119 Part 4)

호환성 시험

시험 유형

●
●
●
●
●
●
●
●
●
●
●
●
●
●

●
●
●
●

●
●
●
●
●
●
●
●
●
●

●
●
●
●

●
3. 임베디드 소프트웨어 시험 및 평가 방법 제안(4/5)
품질 특성에 따른 시험
유형/기법 조사
(ISO 29119 Part 4)

품질 특성 및 부특성별로
평가할 수 있는 시험 설계 기법
선정

10
3. 임베디드 소프트웨어 시험 및 평가 방법 제안(5/5)
소프트웨어 제품의 품질 및
시험 요구사항 적용 (ISO 25051)

단계

활동

1. 평가 요구사항 수립

(1) 평가 목적 수립
(2) 제품 품질 요구사항 정의
(3) 평가 제품 부분 식별
(4) 평가 기준 수립

2. 평가 명세

(1) 품질 지표 선정
(2) 품질 지표 판정 기준 수립
(3) 평가 판정 기준 수립

3. 평가 설계

(1) 평가 활동 계획 수립
(2) 평가 유형 선정
(3) 평가 기법 선정

3. 평가 수행

(1) 시험 평가 수행
(2) 품질 지표 판정 기준 적용
(3) 평가 판정 기준 적용

4. 평가 판정

(1) 평가 결과 검토
(2) 평가 보고서 작성
(3) 품질 평가 검토 및 조직에 피드백 제공
(4) 평가 데이터 폐기

11
5. 결론 및 향후 연구 과제

 기대 효과






국제 표준에 적합한 임베디드 소프트웨어의 시험 평가 방법 제안함
산업 현장에서 표준화된 품질측정기법의 개발에 활용 가능
시험평가기관에서는 표준화된 품질 평가 프로세스 및 통일된 시험평가 요구사항 설정
국산 소프트웨어 제품의 해외시장에서의 경쟁력 강화
소프트웨어 제품 시험 평가 국제 표준화에 우리나라의 의견을 적극적으로 반영

 향후 연구 과제
 다양한 임베디드 소프트웨어 제품에 대한 세밀한 요구 품질 분석
 테스트 케이스, 템플릿 및 시험 도구 선정
 산업 현장 적용 및 피드백 보완

12
참고 문헌

 ISO/IEC 25000 Software Engineering –Software Product Quality Requirements
and Evaluation (SQuaRE) General Overview, Reference Models and Guide
 ISO 29119 Software and Systems Engineering - Software testing. Part 4 Test
Techniques
 ISO 25023 Measurement of System and Software Product Quality
 ISO 25051 Requirements for Quality of Commercial Off-The-Shelf (COTS)
Software Product and Instructions for Testing
 이금석, 선수림, 소프트웨어 제품의 품질 평가를 위한 공통 측정요소 및 측정기법 개발,
2010

13
감 사 합 니 다.

14

More Related Content

PPT
Basic Guide to Manual Testing
PPT
Testing fundamentals
PPTX
Software testing
PDF
테스트자동화 성공전략
PPTX
Types of test tools
PPTX
Alpha and beta testing
PDF
Quality Assurance in SDLC
PDF
Software testing
Basic Guide to Manual Testing
Testing fundamentals
Software testing
테스트자동화 성공전략
Types of test tools
Alpha and beta testing
Quality Assurance in SDLC
Software testing

What's hot (20)

PDF
STLC (Software Testing Life Cycle)
PDF
Severity and Priority
PPT
Manual testing ppt
PPTX
테스트자동화와 TDD
PDF
Implantação de um Processo de Teste de Software - Randerson Melville
PPTX
software testing
PPT
Software requirement verification & validation
PPTX
Istqb foundation level day 1
PDF
개발이 테스트를 만났을 때(Shift left testing)
PDF
manualtesting-170218090020 (1).pdf
PDF
우리 제품의 검증 프로세스 소개 자료
PPT
Types of Software Testing
PPT
Black box & white-box testing technique
PPT
Unit 8
PDF
ISTQB Foundation Level Basic
PPT
Softwaretesting
DOCX
Code review guidelines
PPTX
Best Practices for Test Case Writing
PPTX
functional testing
PPTX
Quality Assurance and Software Testing
STLC (Software Testing Life Cycle)
Severity and Priority
Manual testing ppt
테스트자동화와 TDD
Implantação de um Processo de Teste de Software - Randerson Melville
software testing
Software requirement verification & validation
Istqb foundation level day 1
개발이 테스트를 만났을 때(Shift left testing)
manualtesting-170218090020 (1).pdf
우리 제품의 검증 프로세스 소개 자료
Types of Software Testing
Black box & white-box testing technique
Unit 8
ISTQB Foundation Level Basic
Softwaretesting
Code review guidelines
Best Practices for Test Case Writing
functional testing
Quality Assurance and Software Testing
Ad

Viewers also liked (20)

PPTX
ISO 26262 CMMI 통합 평가 프레임웍
PDF
Effective application of software safety techniques for automotive embedded c...
PPTX
The Core of Testing – Dynamic Testing Process – According to ISO 29119 with...
PDF
Istqb 2-소프트웨어수명주기와테스팅-2015
PDF
ARP4754a, DO-178C 발표자료
PDF
Istqb 3-정적테스팅기법-2015
PDF
IEC 61508-3 SW Engineering
PDF
ISO26262-6 Software development process (Ver 3.0)
PDF
소프트웨어 테스팅
PDF
Requirement matrix
PPT
K.study. 9.5
PDF
150514 경북대학교(콘텐츠산업과 창업)
PPTX
Release and versioning
PDF
001.경제원론2-개관 (ku,snu 2015f)
PPTX
웹 접근성 평가도구 OpenWAX 뜯어보기
PDF
Dream maker 1(융합은 연결이다)
PPTX
스토리포인트로 공수산정하기 운선순위정하기
PPTX
유지보수성이 sw의 품질이다.
PPTX
모션 용기
PDF
역사 속 초기 데이터 전문가를 통해 배우는 5가지 교훈
ISO 26262 CMMI 통합 평가 프레임웍
Effective application of software safety techniques for automotive embedded c...
The Core of Testing – Dynamic Testing Process – According to ISO 29119 with...
Istqb 2-소프트웨어수명주기와테스팅-2015
ARP4754a, DO-178C 발표자료
Istqb 3-정적테스팅기법-2015
IEC 61508-3 SW Engineering
ISO26262-6 Software development process (Ver 3.0)
소프트웨어 테스팅
Requirement matrix
K.study. 9.5
150514 경북대학교(콘텐츠산업과 창업)
Release and versioning
001.경제원론2-개관 (ku,snu 2015f)
웹 접근성 평가도구 OpenWAX 뜯어보기
Dream maker 1(융합은 연결이다)
스토리포인트로 공수산정하기 운선순위정하기
유지보수성이 sw의 품질이다.
모션 용기
역사 속 초기 데이터 전문가를 통해 배우는 5가지 교훈
Ad

Similar to ISO 25000과 ISO 29119를 활용한 임베디드 소프트웨어 시험 평가 방법에 관한 연구 (20)

PPTX
Istqb 1-소프트웨어테스팅기초
PPTX
SW 테스트 프로세스& 메뉴얼_V 모델
PDF
Istqb 1-소프트웨어테스팅기초-2015
PDF
아꿈사.C++ api 디자인.20140315 a
PDF
Istqb 5-테스트관리-2015-배포
PDF
Istqb 4-테스트설계기법-2015-1
PPTX
CBD 개발방법론.pptx
PDF
Istqb 6-테스트도구-2015-배포판
PDF
한컴MDS_TRACE32를 활용한 DT10 커버리지 측정 방안
PDF
Istqb 4-테스트설계기법-2015-2-1-배포
PPTX
테스트 케이스와 SW 품질
PDF
효율적인 개발 프로세스를 위한 지속적 통합
PDF
테스트 계획할 때에 필요한 질문들 (The inquiry method for test planning)
PPT
Fault tolerance 1장
 
PPTX
[H3 2012] 행복한 개발을 위한 테스트 케이스
PPTX
행복한 개발을 위한_테스트_케이스
PDF
투비웨어 AgitarOne Junit 단위테스트자동화 솔루션소개_201608_v1.2
PDF
Effective Unit Testing
PDF
더 나은 SW프로젝트를 위해
PDF
EMOCON 2015 - 품질과 테스트는 다르다
Istqb 1-소프트웨어테스팅기초
SW 테스트 프로세스& 메뉴얼_V 모델
Istqb 1-소프트웨어테스팅기초-2015
아꿈사.C++ api 디자인.20140315 a
Istqb 5-테스트관리-2015-배포
Istqb 4-테스트설계기법-2015-1
CBD 개발방법론.pptx
Istqb 6-테스트도구-2015-배포판
한컴MDS_TRACE32를 활용한 DT10 커버리지 측정 방안
Istqb 4-테스트설계기법-2015-2-1-배포
테스트 케이스와 SW 품질
효율적인 개발 프로세스를 위한 지속적 통합
테스트 계획할 때에 필요한 질문들 (The inquiry method for test planning)
Fault tolerance 1장
 
[H3 2012] 행복한 개발을 위한 테스트 케이스
행복한 개발을 위한_테스트_케이스
투비웨어 AgitarOne Junit 단위테스트자동화 솔루션소개_201608_v1.2
Effective Unit Testing
더 나은 SW프로젝트를 위해
EMOCON 2015 - 품질과 테스트는 다르다

ISO 25000과 ISO 29119를 활용한 임베디드 소프트웨어 시험 평가 방법에 관한 연구

  • 1. ISO 25000과 ISO 29119를 활용한 임베디드 소프트웨어 시험 평가 방법에 관한 연구 노경현, 이금석 이민재 동국대학교 컴퓨터공학과 2014.02.13 ㈜ 티큐엠에스
  • 2. 목차 1. 연구 개요 2. 소프트웨어 시험 및 평가 국제 표준 3. 임베디드 소프트웨어 시험 및 평가 방법 제안 4. 결론 및 향후 연구 과제 2
  • 3. 1. 연구 개요 – 필요성  IT 선진국의 ISO/IEC 국제 표준에 적합한 소프트웨어 시험 평가 체계 구축 현황  일본: 2013년부터 CSAJ(Computer Software Association of Japan)가 주축이 되어 ISO/IEC 25051- Requirements for quality of Commercial Off-The-Shelf (COTS) software product and instructions for testing – 국제표준을 기반으로 하는 PSQ(Packaged Software Quality Certification) 인증 제도를 시행  프랑스: 국가인증기관인 AFNOR에서 IT 분야에 대한 품질인증기관으로 위임을 받은 INFORCERT에서 ISO/IEC 25051을 기반으로 소프트웨어 제품 품질에 대한 NF 인증제도 운영  국내 IT 융합 산업의 확산으로 국제 표준을 활용한 임베디드 소프트웨어의 국제 표준 적합성 구현이 필요함  ISO/IEC 25000 시리즈와 ISO/IEC 29119 시리즈에 적합한 평가 가이드 개발  산업현장에서 개발과정 또는 최종 제품에 대한 시험평가인증에 활용할 수 있도록 가이드 형식의 표준 문서 개발  글로벌 시장 진입 위한 인프라 확충 3
  • 4. 1. 연구 개요 – 연구 방법 임베디드 소프트웨어 품질 특성 조사 (GS 인증 시험 데이터 분석) 품질 특성 분류 (ISO 25010) 품질 특성에 따른 시험 유형/기법 조사 (ISO 29119 Part 4) 품질 특성에 따른 품질 지표 조사 (ISO 25023) 품질 특성의 시험 유형/기법 매트릭스 개발 품질 특성별 품질 지표 매트릭스 맵핑 소프트웨어 제품의 품질 및 시험 요구사항 적용 (ISO 25051) 소프트웨어 제품의 적합성 평가 적용 (ISO 25051) 4
  • 5. 2. 소프트웨어 시험 및 평가 국제 표준 - ISO 25000 5
  • 6. 2. 소프트웨어 시험 및 평가 국제 표준 – ISO 29119 Part 1 – 개념 및 용어 Part 2 – 시험 절차 테스트 관리 절차 시험 절차 상태 보고 테스트 환경 지원 Part 3 – 시험 문서화 시험 절차 문서화 시험 결과 문서화 중간 상태 보고 Part 4 – 시험 기법 6 테스트 환경 보고
  • 7. 3. 임베디드 소프트웨어 시험 및 평가 방법 제안(1/5) 임베디드 소프트웨어 품질 특성 조사 (GS 인증 시험 데이터 분석) 품질 특성 분류 (ISO 25010) KTL에서 수행한 GS 인증 시험 결과 분석1) - ISO 9126-2에 정의된 평가 측정 항목의 101개 품질 측정항목 사용 - GS 시험 수행된 50개의 인증 완료 제품의 품질 특성 조사 임베디드 소프트웨어 특성을 반영하여 ISO 25010에 적합하도록 품질 특성 선정 1) 이금석, 선수림, 소프트웨어 제품의 품질 평가를 위한 공통 측정요소 및 측정기법 개발, 2010 7
  • 8. 3. 임베디드 소프트웨어 시험 및 평가 방법 제안(2/5) 품질 특성에 따른 품질 지표 조사 (ISO 25023) 임베디드 소프트웨어의 평가 지표 중요도 구분 - HR: High Recommend - R: Recommend - UO: User Option 8
  • 9. 3. 임베디드 소프트웨어 시험 및 평가 방법 제안(3/5) 성능 효율성 호환성 사용성 신뢰성 보안성 유지보수성 이식성 9 ● ● ● ● 설치 시험 ● 접근성 시험 신뢰성 시험 사용성 시험 보안 시험 이식성 시험 성능 관련 시험 안정성 시험 ● 유지보수 시험 재난 복구 시험 품질 특성 및 부특성별로 평가할 수 있는 시험 유형 선정 기능 완전성 기능 정확성 기능 적절성 시간 효율성 자원 사용성 수용력 공존성 상호운영성 적합 인지성 학습성 운영성 사용자 오류 보호 사용자 인터페이스 호감성 접근성 성숙성 가용성 결함 허용성 복구성 기밀성 무결성 부인방지 추적성 인증성 모듈화 재사용성 분석성 변경성 시험성 적응성 설치성 대치성 백업/ 복구 시험 기능 적합성 품질 부특성 기능 시험 품질 특성 상호운영성 시험 품질 특성에 따른 시험 유형/기법 조사 (ISO 29119 Part 4) 호환성 시험 시험 유형 ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●
  • 10. 3. 임베디드 소프트웨어 시험 및 평가 방법 제안(4/5) 품질 특성에 따른 시험 유형/기법 조사 (ISO 29119 Part 4) 품질 특성 및 부특성별로 평가할 수 있는 시험 설계 기법 선정 10
  • 11. 3. 임베디드 소프트웨어 시험 및 평가 방법 제안(5/5) 소프트웨어 제품의 품질 및 시험 요구사항 적용 (ISO 25051) 단계 활동 1. 평가 요구사항 수립 (1) 평가 목적 수립 (2) 제품 품질 요구사항 정의 (3) 평가 제품 부분 식별 (4) 평가 기준 수립 2. 평가 명세 (1) 품질 지표 선정 (2) 품질 지표 판정 기준 수립 (3) 평가 판정 기준 수립 3. 평가 설계 (1) 평가 활동 계획 수립 (2) 평가 유형 선정 (3) 평가 기법 선정 3. 평가 수행 (1) 시험 평가 수행 (2) 품질 지표 판정 기준 적용 (3) 평가 판정 기준 적용 4. 평가 판정 (1) 평가 결과 검토 (2) 평가 보고서 작성 (3) 품질 평가 검토 및 조직에 피드백 제공 (4) 평가 데이터 폐기 11
  • 12. 5. 결론 및 향후 연구 과제  기대 효과      국제 표준에 적합한 임베디드 소프트웨어의 시험 평가 방법 제안함 산업 현장에서 표준화된 품질측정기법의 개발에 활용 가능 시험평가기관에서는 표준화된 품질 평가 프로세스 및 통일된 시험평가 요구사항 설정 국산 소프트웨어 제품의 해외시장에서의 경쟁력 강화 소프트웨어 제품 시험 평가 국제 표준화에 우리나라의 의견을 적극적으로 반영  향후 연구 과제  다양한 임베디드 소프트웨어 제품에 대한 세밀한 요구 품질 분석  테스트 케이스, 템플릿 및 시험 도구 선정  산업 현장 적용 및 피드백 보완 12
  • 13. 참고 문헌  ISO/IEC 25000 Software Engineering –Software Product Quality Requirements and Evaluation (SQuaRE) General Overview, Reference Models and Guide  ISO 29119 Software and Systems Engineering - Software testing. Part 4 Test Techniques  ISO 25023 Measurement of System and Software Product Quality  ISO 25051 Requirements for Quality of Commercial Off-The-Shelf (COTS) Software Product and Instructions for Testing  이금석, 선수림, 소프트웨어 제품의 품질 평가를 위한 공통 측정요소 및 측정기법 개발, 2010 13
  • 14. 감 사 합 니 다. 14