テストプロセス改善モデルの最新動向
22 likes6,881 views
更新履歴： - 2016年4月10日: TPI NEXTの原著リリース年を2013年から2009年に変更しました※1 第14回 SPIトワイライトフォーラム 2016年3月の講演資料です。 http://www.jaspic.org/events/twilight/2016-3/ ※1： 当初、電子書籍の英語版及び翻訳書の原著リリース年を参照して2013年としていましたが、原著のハードカバー版が2009年に出版されていたため、2013年から2009年に修正しました。ご指摘いただいた辰巳さん、ありがとうございました。
![PA2.2 作成生産物管理の例
プロセス能力指標
能力水準 ２
GR for PA2.2
• 要求管理手法/ツール
[a, b, c]
• 構成管理システム
[b, c]
• 文書推敲サポートツール
[b, c]
…
GWP for PA2.2
• 1.00 オブジェクト
...
• 8.00 仕様 [a, b]
• 作業生産物の機能と非機能
テスト要求を定義する
• 作業生産物の依存関係を識
別する
...
PA2.2 作成生産物管理
達成事項
a) プロセスの作業生産物の要求が定義される
b) 作業生産物の文書化と制御の要求が定義される
c) 作業生産物が適切に識別、文書化、制御される
d) …
PA2.2.GP1 作業生産物の要求を定義する
PA2.2.GP2 作業生産物の文書化と制御の要求を定義する
PA2.2.GP3 作業生産物を識別し、文書化し、制御する
PA2.2.GP４ …](https://image.slidesharecdn.com/14spi-160327114424/85/-47-320.jpg)
テストプロセス改善モデルの最新動向
- 1. テストプロセス改善モデルの最新動向 TMMi, TPI NEXT, そして特にISO/IEC 33063を中心に 第14回 SPIトワイライトフォーラム 2016年03月23日 YAMASAKI Takashi
- 2. 修正履歴： • 2016年4月10日(金) ： TPI NEXTの原著リリース年を2013年から2009年に変更 当初、電子書籍の英語版及び翻訳書の原著リリース年を参照して2013年とし ていましたが、原著のハードカバー版が2009年に出版されていたため、2013 年から2009年に修正しました。ご指摘いただいた辰巳さん、ありがとうござ いました。 登録商標： • TMap, TMap NEXT, TPI, TPI NEXTはSogeti Nederland B.V. の登録商標です • CMMIはカーネギーメロン大学の登録商標です • TMMiはTMMi Foundationの登録商標です • JSTQBは特定非営利活動法人 ソフトウェアテスト技術振興協会の登録商標です
- 11. 今回取り扱うテストプロセス改善モデルは次の三つ TPI NEXT 2009年 (日本語版が2015年9月に発売) ISO/IEC 33063 2015年8月 TMMi Release 1.0 2012年 (version. 1.0は2008年)
- 12. 各テストプロセス改善モデルの簡易比較表 項目 TMMi Release 1.0 TPI NEXT ISO/IEC 33063 リリース年 2012年(ver. 1.0は2008年) 2015年8月(原書は2009年) 2015年9月 リリース元 TMMi Foundation (非営利団体） Sogeti社 (オランダの企業) ISO/IEC (国際規格) モデルの種別 段階モデル 混合(連続モデルより)※1 連続モデル 評価軸 成熟度レベル 成熟度レベル 能力レベル 評価の水準数 5段階 4段階 6段階 測定の対象 プロセス領域 キーエリア プロセス 対象数 15 16 8 (＋5＋α)※2 指標 固有/共通のプラクティス チェックポイント 評価指標(共通プラクティス /リソース/作業生産物 など) 言語 英語のみ 英語/独語/日本語 英語のみ ボリューム A4サイズ約200ページ A5サイズ約300ページ※5 A4サイズ約70ページ※3 入手方法 Webサイトでダウンロード 書籍又は電子書籍を購入 規格を購入 価格 無料 3,500円(税別) 21,360円(税別)※4 ※1: TPI NEXTの書籍P-222によれば「混合だが、どち らかと言えば連続表現」との記述あり ※2: プロセスリファレンスモデルであるISO/IEC/IEEE 29119-2で定義されているプロセスは８プロセスの みであるが、実践のために5プロセスが追加で示さ れている。これらはAnnexなどにnormativeとして 記述されている。またテストレベルやテストタイプ などのテストの管理・実施単位(テストサブプロセ ス)ごとに測定対象のプロセスが増える ※3: ISO/IEC 33063のみでのページ数。関連規格を含 めると200ページを超える(Annexを含む) ※4: ISO/IEC 33063をJSA Web Storeで購入した場合 の金額。関連規格を含めると総額は10万円程となる ※5: 日本語版書籍のページ数。用紙サイズが異なること と記述言語が日本語なため、単純比較はできない
- 13. TMMi Test Maturity Model integration (テスト成熟度モデル統合)
- 14. TMMiとは SQuBOKガイド 第2版 P-105「2.3.1.5 T:TMMi（テスト成熟度モデル統合)」 より引用 TMMi (テスト成熟度モデル統合TMM Integration) とは，テストプロ セスを段階的に改善していくための技法である(Burnstein2003)。当 初，TMM (テスト成熟度モデル・Test Maturity Model) は，SW一 CMMに準じたSW-TMMという名称で，イリノイ工科大学のBurnstein らが提案した。現在はCMMIに対応するためにTMMiの名称で TMMi Foundation (TMMi)という非営利の団体が維持する。
- 15. CMMIのテスト領域を補完するもでる • CMMI-DEVはSDLC全般を扱っているため、テスト領域関して必ずしも詳細に記述されていない • TMMiは単独で使うことも可能だが、CMMIのテストプロセス領域を補完するモデルとして作られている • 枠組みがCMMIと同じなので、既にCMMIを実践している組織では、比較的容易に導入できる • TMMiの成熟度レベルを達成するにあたってサポートするCMMIのプロセス領域が示されている(3.5節参照) • 基本的にTMMiの実践にはCMMIの実践も含まれていると考えた方がよいかも • TMMi Release 1.0はCMMI Version1.2に対応（Version 1.3への対応についての情報は流れていない） • 2008年にVer. 1.0、2009年にVer. 2.0、2010年にVer. 3.1、2012年にRelease 1.0がリリースされている
- 16. TMMiの成熟度レベル(段階表現) TMMi Release 1.0 P-9 「Figure 1: TMMi maturity levels and process areas」を元に表現を一部変更。翻訳は筆者による PA2.1 テスト方針と戦略 PA2.2 テスト計画 PA2.3 テスト監視とコントロール PA2.4 テスト設計と実行 PA2.5 テスト環境 Level 2. 管理されたレベル PA5.1 欠陥予防 PA5.2 品質コントロール PA5.3 テストプロセス最適化 Level 5. 最適化レベル PA4.1 テスト測定 PA4.2 プロダクト品質評価 PA4.3 高度なピアレビュー Level 4. 測定されたレベル PA3.1 テスト組織 PA3.2 テストトレーニングプログラム PA3.3 テストライフサイクルと統合 PA3.4 非機能テスト PA3.5 ピアレビュー Level 3.定義されたレベル PA無し Level 1. 初期レベル • CMMIと同じ枠組みであり、成熟度レ ベルは同様に5段階となっている • レベル2～5に、プロセス領域が複数 定義されている • Level 4の名称はCMMIとは異なって いる(定量的に管理されたレベル) • CMMIは段階表現と連続表現の両方を 取り扱っているが、TMMiに連続表現 は含まれてはいない
- 17. TMMiの構造とコンポーネント TMMi Release 1.0 P-14 「Figure 2: TMMi structure and component」を元に一部表現を変更。翻訳は筆者による 成熟度レベル プロセス領域 １ PA プロセス領域 2 PA プロセス領域 ｎ PA 固有ゴール SG 固有プラクティス SP 共通ゴール GG 共有プラクティス GP
- 19. TPI NEXT Test Process Improvement NEXT
- 21. TPI NEXTのテスト成熟度マトリクス TPI NEXT P-36 「図3.3: テスト成熟度マトリクス 」より引用 初期レベル コントロールレベル 効率化レベル 最適化レベル 1 利害関係者のコミットメント 1 2 3 4 1 2 3 1 2 3 2 関与の度合い 1 2 3 4 1 2 3 1 2 3 テスト戦略 1 2 3 4 1 2 3 1 2 4 テスト組織 1 2 3 4 1 2 3 4 1 2 3 5 コミュニケーション 1 2 3 4 1 2 3 1 2 6 報告 1 2 3 1 2 3 1 2 7 テストプロセス管理 1 2 3 4 1 2 3 1 2 8 見積もりと計算 1 2 3 4 1 2 3 4 1 2 3 9 メトリクス 1 2 3 1 2 3 4 1 2 10 欠陥管理 1 2 3 4 1 2 3 4 1 2 3 11 テストウェア管理 1 2 3 4 1 2 3 1 2 3 12 手法の実践 1 2 3 1 2 3 4 1 2 13 テスト担当者のプロ意識 1 2 3 4 1 2 3 4 1 2 3 14 テストケース設計 1 2 3 1 2 3 4 1 2 3 15 テストツール 1 2 3 1 2 3 4 1 2 3 16 テスト環境 1 2 3 4 1 2 3 4 1 2 3
- 22. テスト成熟度マトリクスの構成 初期レベル コントロールレベル 効率化レベル 最適化レベル 1 利害関係者のコミットメント 1 2 3 4 1 2 3 1 2 3 2 関与の度合い 1 2 3 4 1 2 3 1 2 3 テスト戦略 1 2 3 4 1 2 3 1 2 4 テスト組織 1 2 3 4 1 2 3 4 1 2 3 5 コミュニケーション 1 2 3 4 1 2 3 1 2 6 報告 1 2 3 1 2 3 1 2 7 テストプロセス管理 1 2 3 4 1 2 3 1 2 8 見積もりと計算 1 2 3 4 1 2 3 4 1 2 3 9 メトリクス 1 2 3 1 2 3 4 1 2 10 欠陥管理 1 2 3 4 1 2 3 4 1 2 3 11 テストウェア管理 1 2 3 4 1 2 3 1 2 3 12 手法の実践 1 2 3 1 2 3 4 1 2 13 テスト担当者のプロ意識 1 2 3 4 1 2 3 4 1 2 3 14 テストケース設計 1 2 3 1 2 3 4 1 2 3 15 テストツール 1 2 3 1 2 3 4 1 2 3 16 テスト環境 1 2 3 4 1 2 3 4 1 2 3 キーエリア 成熟度レベル(4段階) チェックポイント
- 23. TPI NEXTの要素 TPI NEXT P-26「図3.1: BDTPIモデルの要素」より引用 テスト成熟度マトリクス キーエリア 成熟度レベル チェックポイント 改善提案 キーエリア達成のコツ ク ラ ス タ
- 24. テストプロセス管理の例 《改善提案》 • 開発プロジェクト内でテスト作業への予算と時間を割り振ること。 • 個別のサブプロジェクトとしてテスト作業を組織化し、このプロ ジェクトを論理的なフェーズ(少なくとも計画、準備、実行)に分 割すること。 • テストプロジェクトを管理するために、だれか（プロジェクト管 理者以外が好ましい）に責任を持たせること。 • テスト作業のゴールを定義して合意すること。 • テスト活動をフェーズに分けるために、利用できるテスト技法に おいて適切なテスト活動を調べること。 《キーエリア達成のコツ》 • プロセスおよびプロダクトの品質保証：組織が作成したプロセス やテストウェアに対する見識を組織に提供する。 • プロジェクト管理：プロジェクトの計画、監視、コントロールを 行う。テストはプロジェクトにとって不可欠であり、そのほかの 開発プロセスと依存関係にある。よいプロジェクト管理は、テス トプロセスの管理を容易にするだけでなく、テストプロセス管理 に対する責任を共有する。プロジェクト管理とテストプロセス管 理には多くの類似点があり、実践事例の相互利用が可能である。 テスト成熟度マトリクス 《キーエリア》 テストプロセス管理 《成熟度レベル》 コントロールレベル 《チェックポイント》 1. テスト計画をテストプロジェクトの開始時に作 成している。テスト計画には少なくとも、テス トの任務、テストスコープ、テスト計画、およ び役割と責任について記載している。 2. テスト計画を利害関係責任者と合意している。 3. 各テスト活動を監視しており、必要に応じて計 画を調整している。 4. テスト計画は関連する利害関係者の合意を得て いる。
- 25. 基本クラスタ TPI NEXT P-38 「図3.5 テスト成熟度マトリクスの基本クラスタセット（A, B,C ...」より引用。着色は筆者による 初期レベル コントロールレベル 効率化レベル 最適化レベル 1 利害関係者のコミットメント A B B C F H H K M M 2 関与の度合い A B C E H H J L L 3 テスト戦略 A A B E F F H K L 4 テスト組織 A D D E I I J J K L L 5 コミュニケーション B C C D F F J M M 6 報告 A C C F G G K K 7 テストプロセス管理 A A B B G H J K M 8 見積もりと計算 B B C C G H I I K L L 9 メトリクス C C D G H H I K K 10 欠陥管理 A A B D F F H J K L L 11 テストウェア管理 B B D E I I J L L L 12 手法の実践 C D E F H J J M M 13 テスト担当者のプロ意識 D D E E G G I I K K M 14 テストケース設計 A A E F I I J K K M 15 テストツール E E E F G G I L M M 16 テスト環境 C D D E G H J J L M M • 複数のチェックポイントをまとめたものをクラスタと呼ぶ • 基本クラスタはTPI NEXTが考える標準的なプロセス改善の道筋 • Aから着手し、B、C、D･･･と段階的に改善を進めていく • 基本クラスタはチェックポイントをA～Mの13段階にグルーピング • TPI NEXTが連続モデルと段階モデルの混合であるのはこのクラスタがあるから • クラスタはビジネス要求によってある程度独自にカスタマイズすることができる
- 26. CMMIと協調して進める際のクラスタも提供されている TPI NEXT P-224 「表7.4: 各CMMI成熟度レベルにおけるBDTPIクラスタ」より引用 初期レベル コントロールレベル 効率化レベル 最適化レベル 1 利害関係者のコミットメント A A A B B B B D D D 2 関与の度合い A A A A A A B D D 3 テスト戦略 A A B B B B B B D 4 テスト組織 A A B B B B B B B C C 5 コミュニケーション A A A A A A A B D 6 報告 A A A A A A B D 7 テストプロセス管理 A A A A A A B D D 8 見積もりと計算 A A A A A A A A B B C 9 メトリクス A A A A B B B C D 10 欠陥管理 A A A B B B C C C C D 11 テストウェア管理 A A A A A B B C C ― 12 手法の実践 A A B B B C C C D 13 テスト担当者のプロ意識 A A A B B B B B B B D 14 テストケース設計 A B B B B B B B B D 15 テストツール 16 テスト環境 TPI NEXT P-225 「図7.4: BDTPIとCMMIを組み合わせてROIを最大化するビジネス主導要因用のクラスタセット 」より引用 CMMI成熟度レベル BDTPIクラスタ レベル１: 初期 初期レベル レベル2：管理された クラスタA レベル３: 定義された クラスタB レベル４: 定量的に管理された クラスタC レベル5: 最適化している クラスタD
- 27. TPIとTPI NEXTの簡易比較 比較項目 TPI TPI NEXT 備考 原書リリース 1999年 2009年 訳書リリース 2002年 2015年 成熟度 4段階 4段階 TPIにはモデル全体の成熟度レベルとは別に各キーエ リアごとにAから最大Dまでのレベルが設定されてい たが、TPI NEXTでは廃止されている。 グループ 5 3 TPIでは四つのコーナーストーン(技術、インフラ、 組織、ライフサイクル)と共通の計五つ。TPI NEXT では利害関係者との関係SR、テスト管理TR、テスト 業務の専門性TPの三つにグルーピングされている キーエリア 20 16 単純にキーエリアが四つ削除されたわけではないが、 13のキーエリア名はTPIと同じ名前を持つ。残りの 三つが異なる名称。静的テストを除外した？謎 関連性 キーエリア間の 依存性として表現 チェックポイントの クラスタとして表現 TPIではキーエリア毎のレベル(A～D)に依存性があ る場合、他のキーエリアを示していた。これは廃止 され、新しいクラスタという概念が導入された。 テスト成熟度 マトリクス 構造が複雑なため 理解しにくい だいぶ整理されて 理解しやすい TPI NEXTのテスト成熟度マトリクスは非常にシンプ ルな構造になり、理解しやすくなった。また、キー エリアがマトリクス中に現れるようになった。 リファレンス モデル TMap TMap NEXT TMapやTMap NEXTもSogeti社が開発するテストの 方法論。TPI NEXTを実践するにあたって必ずしも TMap NEXTを知っている必要は無いが参考になる。 ただ、JSTQBなどの資格を持っていれば読み解ける。 ※TPIでのアセスメント結果をTPI NEXTへコンバート可能
- 28. (参考)TPIのテスト成熟度マトリクス 左図 テストプロセス改善 CMMI流実務モデル P-40 「表5.4 テスト成熟度マトリクス」より引用 キーエリア 0 1 2 3 4 5 6 7 8 9 10 11 12 13 テスト戦略 A B C D ライフサイクルモデル A B 関与の時点 A B C D 見積りと計画 A B テスト仕様化技法 A B 静的テスト技法 A B 尺度 A B C D テストツール A B C テスト環境 A B C オフィス環境 A コミットメントと意欲 A B C テスト役割と訓練 A B C 方法論の範囲 A B C コミュニケーション A B C 報告 A B C D 欠陥管理 A B C テストウェア管理 A B C D テストプロセス管理 A B C 評価 A B 低位レベルテスト A B C スケール 制御されたレベル 効率的なレベル 最適化したレベル • TPIのテスト成熟度マトリクスには、各キーエリア 毎の成熟度レベル(A～D)や、スケールといった概念 が含まれている • キーエリアのレベルは必ずDまであるわけではなく、 制御されたレベルまでしかないものもある(全ての チェックポイントを満たしてもフル天にならない) • 静的テストに関連するキーエリアがTPI NEXTでは なくなった(静的テスト技法、評価)。謎。 • なお、スケールごとに区切られているが、レベルA ～Bの中間状態などはない。
- 29. ISO/IEC 33063 Process Assessment Model for software testing
- 30. ISO/IEC 33063とは 縦軸にISO/IEC 33020、横軸にISO/IEC/IEEE 29119-2を持つ新しいテストアセスメントモデル。 GP、GR、GWPなどの評価指標が示されている
- 31. ＝ ×
- 32. ISO/IEC/IEEE 29119シリーズ ISO/IEC 330xxシリーズ Normative References 情報技術 プロセスアセスメント ソフトウェアテストのため のプロセス評価モデル ISO/IEC 33063 システム及び ソフトウェア工学 ソフトウェアテスト 第1部:概念及び定義 ISO/IEC/IEEE 29119-1 システム及び ソフトウェア工学 ソフトウェアテスト 第2部:テストプロセス ISO/IEC/IEEE 29119-2 情報技術 プロセスアセスメント プロセスリファレンス， プロセスアセスメント及び 成熟度モデルの要求事項 ISO/IEC 33004 情報技術 プロセスアセスメント 概念及び用語 ISO/IEC 33001 情報技術 プロセスアセスメン プロセス能力の アセスメントのための プロセス計測の枠組み ISO/IEC 33020
- 33. ISO/IEC 33000シリーズ ISO/IEC 33001:2015「Figure 1: Structure of the set of Standards for process assessment」を元に一部表現を変更。翻訳は筆者による 用 語 集 / 全 体 ガ イ ド 原 理 要 素 規 格 適 用 ガ イ ド と サ プ リ メ ン ト プロセスモデル測定の枠組みアセスメントプロセス 概念及び用語 33001 アセスメント 実施の要求事項 33002 プロセス測定の 枠組みの要求事項 33003 プロセスリファレンス, プロセスアセスメント 及び成熟度モデルの 要求事項 33004 文書化された アセスメントプロセス 33030～33039 文書化された アセスメントプロセス 33030～33039 文書化された アセスメントプロセス 33030～33039 文書化された アセスメントプロセス 33030～33039 文書化された アセスメントプロセス 33030～33039 プロセス品質特性測定 のための枠組み群 33020～33029 文書化された アセスメントプロセス 33030～33039 文書化された アセスメントプロセス 33030～33039 プロセスリファレンス モデル群 33040～33059 文書化された アセスメントプロセス 33030～33039 文書化された アセスメントプロセス 33030～33039 プロセスアセスメント モデル群 33060～33079 文書化された アセスメントプロセス 33030～33039 文書化された アセスメントプロセス 33030～33039 成熟度モデル群 33080～33099 アセスメント実施の ためのガイド プロセス測定フレーム ワーク開発のための ガイド プロセスモデル構築の ためのガイド 知識体系/ アセスメント結果の適用のためのガイド こ こ 縦 軸 ※SPICE(ISO/IEC 15504シリーズ)は 2015年にISO/IEC 33000シリーズに 置き換えられました
- 34. システム及びソフトウェア工学 ソフトウェアテスト 第3部 テストドキュメント ISO/IEC/IEEE 29119-3 システム及びソフトウェア工学 ソフトウェアテスト 第1部 概念及び定義 ISO/IEC/IEEE 29119-1 システム及びソフトウェア工学 ソフトウェアテスト 第2部 テストプロセス ISO/IEC/IEEE 29119-2 システム及びソフトウェア工学 ソフトウェアテスト 第4部 テスト技法 ISO/IEC/IEEE 29119-4 システム及びソフトウェア工学 ソフトウェアテスト 第5部 キーワード駆動テスト ISO/IEC/IEEE 29119-5 横 軸 ISO/IEC/IEEE 29119シリーズ
- 35. 能力座標(縦軸)：プロセス測定枠組み ISO/IEC 33020:2015 Process measurement framework for assessment of process capability
- 36. 能力水準 Capability Level Level 0: 不完全なプロセス (Incomplete) プロセスが存在しないか、プロセスの目的を達成できていない Level 1: 定義されたプロセス (Defined) プロセスが存在し、プロセスの目的を達成している Level 2: 管理されたプロセス (Managed) プロセスの実施が管理(計画、監視、調整)できている Level 3: 確立されたプロセス (Established) プロセスの成果を達成できる定義されたプロセスを活用している Level 4: 予測可能なプロセス (Predictable) 測定から得られた定量的情報によってプロセス実施を制御している Level 5: 革新的なプロセス (Innovating) プロセスが組織的な変更に継続的に改善できている
- 37. プロセス属性 Process Attributes Level 0: 不完全なプロセス PAなし Level 1: 定義されたプロセス PA1.1：プロセス実施 process performance Level 2: 管理されたプロセス PA2.2：作成生産物管理 Work product management PA2.1：実施管理 Performance management Level 3: 確立されたプロセス PA3.2：プロセス展開 Process deployment PA3.1：プロセス定義 Process definition Level 4: 予測可能なプロセス PA4.2：定量的な制御 Quantitative control PA4.1：定量的な分析 Quantitative analysis Level 5: 革新的なプロセス PA5.２: プロセス革新実装 Process innovation implementation PA5.1：プロセス革新 Process innovation
- 38. プロセス座標(横軸)：プロセス参照モデル ISO/IEC/IEEE 29119-2:2013 Software testing - Test Processes
- 39. 組織的なプロセスグループ 29119-2のテストプロセス群 ISO/IEC/IEEE 29119-2:2013 P-11 「Figure 2. The multi-layer model showing all test processes」を元に一部表現を変更。翻訳は筆者にそる テスト管理プロセスグループ 動的テストプロセスグループ テスト計画 プロセス テスト測定と コントロール プロセス テスト完了 プロセス テスト設計と 実装プロセス テスト環境 セットアップと メンテナンス プロセス テスト インシデント レポーティング プロセス テスト実行 プロセス 組織的な テストプロセス OT.1 TM.1 TM.2 TM.3 DT.1 DT.2 DT.3 DT.4
- 40. 組織的なプロセスグループ 静的テストプロセスグループ 実践のための追加プロセス群 テスト管理プロセスグループ 動的テストプロセスグループ テスト計画 プロセス テスト測定と コントロール プロセス テスト完了 プロセス テスト設計と 実装プロセス テスト環境 セットアップと メンテナンス プロセス テスト インシデント レポーティング プロセス テスト実行 プロセス 組織的な テストプロセス スキル開発 (トレーニング) プロセス Annex E 問題解決管理 プロセス Annex E 測定プロセス Annex E ソフトウェア レビュープロセス ISO/IEC 12207 Annex D 静的解析 プロセス ISO/IEC/IEEE 29119-2 CD1 Annex D OT.1 TM.1 DT.1 OT.2 TM.2 TM.3 TM.4 TM.5 DT.2 DT.3 DT.4 SATA.1 SATA.2
- 41. ISO/IEC/IEEE 29119-2:2015 P-15「 Figure 5 – Example test management process relationship」より引用。翻訳は筆者による • テストの管理・実施単位ごとに複数のテスト管理プロセ スと動的テストプロセスが存在する • 例えばコンポーネントテスト・統合テスト・システムテ スト・受入テストなどのテストレベルごとや、性能テス ト・セキュリティテストなどのテストタイプごと 組織的な テストプロセス テストマネージメント プロセス テスト計画 テスト モニタリング＆ コントロール テスト完了 テスト計画アップデート テスト 計画 テスト 結果 テスト 完了 レポート Test Management Processes テストマネージ メントプロセス 動的テストプロセス Dynamic Test Processes 動的テストプロセス テスト方針＆ 組織的なテスト戦略 テスト計画、 コントロール 指示 テスト計画、 テスト状況レポート、 テスト完了レポート、 テストメジャー テスト計画、 コントロール 指示 テスト メジャー テスト計画、 コントロール 指示 テスト メジャー テスト方針＆ 組織的なテスト戦略の フィードバック
- 42. プロセスアセスメントモデル=縦軸×横軸 ISO/IEC 33063:2015 Process assessment model for software testing
- 43. ＝ ×
- 44. ISO/IEC 33063の構造 PA5.2 プロセス革新実装 PA5.1 プロセス革新 PA4.2 定量的な制御 PA4.1 定量的な分析 PA3.2 プロセス展開 PA3.1 プロセス定義 PA2.2 作業生産物管理 PA2.1 実施管理 レベル1 実施されたプロセス PA1.1 プロセス実施 OT.1 (OT.2) TM.1 TM.2 TM.3 (TM.4) (TM.5) DT.1 DT.2 DT.3 DT.4 TM.1 TM.2 TM.3 (TM.4) (TM.5) DT.1 DT.2 DT.3 DT.4 (STAT.1) (STAT.2) 組 織 的 テ ス ト プ ロ セ ス ス キ ル 開 ( ト レ ー ニ ン グ ) プ ロ セ ス テ ス ト 計 画 プ ロ セ ス テ ス ト モ ニ タ リ ン グ と コ ン ト ロ ー ル プ ロ セ ス テ ス ト 完 了 プ ロ セ ス 問 題 解 決 管 理 プ ロ セ ス 測 定 プ ロ セ ス テ ス ト 設 計 と 実 装 プ ロ セ ス テ ス ト 環 境 セ ッ ト ア ッ プ と メ ン テ ナ ン ス プ ロ セ ス テ ス ト 実 行 プ ロ セ ス テ ス ト イ ン シ デ ン ト レ ポ ー テ ィ ン グ プ ロ セ ス テ ス ト 計 画 プ ロ セ ス テ ス ト モ ニ タ リ ン グ と コ ン ト ロ ー ル プ ロ セ ス テ ス ト 完 了 プ ロ セ ス 問 題 解 決 管 理 プ ロ セ ス 測 定 プ ロ セ ス テ ス ト 設 計 と 実 装 プ ロ セ ス テ ス ト 環 境 セ ッ ト ア ッ プ と メ ン テ ナ ン ス プ ロ セ ス テ ス ト 実 行 プ ロ セ ス テ ス ト イ ン シ デ ン ト レ ポ ー テ ィ ン グ プ ロ セ ス ソ フ ト ウ ェ ア レ ビ ュ ー プ ロ セ ス 静 的 解 析 プ ロ セ ス 動的テストプロセス テストタイプ x n 動的テストプロセス プロセス座標 能 力 座 標 組織的なテスト プロセス 静的テスト プロセステストレベル x n テスト管理プロセス レベル2 管理されたプロセス テスト管理プロセス レベル5 革新的なプロセス レベル4 予測可能なプロセス レベル3 確立されたプロセス
- 45. ISO/IEC 33063の評価指標 評価指標 assessment indicator プロセス能力指標 process capability indicators プロセス実施指標 process performance indicator 共通資源 GR generic resource 共通プラクティス GP generic practice 共通作業生産物 GWP generic work product 基礎プラクティスBR base practice 作業生産物 WR work product
- 46. PAとプロセス能力指標との関係(6章参照) ISO/IEC 33063:2015 Figure 4 - Process capability indicatorsをもとに改変 能力座標 プロセス能力指標 能力水準 1～5 共通資源 (GR) 共通 作業生産物 (GWP) 共通 プラクティス (GP) 共通 プラクティス (GP) 共通 プラクティス (GP) プロセス属性(PA) 達成事項 - a1 … - a2 … - an …
- 47. PA2.2 作成生産物管理の例 プロセス能力指標 能力水準 ２ GR for PA2.2 • 要求管理手法/ツール [a, b, c] • 構成管理システム [b, c] • 文書推敲サポートツール [b, c] … GWP for PA2.2 • 1.00 オブジェクト ... • 8.00 仕様 [a, b] • 作業生産物の機能と非機能 テスト要求を定義する • 作業生産物の依存関係を識 別する ... PA2.2 作成生産物管理 達成事項 a) プロセスの作業生産物の要求が定義される b) 作業生産物の文書化と制御の要求が定義される c) 作業生産物が適切に識別、文書化、制御される d) … PA2.2.GP1 作業生産物の要求を定義する PA2.2.GP2 作業生産物の文書化と制御の要求を定義する PA2.2.GP3 作業生産物を識別し、文書化し、制御する PA2.2.GP４ …
- 48. 共通作業生産物(GWP)のID体系と例 WPID 共通作業生産物クラス 例 1.00 物体 object 1.01 静的解析アイテム, 1.02 テスト環境, 1.03 テストアイテム など 2.00 記述 description 2.01 テストベース, 2.03 テスト条件, 2.04 テストカバレッジアイテム など 3.00 計画 plan 3.02 人的資源管理計画, 3.03 問題管理計画, 3.04 プロジェクト管理計画 など 4.00 方針 policy 4.01 組織的なテスト方針, 4.04 品質方針, 4.06 トレーニング戦略 など 5.00 手順 procedure 5.01 トレーニングマテリアル, 5.07 品質メジャー, 5.10 テスト手順 など 6.00 報告 report 6.01 分析レポート, 6.04 インシデントレポート, 6.11 テスト完了レポート など 7.00 要求 request 7.01 変更要求, 7.02 顧客要求 など 8.00 仕様 specification 8.02 規定の標準 8.05 テストケース, 8.07 テスト設計技法 など 9.00 記録 recode 9.03 レビュー記録, 9.05 テスト実行ログ, 9.11 顧客満足度データ など
- 50. プロセス実施指標 基礎プラクティス(BP)と作業生産物(WP)の例(5章参照） プロセス能力指標 能力水準 1 GR for PA1.1 プロセス固有の基礎プラクティスの意 図を実施するために使われる資源 GWP for PA1.1 1.00 オブジェクト プロセス成果達成の照明する作業生産 物が存在する PA1.1.GP1 プロセス成果を達成する • 基礎プラクティス(BR)の意図を達成する • プロセス成果の証跡である作業生産物を作成する PA1.1 プロセス実施 達成事項 a) プロセスは定義されたプロセス成果を達成する 基礎プラクティス(BP) for TM.2 • TM2.BP1: セットアップする • TM2.BP2: 監視(モニター)する • TM2.BP3: 制御(コントロール)する • TM2.BP4: 報告する 作業生産物(WP) - 入力 4.02 組織的なテスト戦略 4.01 組織的なテスト方針 3.08 テスト計画 5.09 テストメジャー 作業生産物(WP) - 出力 3.08 テスト計画 6.11 テストステータスレポート TM.2 テスト監視と制御プロセス プロセス成果 a. テスト進捗をモニターするための適切なメジャーを収集しリ スクを変更する手法が構築される b. テスト計画に反する進捗がモニターされる c. 新しいまたは変更されたテストに関連したリスクが識別され、 分析され、そして必要なアクションが行われる d. 必要な制御アクションが識別される e. 必要な制御アクションが関係する利害関係者に伝達される f. テストをストップする決定が承認される g. テスト進捗とリスクに対する変更が利害関係者に報告される
- 51. 評価の尺度 尺度 意味 範囲 N 達成していない (Not achieved) x ≤ 15% P 部分的に達成している （Partially achieved) P- 15.0% < x ≤ 32.5% P+ 32.5% < x ≤ 50.0% L おおむね達成している (Largely achieved) L- 50.0% < x ≤ 67.5% L+ 67.5% < x ≤ 85.0% F 充分達成している (Fully achieved) 85％ < x ≤ 100 % レベル1 レベル2 レベル3 レベル4 レベル5 実施された 管理された 確立された 予測可能な 革新的な PA5.2 プロセス革新実装 ― ― ― ― L または F PA5.1 プロセス革新 ― ― ― ― L または F PA4.2 定量的な制御 ― ― ― L または F F PA4.1 定量的な分析 ― ― ― L または F F PA3.2 プロセス展開 ― ― L または F F F PA3.1 プロセス定義 ― ― L または F F F PA2.2 作業生産物管理 ― L または F F F F PA2.1 実施管理 ― L または F F F F PA1.1 プロセス実施 L または F F F F F
- 52. まとめ
- 53. 項目 TMMi TPI NEXT ISO/IEC 33063 概要 CMMIと同等の枠組み。CMMIのテスト プロセス部分を補完する。CMMIについ て既に経験や知識を持っている組織で あれば展開は比較的容易であろう 改善提案やコツなどまで含めたガイドと して利用可能。内容が具体的かつ実践的 で、現場でのセルフアセスメントなどに も使いやすいものになっていると感じる 縦 軸 に ISO/IEC 33020 、 横 軸 に ISO/IEC/IEEE 29119-2を持つ新しいテ ストアセスメントモデル。GP、GR、 GWPなどの評価指標が示されている リリース年 2012年(Ver. 1.0は2008年) 2015年8月(原書は2009年) 2015年9月 リリース元 TMMi Foundation (非営利団体） Sogeti社 (オランダの企業) ISO/IEC (国際規格) モデルの種別 段階モデル 混合モデル(連続モデルより)※1 連続モデル 評価軸 成熟度レベル 成熟度レベル 能力レベル 評価の水準数 5段階 4段階 6段階 測定対象 プロセス領域 キーエリア プロセス 対象数 15 16 8 (＋5＋α)※2 指標 固有/共通のプラクティス チェックポイント 評価指標(共通プラクティス /リソース/作業生産物 など) 言語 英語のみ 英語/独語/日本語 英語のみ※5 (主観的な)特徴 (CMMI)と相似的・補完的 実践的・具体的(これだけで完結) (関連規格と）依存的・汎用的 (主観的な)手軽さ 重め 軽め 重め スコープ すべてのテストレベルを対象 主に高位テストレベルを対象 すべてのテストプロセスを対象 動的/静的 動的テストだけではなく 静的テストも対象 TPIのキーエリアにあった静的 テスト技法と評価が削除された(謎) (オプショナルとして) 静的テストを含む ※1: TPI NEXTの書籍P-222によれば「混合だが、どちらかと 言えば連続表現」との記述あり ※2: プ ロ セ ス リ フ ァ レ ン ス モ デ ル で あ る ISO/IEC/IEEE 29119-2で定義されているプロセスは８プロセスのみであ るが、実践のために5プロセスが追加で示されている。こ れらはAnnexなどにnormativeとして記述されている ※3: ISO/IEC 33063のみでのページ数。関連規格を含めると 200ページを超える(Annexを含む) ※4: ISO/IEC 33063をJSA Web Storeで購入した場合の金額。 関連規格を含めると総額は10万円程となる ※5: (2016年3月時点では)JIS化されていない 各テストプロセス改善モデルの簡易比較表（追記）
- 55. 参考資料 発行元・著者 年 ISO/IEC 33063 Process assessment model for software testing ISO/IEC 2015 ISO/IEC 33020 Process measurement framework for assessment of process capability ISO/IEC 2015 ISO/IEC 33004 Requirements for process reference, process assessment and maturity models ISO/IEC 2015 ISO/IEC 33001 Concepts and terminology ISO/IEC 2015 ISO/IEC/IEEE 29119-1 Part 1: Software Testing - Concept and definitions ISO/IEC/IEEE 2013 ISO/IEC/IEEE 29119-2 Part 2: Software Testing - Test processes ISO/IEC/IEEE 2013 Test Maturity Model integration (TMMi) Release 1.0 Produced by the TMMi Foundation TMMi Foundation 2012 TPI NEXT® ビジネス手動のテストプロセス改善 SOGETI 2015 テストプロセス改善 CMMI流実務モデル Tim Koomen, Martin Pol 2002 SECBOOK - プロセス改善ナビゲーションガイド - プロセス診断活用編 IPA/SEC 2007 ソフトウェアテストプロセス評価モデル微考ｗ (Software Testing ManiaX Vol.10寄稿記事) 安達賢二 2015 TMMi(Test Maturity Model Integration) その1 その2 その3 安達賢二 2015 テストプロセス改善技術の概要 (長崎IT技術者会 第7回勉強会資料) 池田暁 2015 TPI NEXT入門 TPI NEXTで自分たちのテストを評価しよう (WACATE 2015 冬講演資料) 井芹洋輝 2016 新アセスメント規格ISO 33Kシリーズの概要 コンピータジャパン 2015 ISO/IEC/IEEE 29119 Software testing 勉強会 第2回 Part 2 Test Processes 山﨑崇 2014 増俸システム用語辞典：TMMi(てぃえむえむあい) ＠IT情報マネジメント 編集部 2011