Test process improvement starting from the problem awareness of team members using tpi next

Test Engineer’s Forum 北海道(TEF道)
安達賢二(HBA)
1
TPI Nextを活用した
チームメンバーの問題意識から
始めるテストプロセス改善
【導入時：改善計画立案編】
Copyright © Test Engineer’s Forum Hokkaido (TEF道) , All Rights Reserved
2018.3.8 JaSST’18東京投稿事例セッション C5-2

今回の事例
• JaSST’17北海道で発表～テストチームのプ
ロセス改善をTPI Nextを使ってやってみよ
う！と思ったリーダ中山さんの事例の詳細。
• TPI Next日本語書籍を一読した中山さん。セ
ルフアセスメントをやってみた。
2
プロセスモデルに精通する有識者は多くはない
組織やチームの改善活動も積極的ではない
そのような背景でも「何とかしたい！」と思っているリー
ダやエンジニアが多いのではないか？

TPI Nextチェック項目の一部
3

4
当初のセルフアセスメント結果

アセスメント結果は出たものの・・・
• 評価結果は正しいのか？実態に合っている
のか？不安が・・・。
• 多くのNGが・・・どこから手をつけるべき
か？？
• モデルが推奨するクラスタAから順に・・・
それだと改善が実感できず、長引いて続かなくなるかもよ
• 中山さんが普段から問題ではないかと気になっていた
「テスト環境」に着目して・・・
それがメンバーの人たちが解消したい1番の困り事なのか
な？
• じゃあどうすればいいの？？？
5

プロセスモデルベース改善の問題点
• 重たい
• 例えばTPI Next：16プロセスエリア143プラクティス
• みんなで評価するのは理想だが現実的に無理な場合が多い
• 第三者や代表者が評価する・・・・・他人事化しやすい
• モデルが難解
• 個別のプラクティスがなかなか読み解けない
• 対象は何？どこまでやれるとOK？わかるようでわかりにくい
• 評価結果の意味がわからない
• 大抵は少しのOKとたくさんのNG・・・モチベーションダウン
• その意味は？？何から手をつけるべき？判断の拠り所は？
• 取り組んだ結果の効果が実感しにくい
• 何を目指して取り組めばいいのか？
• 考えるのが面倒になるとモデル適合を目標にしがち・・・それ
は誰が、何がうれしいの？
6
プロセスモデルをしっかり理解してから活用しないと
思わぬ怪我（迷走・頓挫・自然消滅等）をしてしまう

メンバーからふりかえりコメントを収集・分類
7
地図に疑問を持ったら現地を直接調べよう
実際のふりかえり結果整理･分類結果

8
プロセスモデルTPI Nextによるテストプロセス全体像と要素関係性の把握

9
当初ふりかえりコメントの割付け
→関係者の問題意識分布

10
当初ふりかえりコメントの割付け
→関係者の問題意識の集中箇所

問題意識の背景＝リアルなQCD問題関連事象や困り事を
掘り下げて把握する→改善目標設定に役立つ
11
実際に存在する品質･コスト･期間(QCD)問題関連事象・困り事の把握

実存するQCD問題関連事象・困り事の列挙と分類
12
実際のふりかえり結果整理･分類結果

13
QCD問題関連事象・困り事による構造分析（詳細）

14
QCD問題関連事象・困り事による構造分析（概要）

15
QCD問題関連事象・困り事から
アセスメント結果を見直してみると・・・
修正
修正
修正
修正
現地調査の結果から地図を書き換えよう
見直し
対象領域

16
効果獲得
対象
改善対象
改善対象特定（概要レベル）案１

17
効果獲得
対象
改善対象
発生頻度や欲しい効果など
から案1を採用することに
改善対象特定（概要レベル）案２

18
改善対象絞込み（詳細レベル）
案1をベースに詳細レベルで改善対象を
掘り下げ、さらに対象を絞り込む
→改善規模・工数・期間が小さくなり、短期間で結
果が把握できる＆効果を実感しやすくなる／失敗
した場合の被害も最小に
効果獲
得対象
改善対象

12.手法の実践
コントロールレベル
1
テストプロセスは、明文化されたテスト手法に従っている。テスト手法には、一連のテスト活動、テストプロジェクトの成果となるテストプロダクト、作業の途中で発生する追
加要求について記述している。
2 テスト手法は、プロジェクトが用いている開発手法に適合している。
3 テストプロジェクトにとって、実装したテスト手法が実用的なものであると認識されている。
効率化レベル
1 テスト手法には、すべてのテスト活動に関するゴールと役割、および用いるべき技法と事前条件が明文化されている。
2 完全かつ包括的なテンプレートの一式が、テスト手法の一環として提供されている。
3 テスト手法の各要素について、必須／条件付き／任意のいずれかが記載されている。
4 必須と条件付きの要素について、実践事例がある。
最適化レベル
1 テストチームは、テスト手法について組織的にフィードバックしている。
2 実装したテスト手法を継続的に強化し、改善している。
11.テストウェア管理
1 テストベースとテスト対象およびすべてのテストウェアを、名前とバージョンで特定している。
2 各テストケースを、テストベース文書に明白な方法で関連付けている。
3 テストチームは、テストウェアの管理下のすべてのアイテムにアクセスできる。
4 テストウェア、テストベース、テスト対象の扱い方が明確に規定され、テストチームに伝えられている。
効率化レベル
1 テストベースとテスト対象およびすべてのテストウェアを、名前とバージョンで参照できる。
2 テストケースと要件のトレーサビリティが確保されている。
3 テストウェア管理は、論理的な補完構造と、役割および権限の構造によって支えられている。
最適化レベル
1 テストプロジェクト終了後にどのテストウェアを保持するかをテストプロジェクト開始時に合意し、テストプロジェクト実施中に見直している。
2 再利用に備えたテストウェア保持に関するガイドラインが入手可能な状態にあり、テストウェアの再利用を測定している。
3 プロジェクト終了時に保守に引き渡すテストウェアが、保守されないテストウェアと容易に分離できる。
14.テストケース設計
1 テストケースを論理レベルで記録している。
2
テストケースには、以下の説明項目を含む。
a)開始時の状況
b)変更プロセス＝実施するテストアクション
c)予測される結果
3 テストケースにシステムの詳細な振る舞いを記述することで、テストベースのどの箇所がテストの対象であるかが把握できる。
効率化レベル
1 テストケースは、テスト組織の同僚が見ても理解でき、保守できるものになっている。
2 テストケースによって達成できるテストベースのカバレッジレベルが明確である。
3 テストケース設計に正式なテスト設計技法を用いている。
4 テストケースが設計できないような品質特性のテスト作業には、チェックリストを用いている。
最適化レベル
1 次のフェーズ（次のテストレベルや本番）で発生した欠陥を分析し、テストケースの正確性や有効性の向上につなげている。
2 テストケースそれぞれの妥当性と保守性についてチェックし、評価している。
3 テスト設計技法を、将来さらに再利用するために評価し、調整している。
19
改善施策要件候補洗い出し（TPI Next Practices）
プロセスモデルのプラクティスは、も
のづくりへの効果と効率を高めるた
めの施策要件の集合体

改善施策要件を参考に
改善施策を明確化
20
設計着手時
ガイダンス
実施
よい設計結
果の収集と
共有・活用
テスト設計
希望者向け
中間レビュー
&Feedbackの
実施
よい設計結果
共有・活用
テスト
設計
レビュー
改善施策要件

改善施策と獲得効果目標の設定
21
テスト設計・実装
テスト詳細設計結果レ
ベルで記載する人とテ
スト実装レベルで記載
する人がいる
人によりテスト手順
（操作手順）の書き
方がバラバラ（粒度
や表現が揃わない）
ケース
重複
ケース
漏れ
レビューが大変
&手戻り発生欠陥
流出レビューで見逃し
テスト設計レビューテスト
終了後
テスト実行
実行
工数大
改善前
欠陥
流出数減
レビュー
工数減
レビュー
指摘件数減
設計着手時
ガイダンス
実施
よい設計結
果の収集と
共有・活用
改善後
希望者向け
中間レビュー
&Feedbackの
実施
手直し
工数減
獲得効果目標改善施策
効果獲得
対象
改善対象

セルフアセス終了後の実施STEP TPI Next活用利点や効果
メンバーふりかえりによるテストへの問題
意識の共有
メンバーの問題意識から始めると当事者意識
が高まる+改善効果を実感しやすい
テストプロセス全体像と要素関係性の把
握
テストプロセス全体像モ
デル（TP全体像M）
全プラクティスでの関係性把握は困難／プロセ
スエリアレベルなら把握しやすい
関係者の問題意識分析 TP全体像Mにメンバーの
問題意識を割り付け集中
箇所を特定
問題意識が集中しているところに着眼すると関
係者を巻き込みやすく、改善効果も高くなる
実在するQCDS上の問題点把握通常「QCD問題事象の解決手段」を問題として
誤認識していることが多い／背後に隠れている
QCD問題事象を把握することで実感しやすい改
善効果や目標を設定できる
困り事・問題点による構造分析事象･事実レベルでQCD問題群を構造的に把
握すると腹落ちしやすい
改善対象特定まずは大枠で改善対象と目指す効果を把握
（特定）すると考えやすい
改善対象絞込み絞り込むことで改善リスクを最小化しつつ効果
を実感しやすくする
改善施策要件候補洗い出し改善施策要件洗い出しプラクティスは汎用的→施策要件として活用す
るのが適切
具体的施策と獲得効果目標の設定改善をシナリオ化し成功確率を高める
22
当アプローチのSTEP全体像（TPI Next活用箇所と利点･効果）

プロセスモデル適用の典型的失敗例との比較
主な改善過程プロセスモデル適用の典型的失敗例今回のアプローチ
現状把握
現状分析
16キーエリア146プラクティスフルセル
フアセスメント→工数大になるため代表
者（例：リーダ）が実施する傾向大＝実
態を反映しない結果になる可能性が高
い
TP全体像M上の集中箇所に関わる
QCD問題関連事象・困り事を洗い出し、
構造分析して状況を明確にする／ふり
かえり結果などメンバーが感じている
問題意識から始められる
改善対象特定アセスメント結果から有効な改善対象
を特定するのは有識者でなければ困
難→代表者の一声で決める、またはモ
デル推奨に従うが、どちらもうまくいか
ないケースが多い
QCD問題関連事項・困り事の構造分析
結果から改善対象を概要レベルで特
定し、さらに詳細レベルで把握する／メ
ンバーの問題意識をベースにした改善
対象が特定できる
改善目標アセスメント結果から有効な改善目標
を設定するのは簡単ではない→モデル
適合を目標に→プロセスが重くなる＋
効果が実感しにくい
QCD問題関連事項・困り事の解消を目
標にできる／実務の困り事が減る効果
を実感しやすい
改善施策プラクティスを直接単品追加しがち→
改善するほど重くなる
現状のプロセスをベースに改善要件を
満たす施策を展開できる
改善期間・効果
実感など
長期化しやすい・効果実感を得られに
くい／失敗と分かるまでに時間がかか
る＆見直しも大がかりになる
短期間で効果を実感しやすい／失敗し
た際の見直しも容易
23

TPI Nextと当アプローチの違い
24
市場
Organizational
hierarchy
事業戦略
領域
ビジネス・
マネジメント
領域
製品・サービス
構築・実現
領域
感情
気持ち
事象
出来事
結果
実活動
行動
戦略
･計画
目的
意図
ミッション
ビジョン
価値観
形式知暗黙知暗黙知
TPI Next（プロセス
モデル）のSCOPE
当アプローチ
のSCOPE
Core

最終
成果物
25
感情
気持ち
事象
出来事
結果
実活動・行動
戦略
･計画
目的
･意図
ミッション
ビジョン
価値観
設計
レビュー
テスト
設計･実施
テスト戦略プロジェクト計画
設計
成果物
実装
結果
テスト
結果
実装
手戻り
度合い
設計コード
レビュー
手戻り
度合い
標準類基準類
＜感情は論理に勝る＞
まずは当事者の困り事の解消
から始める
やりがい達成感幸福度充実感
プロセス・プラクティス
Core

当アプローチの特徴
• 利点
• 146プラクティスのフルアセスメントを行わずとも、16キーエリ
アの全体像にメンバーの問題意識をマッピングすれば改善
対象領域を特定できる。（ふりかえりが実施されていればそ
の情報から始められる）
• メンバーの問題意識をベースに進めることで、チーム全員の
当事者意識が高められる＆改善効果が実感しやすくなる→
メンバーを巻き込んで改善が継続しやすくなる。
• プロセス改善に取り組みながらTPI Nextの理解度向上に応じ
て活用深度を変化させながら進められる。→より高度な改善
活動に段階的にシフトする基盤になる。
• 懸念点
• 専門家がアセスメントを行わないため客観性や正確性が低
くなる場合もある。
• QCDS問題関連事象・困り事の収集と構造分析実践スキル
が必要。当初は有識者の支援を受けるなどの対策は必要。
26

そしてその先へ
• 当アプローチは、「自分たちの現在（いま）を知る」
ことで実務メンバーの心に火を灯し、自ら走り始め
るためのものです。
• 実際に走り始めて徐々に「自らを活かす」ことがで
きるようになったら、その次は「自らのミッションを
明確にし、それに従う」ことにチャレンジする必要
があります。
• その壁を越えるためには、ミッションや目的達成の
ためにプロセスモデルを有効活用できるようになっ
ている必要があります。
27
自分を
知る
自分を
活かす
自らのミッション
に従う
個人
チーム
組織

最終
成果物
28
感情
気持ち
事象
出来事
結果
実活動・行動
戦略
･計画
目的
･意図
ミッション
ビジョン
価値観
設計
レビュー
テスト
設計･実施
設計
成果物
実装
結果
テスト
結果
実装
手戻り
度合い
設計コード
レビュー
手戻り
度合い
標準類基準類
Core目
的
手
段
結
果

最終
成果物
29
感情
気持ち
事象
出来事
結果
実活動・行動
戦略
･計画
目的
･意図
ミッション
ビジョン
価値観
設計
レビュー
テスト
設計･実施
設計
成果物
実装
結果
テスト
結果
実装
手戻り
度合い
設計コード
レビュー
手戻り
度合い
標準類基準類
Core目
的
手
段
結
果
＜自ら明確にしたミッションに従う＞
混乱を解消できるようになったら、
本格的にプロセスモデルを使いこ
なし、ミッションを成し遂げる

参考文献
• TPI NEXT アセスメントツール日本語版
http://www.tmap.net/system/files/TPI%20XLS%20versiev2.xls
• JaSST’17北海道 JaSSTセッション
中山さん、テストプロセスアセスメントやってみたってよ
http://jasst.jp/symposium/jasst17hokkaido/pdf/S6-1.pdf
• 「ソフトウェアプロセス改善手法 SaPID入門」
日科技連出版社
http://www.juse-p.co.jp/cgi-bin/html.pl5?i=ISBN978-4-8171-9510-4
SaPID：https://www.software-quasol.com/sapid2-0/
• ソフトウェア・シンポジウム 2013 in 岐阜 (SS2013)
プロセスアセスメント結果の現実的・効果的活用方法の提案
http://bit.ly/2Fx4IPq http://bit.ly/2Dgfx6l
• Software Testing ManiaX Vol.10寄稿記事
ソフトウェアテストプロセス評価モデル微考ｗ
https://goo.gl/YbgmzG
30

Test process improvement starting from the problem awareness of team members using tpi next

More Related Content

What's hot (17)

Similar to Test process improvement starting from the problem awareness of team members using tpi next (20)

Test process improvement starting from the problem awareness of team members using tpi next