Launchable and efficient test execution
- 2. shibui yusuke ● いろいろ → Launchable（いまここ） ● MLOpsとかいろいろエンジニア ● もともとクラウド基盤の開発、運用 ● ここ6年くらいMLOpsとバックエンドと インフラとたまにデータ分析と Androidで仕事 ● Github: @shibuiwilliam ● FB: yusuke.shibui ● Meety: https://meety.net/matches/OPJgijxiEMHE cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 2 物体検知
- 3. 猫が物欲しそうな表情をしています。 3 1. 餌を上げる 2. 遊ぶ 3. 撫でる 4. ほっとく A. 全部試して反応をみる B. 経験から可能性の 高いものを選ぶ 答えはLTの最後で！
- 6. 6
- 7. Predictive test selection by machine learning 7 学習 推論 教師データ 実行するテスト Tests Test results Tests Test pass/fail probability Feature engineering Model training Evaluation Model serving Deploy judgement
- 8. Launchableの仕組み 8 Launchable git push CI/CD Collect tests Important and effective tests Analyse and filter tests Test records
- 10. テスト実行の課題 時間の課題 全テスト実行時間を短縮したい ▶ 並列実行、リソース追加・・・ ▶ 失敗しやすいテストを優先して実行 10 安定性の課題 同一コミットでもランダムに失敗するテスト （Flaky test） ▶ Flakinessを評価し修正可能なテストを 明確化
- 11. 実行する必要のあるテストを並び替え 11 Low Medium High T8 T4 T3 T6 T2 T5 T7 T1 Time to First Failure (TTFF) 失敗する可能性の高い テストを優先して実行する ように並び替えることで テスト実行を効率化
- 12. まとめ ▶ 機械学習による実行すべきテストのフィルタリング ▶ テストの失敗が判明するまでのテスト実行時間を評価 ▶ Flakinessによる直すべきテストの明確化 12 「盗んできたおやつを 開けられなくて 悲しい顔をしていた」 が正解
- 13. Thank you! 13