コンピューティングおよびソフトウェア工学の潮流: IEEE-CS技術予測＆SWEBOK Guideに基づくAI・アジャイル・サステナビリティの展望
1 like136 views
鷲崎弘宜, "コンピューティングおよびソフトウェア工学の潮流: IEEE-CS技術予測＆SWEBOK Guideに基づくAI・アジャイル・サステナビリティの展望", 2024年12月18日 ソフトウェアイノベーションシンポジウム2024 基調講演
![UXからDX（Developer Experience）に向けて
• DX（開発者体験）への影響
要因
– DXを構成するフロー状態、フィ
ードバックループ、認知負荷が
、開発者やチーム、組織の成
果に影響していることを明らか
に [Forsgren+24]
– マネーフォーワード社の事例
あり [高井24]
13
A. Noda, et al., “DevEx: What Actually Drives Productivity: The developer-centric approach to measuring and improving productivity,” ACM Queue, 21(2), 2023
N. Forsgren, et al., “DevEx in Action: A study of its tangible impacts,” ACM Queue, 21(6), 2024
高井, https://moneyforward-dev.jp/entry/2024/03/07/090000
開発者体験 成果・影響
フロー
状態
フィードバ
ックループ
認知負荷
開発者
成果
チーム
レベル
組織
レベル](https://image.slidesharecdn.com/sis2024-swebok-se-20241218-241219162556-a667eee4/85/IEEE-CS-SWEBOK-Guide-AI-13-320.jpg)
![人中心からAI中心へ: AI-SEALを参考に [Feldt18]
15
Robert Feldt, et al., Ways of Applying Artificial Intelligence in Software Engineering, RAISE 2018, CoRR abs/1802.02033
7. 自動意思
決定・実装・
通知
10. 必要と判断の
うえで自動意思決
定・実装・通知
プロセス 自動化
レベル
適用対象
プロダクト
実行
低リスク 高リスク
中リスク
1. 人手による
代替候補群の
検討
4. 代替候補
群と一つの案
を自動推薦
人中心 AI支援開発 AIとの共創 AI中心開発](https://image.slidesharecdn.com/sis2024-swebok-se-20241218-241219162556-a667eee4/85/IEEE-CS-SWEBOK-Guide-AI-15-320.jpg)
![設計と機械学習デザインパターン
スマホで拾った音について楽器の種類を特定し、種類に応
じた記録や対応を実現したい。しかし、スマホのメモリや性
能は限られており、大きな深層学習モデルは載りそうにな
い。どうすればよいか？
21
転移学習
したモデル
小さな
判別モ
デル
何もしない
特定
結果
パターン 問題 解決
2段階予測 Two-
Phase
Predictions
もともと大規模で複雑なモデルの性能
を、エッジデバイスや分散デバイスに
デプロイした場合も維持する必要性
利用の流れを2つの段階に分けて、シンプ
ルな段階のみをエッジ上で実行
転移学習
Transfer
Learning
複雑な機械学習モデルを訓練する
ために必要となる大規模データセッ
トの不足
訓練済みモデルの一部の層を取り出し
て重みを凍結し、訓練対象とせずに類
似問題の解決のため新モデルで利用
ルールベース
のセーフガード
不確実性、敵対的攻撃やノズ、デー
タドリフトに対して脆弱
決定的で検証可能なルールに基づくシ
ステムで包むことで不確実性を扱う
• スマホ上の小さなモデルでは音が楽器かどうか判定し、楽器の場合にの
みクラウド上の大きなモデルで種類を特定する 2段階予測 としよう。
• 特定にあたり、様々な音データによる既存の訓練済みモデルを用いて転
移学習 したモデルを用いよう。
[MLDP] Valliappa Lakshmanan, Sara Robinson, Michael Munn著, 鷲崎弘宜, 竹内広宜, 名取直毅, 吉岡信和 訳, “機械学習デザインパターン – データ準備、モデル構築、
MLOpsの実践上の問題と解決”（原著 “Machine Learning Design Patterns”）, オライリージャパン, 2021. https://www.amazon.co.jp/dp/4873119561
[SEP4MLA] H. Washizaki, et al., “Software Engineering Design Patterns for Machine Learning Applications,” IEEE Computer, Vol. 55, No. 3, pp. 1-9, 2022 Best Paper](https://image.slidesharecdn.com/sis2024-swebok-se-20241218-241219162556-a667eee4/85/IEEE-CS-SWEBOK-Guide-AI-21-320.jpg)
![メタモルフィックテスト
• メタモルフィック関係に基づき大量に試験
• 入力への変化により、出力の変化を予想できる関係
– 例: A の検索結果数 ≧ A かつ B の検索結果数
– 例: sin(x) = sin(x + 360度)
22
入力の変化 出力の変化
並び変え
無し
ノイズの追加
意味的に同じもの
統計的に同じもの
経験的に近いもの 僅か
定数の加算、乗算 定数の加算、乗算
狭める 部分集合
全く異なるもの 互いに素
参考: S. Segura et al., "Metamorphic Testing of RESTful Web APIs," IEEE Transactions on Software Engineering, 2017
参考: C. Murphy, “Applications of Metamorphic Testing”, http://www.cis.upenn.edu/~cdmurphy/pubs/MetamorphicTesting-Columbia-17Nov2011.ppt
自動運転車の場合 [Tian’18]
Y Tian, et al., DeepTest: Automated Testing of Deep-Neural-
Network-driven Autonomous Cars, ICSE 2018
https://arxiv.org/pdf/1708.08559.pdf](https://image.slidesharecdn.com/sis2024-swebok-se-20241218-241219162556-a667eee4/85/IEEE-CS-SWEBOK-Guide-AI-22-320.jpg)
![検証データによ
る平均値
誤認識データ
による平均値
最優先で修正す
べきニューロン
深層学習モデル調整（修正）
• 再訓練, オンライン学習, データ拡充: 生成 [a]、選択 [b]、拡張 [c]など
• 特定サンプルに応じたパラメータ直接変更 [d][e]
[a] Generative adversarial nets, NIPS 2014
[b] MODE: automated neural network model debugging via state differential analysis and input selection, ESEC/FSE 2018
[c] Autoaugment: Learning augmentation policies from data, arXiv:1805.09501, 2019,
[d] 松井 健, 鵜林 尚靖, 佐藤 亮介, 亀井 靖高, 敵対的サンプルに対するニューラルネットワークモデルの学習無し修正とその評価, JSSST大会 2019,
[e] Search Based Repair of Deep Neural Networks, arXiv:1912.12463, 2019
23](https://image.slidesharecdn.com/sis2024-swebok-se-20241218-241219162556-a667eee4/85/IEEE-CS-SWEBOK-Guide-AI-23-320.jpg)
![複雑・不確実な開発運用時代こそ、エンジニアリング重要
メタモデル
要求・アーキテクチャモデリング 機械学習パイプライン
要求分析・設計
評価
問題の可視化
評価
解決の可視化
25
OK
OK OK
NG
OK OK
OK
NG
NG
OK OK OK
[ML.VP1🡨
AI.VP1]
Providereliable
real-timeobject
detectionsystem
fordriving
decisionmakingin
highway(incl.
trafficsign
detectionand
lane/vehicle
detection)
• [ML.DS1]Procured
datasets
• [ML.DS2]Internal
databasefrom
collectionduring
operation
• [ML.DC1]Openand
commercialdatasets
• [ML.DC2]Data
collectedduring
operation(imageand
identificationresult)
•[ML.F1🡨
AI.D1/AI.D3]
Boundingbox
forobject(incl.
othervehicles
orsigns)
•[ML.F2🡨
AI.D2]Ridge
detectionfor
lanedetection
[ML.BM1]
Modelswillbe
developed,
tested,and
deployedtocars
monthly
• [ML.PT1]Input:
imagefromsensors
• [ML.PT2←AI.D]
Output:trafficsigns,
lanemarking,
vehicles,and
pedestrians.
[ML.De1]Use
predictionresults
fordecision-
makinginself-
drivingsystem
[ML.IS1]
Usingtestdata,
achieveveryhigh
recallandhigh
precisionin
followingcondition:
night,rainy,and
generalcondition
Datasetsissplitinto
80:20ratio
[ML.MP1]
Predictionshould
bemadein
batchesreal
time.
[ML.M1]Inputdatamonitoring
[ML.VP1🡨
AI.VP1]
Providereliable
real-timeobject
detectionsystem
fordriving
decisionmakingin
highway(incl.
trafficsign
detectionand
lane/vehicle
detection)
• [ML.DS1]Procured
datasets
• [ML.DS2]Internal
databasefrom
collectionduring
operation
• [ML.DC1]Openand
commercialdatasets
• [ML.DC2]Data
collectedduring
operation(imageand
identificationresult)
•[ML.F1🡨
AI.D1/AI.D3]
Boundingbox
forobject(incl.
othervehicles
orsigns)
•[ML.F2🡨
AI.D2]Ridge
detectionfor
lanedetection
[ML.BM1]
Modelswillbe
developed,
tested,and
deployedtocars
monthly
• [ML.PT1]Input:
imagefromsensors
• [ML.PT2←AI.D]
Output:trafficsigns,
lanemarking,
vehicles,and
pedestrians.
[ML.De1]Use
predictionresults
fordecision-
makinginself-
drivingsystem
[ML.IS1]
Usingtestdata,
achieveveryhigh
recallandhigh
precisionin
followingcondition:
night,rainy,and
generalcondition
Datasetsissplitinto
80:20ratio
[ML.MP1]
Predictionshould
bemadein
batchesreal
time.
[ML.M1]Inputdatamonitoring
[ML.VP1🡨
AI.VP1]
Providereliable
real-timeobject
detectionsystem
fordriving
decisionmakingin
highway(incl.
trafficsign
detectionand
lane/vehicle
detection)
•[ML.DS1]Procured
datasets
•[ML.DS2]Internal
databasefrom
collectionduring
operation
•[ML.DC1]Openand
commercialdatasets
•[ML.DC2]Data
collectedduring
operation(imageand
identificationresult)
•[ML.F1🡨
AI.D1/AI.D3]
Boundingbox
forobject(incl.
othervehicles
orsigns)
•[ML.F2🡨
AI.D2]Ridge
detectionfor
lanedetection
[ML.BM1]
Modelswillbe
developed,
tested,and
deployedtocars
monthly
•[ML.PT1]Input:
imagefromsensors
•[ML.PT2←AI.D]
Output:trafficsigns,
lanemarking,
vehicles,and
pedestrians.
[ML.De1]Use
predictionresults
fordecision-
makinginself-
drivingsystem
[ML.IS1]
Usingtestdata,
achieveveryhigh
recallandhigh
precisionin
followingcondition:
night,rainy,and
generalcondition
Datasetsissplitinto
80:20ratio
[ML.MP1]
Predictionshould
bemadein
batchesreal
time.
[ML.M1]Inputdatamonitoring
修正・改善戦略の追加
訓練
深層学習モデル調整
要求
構築
設計
テスト
アーキテク
チャ
運用
経済
モデル・主要
品質
計算基礎
Jati H. Husen, Hironori Washizaki, Jomphon Runpakprakun, Nobukazu Yoshioka, Hnin Thandar Tun, Yoshiaki Fukazawa, Hironori Takeuchi, “Integrated Multi-view
Modeling for Reliable Machine Learning-Intensive Software Engineering,” Software Quality Journal, Vol. 32, pp. 1239–1285, Springer-Nature, 2024.
Hironori Takeuchi, Jati H. Husen, Hnin Thandar Tun, Hironori Washizaki and Nobukazu Yoshioka, “Enterprise Architecture-based Metamodel for a Holistic Business
– IT Alignment View on Machine Learning Projects,” IEEE International Conference on E-Business Engineering (ICEBE 2023), Best Paper](https://image.slidesharecdn.com/sis2024-swebok-se-20241218-241219162556-a667eee4/85/IEEE-CS-SWEBOK-Guide-AI-25-320.jpg)
![グリーン＆サステナブル・ソフトウェアエンジニアリングとは
Green and Sustainable Software Engineering
• ソフトウェア設計、構築、リリースの長期的な
影響（特に環境、社会、個人、経済、技術に
関わるサステナビリティ）に対処する包括的
分野 [DUT’22]
– 環境: ソフトウェアの省エネ化、開発の省エネ化
• サステナブルSEの傾向 ’10-’16 [Berntsen’16]
– エネルギー効率、開発手法、プロセス強化、組
織の指標、ライフサイクル思考
• サステナブルSEの展望・提言 [Karita’22]
– 開発の初期フェーズでサステナビリティ要求を
考慮すべき
– サステナビリティに焦点を当てた利害関係者エ
ンゲージメントが必要
– サステナビリティの関心は、プロジェクトにおい
てトレードオフを発生させる可能性
27
[DUT] Delft University of Technology, Sustainable Software Engineering, https://luiscruz.github.io/course_sustainableSE/2022/
[Berntsen] Kristina Rakneberg Berntsen, et al. Sustainability in Software Engineering - A Systematic Mapping (CIMPS’16)
[Karita] Leila Karita, et al., Towards a common understanding of sustainable software development (SBES’22)
モジュール
0
2
4
6
8
10
-1600
-1400
-1200
-1000
-800
-600
-400
-200
0
状態
電圧[mV]
時間[mS]
通常運用時の電圧変化
0
2
4
6
8
10
-1600
-1400
-1200
-1000
-800
-600
-400
-200
0
状態
電圧[mV]
時間[mS]
低消費電力化後
状態
バッテリ
電圧値
自動合成を通じ
た消費電力抑制
低消費電力化アスペクト
自動合成
void around():call(void
LDC_linetrace(void)){
float turn=p_gain*(…);
…
“アスペクト指向プログラミングによる高性能・低消費電力化” SIGSS 2014](https://image.slidesharecdn.com/sis2024-swebok-se-20241218-241219162556-a667eee4/85/IEEE-CS-SWEBOK-Guide-AI-27-320.jpg)
コンピューティングおよびソフトウェア工学の潮流: IEEE-CS技術予測＆SWEBOK Guideに基づくAI・アジャイル・サステナビリティの展望
- 1. コンピューティングおよびソフトウェア工学の潮流: IEEE-CS技術予測＆SWEBOK Guideに基づくAI・アジ ャイル・サステナビリティの展望 鷲崎 弘宜 IEEE Computer Society 2025 President 早稲田大学研究推進部副部長・教授 社会人リカレント教育「スマートエスイー」事業責任者 washizaki@waseda.jp http://www.washi.cs.waseda.ac.jp/ 2024年12月18日 ソフトウェアイノベーションシンポジウム2024 基調講演 1
- 3. IEEE Future Direction 2023 ＆ IEEE-CS Technology Predictions 2024におけるメガトレンド IEEE CS Technology Prediction Team (Chair: Dejan Milojicic) https://www.computer.org/resources/2024-top-technology-predictions Next Gen AI Generative AI applications Metaverse Low power AI accelerator （汎用）人工知能 サステナビリティ デジタルトランス フォーメーション 生成AI アプリケーション 自動化・ 自律制御 デジタルツイン サステナブルIT 低消費電力AI アクセラレータ 遠隔健康管理 次世代AI メタバース 3
- 4. IEEE CS Technology Predictions 2024 技術予測 IEEE CS Technology Prediction Team (Chair: Dejan Milojicic) https://www.computer.org/resources/2024-top-technology-predictions 人類への影響よりも成功の確率 の方が高い 人類への影響は成功の可能 性よりも高い（投資する価 値がある) 成功可能性・人類への 影響のいずれも高い
- 5. Knowledge Area Topic Topic Reference Material Body of Knowledge Skills Competencies Jobs / Roles SWEBOK Software Engineering Professional Certifications SWECOM EITBOK Learning courses Guide to the Software Engineering Body of Knowledge (SWEBOK) https://www.computer.org/education/bodies-of-knowledge/software-engineering • ソフトウェアエンジニアリングにおける「一般に認められた知 識」を特定し、共通認識を持つよう研究者と実務家を導く。 • 資格や教育カリキュラムの基礎 • ISO/IEC Technical Report, ISO/IEC 24773 Part 4 ほか採用 • ‘01 v1、’04 v2、‘05 ISO採用、’14 v3、‘24 v4 出版済み！ SWEBOK Guide V4 (Editor: Hironori Washizaki) 5
- 6. メイン フレーム 70’s – Early 80’s Late 80’s - Early 90’s Late 90’s - Early 00’s Late 00’s - Early 10’s PC, クライアント サーバ インターネット ユビキタス Late 10’s - Early 20’s IoT, ビッグデータ, AI Structured programming Waterfall Formalization Design Program generation Maturity Management Object-oriented Req. eng. Modeling Verification Reuse Model-driven Product-line Global & open Value-based Systems eng. Agile Iterative & incremental DevOps Empirical Data-driven Continuous SE and IoT SE and AI SWEBOK V1 SWEBOK V2 SWEBOK V3 SWEBOK V4 6
- 7. 要求 設計 構築 テスト 保守 構成管理 マネジメント プロセス モデル・手法 品質 専門職 経済 計算基礎 数学基礎 工学基礎 SWEBOK Guide V3からV4への進化 • 現代的ソフトウェアエンジニアリング、プラクティスの変化や更新、知識体系の成長・新領域 要求 アーキテクチャ 設計 構築 テスト 運用 保守 構成管理 マネジメント プロセス モデル・手法 品質 セキュリティ 専門職 経済 計算基礎 数学基礎 工学基礎 SWEBOK V3 SWEBOK V4 アジャ イル, DevOps AIとソフトウェアエン ジニアリング 7
- 8. メインフレーム 70’s – Early 80’s Late 80’s - Early 90’s Late 90’s - Early 00’s Late 00’s - Early 10’s PC, クライアント サーバ インターネット ユビキタス Late 10’s - Early 20’s IoT, ビッグデータ, AI 生成AI, 基盤モデル, 量子, コンティニュアム Late 20’s Structured programming Waterfall Formalization Design Program generation Maturity Management Object-oriented Req. eng. Modeling Verification Reuse Model-driven Product-line Global & open Value-based Systems eng. Agile Iterative & incremental DevOps Empirical Data-driven Continuous SE and IoT SE and AI SEと: 生成AI 量子コンピューティング サステナビリティ コンティニュアム AI支援の DevOps SWEBOK V1 SWEBOK V2 SWEBOK V3 SWEBOK V4 8
- 10. アジャイル開発における品質とプロセス 10 参考: ソフトウェア品質知識体系ガイド（第3版）－SQuBOK Guide V3－、2021. 側面 従来の品質保証 アジャイル品質 担当 主に特定の人々（品質保証部門、QA） 専門家を交えたチーム全体 段階 主に特定の段階 ロードマップ策定から日々のモニタリングに 至るあらゆる段階 内容 開発完了後に品質の確認 各イテレーションで品質作りこみ: 動くソフ トウェアのテスト、自動化、変更容易性ほか プロセス参考: 産業技術総合研究所サイバーフィジカルセキュリティ研究センター テクニカルレポート CPSEC-TR-2020001, 機械学習品質マネジメントガイドライン 構想・企画 システム定義 リスク分析 要求定義 データ準備 プロト開発 実験・評価 利用終了 性能監視 運用 統合検査 データ準備 修正 データ収集 本開発 品質検査 改修 品質 検査 システ ム更新 PoC アジャイル Dev Ops
- 11. アジャイル品質プロセス 11 スプリント計画 製品ビジ ョン/ロー ドマップ 利害関係者 への展開 機能 受入テスト バックログ 管理 スプリント 実行 デイリーレビュー フィードバックの取り込み 重要な品質シナリ オの特定 品質項目 を含める 品質テスト 関連する 品質タスク を含める アジャイルプロセスの一環として、システムの 品質を理解し、記述し、開発およびテスト 品質テスト 品質テスト 障壁の解体 品質保証メンバと残りのメンバ間の障壁 をなくし、皆が品質プロセスに関わる アジャイル品質パターン QA to AQ (Agile Quality) • アジャイル品質の考え方と推奨される活動の23+のパターン集 Joseph Yoder、Rebecca Wirfs-Brock、Ademar Aguiar、鷲崎 弘宜 著、 “アジャイル品質パターン「QA to AQ」 伝統的な品質保証からアジャイル品質への変革”、翔泳社、2022
- 12. どのようなアジャイルメトリクスが顧客満足に繋がるのか？ （早稲田大学、デジタルハーツ・AGEST 共同研究） • 静的から動的へ、絶対値から相対値・変化量へ。顧客＆開発者満足の調査不足 • 対象: 一定規模・継続的統合・プルリクエスト導入のAndroidアプリ37件 – 利用者満足: アプリのユーザレビューコメントの感情スコア（VADER利用） – 分析方法: 遅延を考慮した上で時系列の相関関係 • 感情スコアが全体的に低下傾向のアプリでは、マージまでの時間、課題の生存 期間、プルリクエストの生存期間が感情スコアと強い負の相関 Minshun Yang, Seiji Sato, Hironori Washizaki, Yoshiaki Fukazawa, Juichi Takahashi, “Identifying Characteristics of the Agile Development Process That Impact User Satisfaction,” 27th International Conference on Evaluation and Assessment in Software Engineering (EASE 2023) https://github.com/cjhutto/vaderSentiment 12 Fenix (Firefox. for Android) 7倍以上遅くなった後，満足度は明らかに低下 Nextcloud 7倍以上遅くなった後，満足度は明らかに低下 感情スコア : マージまでの時間
- 13. UXからDX（Developer Experience）に向けて • DX（開発者体験）への影響 要因 – DXを構成するフロー状態、フィ ードバックループ、認知負荷が 、開発者やチーム、組織の成 果に影響していることを明らか に [Forsgren+24] – マネーフォーワード社の事例 あり [高井24] 13 A. Noda, et al., “DevEx: What Actually Drives Productivity: The developer-centric approach to measuring and improving productivity,” ACM Queue, 21(2), 2023 N. Forsgren, et al., “DevEx in Action: A study of its tangible impacts,” ACM Queue, 21(6), 2024 高井, https://moneyforward-dev.jp/entry/2024/03/07/090000 開発者体験 成果・影響 フロー 状態 フィードバ ックループ 認知負荷 開発者 成果 チーム レベル 組織 レベル
- 15. 人中心からAI中心へ: AI-SEALを参考に [Feldt18] 15 Robert Feldt, et al., Ways of Applying Artificial Intelligence in Software Engineering, RAISE 2018, CoRR abs/1802.02033 7. 自動意思 決定・実装・ 通知 10. 必要と判断の うえで自動意思決 定・実装・通知 プロセス 自動化 レベル 適用対象 プロダクト 実行 低リスク 高リスク 中リスク 1. 人手による 代替候補群の 検討 4. 代替候補 群と一つの案 を自動推薦 人中心 AI支援開発 AIとの共創 AI中心開発
- 16. 生成AIに基づくソフトウェアエンジニアリングの現状と展望 Generative AI for Effective Software Development (Springer, 2024) • 生成AIの基礎 – An Overview on Large Language Models • SEへの生成AI導入のためのパターンとツール – Comparing Proficiency of ChatGPT and Bard in Software Development – DAnTE: A Taxonomy for the Automation Degree of Software Engineering Tasks – ChatGPT Prompt Patterns for Improving Code Quality, Refactoring, Requirements Elicitation and Software Design – Requirements Engineering Using Generative AI: Prompts and Prompting Patterns – Advancing Requirements Engineering Through Generative AI: Assessing the Role of LLMs • ケーススタディ – Generative AI for Software Development: A Family of Studies on Code Generation – BERTVRepair: On the Adoption of CodeBERT for Automated Vulnerability Code Repair – ChatGPT as a Full-Stack Web Developer • プロセス – Transforming Software Development with Generative AI: Empirical Insights on Collaboration and Workflow – How Can Generative AI Enhance Software Management? Is It Better Done than Perfect? – Value-Based Adoption of ChatGPT in Agile Software Development: A Survey Study of Nordic Software Experts – Early Results from a Study of GenAI Adoption in a Large Brazilian Company: The Case of Globo • 教育と将来展望 – Generating Explanations for AI-Powered Delay Prediction in Software Projects – Classifying User Intent for Effective Prompt Engineering: A Case of a Chatbot for Startup Teams – Toward Guiding Students: Exploring Effective Approaches for Utilizing AI Tools in Programming Courses 16 プロンプトパターン 要求工学 AI開発者 協調・ワークフロー コード 関連 価値ベースの導入 説明の生成 プログラミング学習
- 17. Rie Sera, Hironori Washizaki,et al., “Development of Data-driven Persona Including User Behavior and Pain Point through Clustering with User Log of B2B Software,” IEEE/ACM 17th International Conference on Cooperative and Human Aspects of Software Engineering (CHASE 2024) https://www.growkudos.com/publications/10.1145%25252F3641822.3641870/reader 17 早大・いい生活 共同研究: ペルソナ生成とユーザビリティスメル特定に向けて
- 18. LLMマルチエージェントに基づくAI中心の開発へ • MetaGPT: Meta Programming for A Multi-Agent Collaborative Framework (2023) – 標準作業手順書に基づくタスク細分化 – 異なるエージェント間の知識共有 • ChatDev: Communicative Agents for Software Development (ACL 2024) – チャットチェーン – 思考指示、役割反転 18 https://arxiv.org/abs/2308.00352 https://arxiv.org/abs/2307.07924 • ResponsibleなAIエージェントに向けて – 制御性、説明性、透明性、一貫性を通じた信頼 – バイアスとデータ品質、計算コスト・消費電力 – 汎用モデルとドメイン・タスク固有モデル – 法的および倫理的なコンプライアンス – 人の役割の変化、開発層の広がり
- 20. SE for AIの傾向 20 Silverio Martínez-Fernández, et al., Software Engineering for AI-Based Systems: A Survey. ACM Trans. Softw. Eng. Methodol. 31(2): 37e:1-37e:59 (2022) 領域 数 傾向 要求 17 • AIに特化した新しい品質特性への注目、確率的な結果や曖昧さを扱う仕様（例：部分仕様） • AIのための要求工学プロセスの取り組みは限定的 設計 34 • 安全性や信頼性などの設計戦略、マイクロサービスとしてのモデル共有など、具体的なAI基盤 • システムレベルではパターン、設計標準、リファレンスアーキテクチャの提案は少ない 構築 23 • 構築上の課題とガイドライン、プラットフォームの提案、成熟度や根拠など不十分 テスト 115 • テストケース（55件）、うちテストケース生成（40）とテストケース選択（12）。カバレッジ提案（14） • テスト手法: メタモルフィックテストが最多（16件）、ファジング（6）、ミューテーションテスト（5） • ‘10-’20 248編、自動車、ディペンダビリティ＆セーフティの扱いが多い 保守 6 • 少数。AIシステムのバグやデバッグ関連。 プロセ ス 31 • 学際的チーム形成、モデルレベルでのAIパイプラインに焦点を当てた研究あり（6件） • プロセス関連のサポートとしてツール（6）やフレームワーク（3） 手法 38 • AIコンポーネントを用いたCPSの検証と妥当性確認（18件） • セーフティ、自動運転領域の取り組みが多い 品質 59 • ISO 25000やISO 26262などの国際規格の更新必要性の提起 • 多くはMLの品質特性、フレームワーク、品質保証、認証に焦点 他 4 • マネジメント、経済、構成管理、プロフェッショナルプラクティス
- 21. 設計と機械学習デザインパターン スマホで拾った音について楽器の種類を特定し、種類に応 じた記録や対応を実現したい。しかし、スマホのメモリや性 能は限られており、大きな深層学習モデルは載りそうにな い。どうすればよいか？ 21 転移学習 したモデル 小さな 判別モ デル 何もしない 特定 結果 パターン 問題 解決 2段階予測 Two- Phase Predictions もともと大規模で複雑なモデルの性能 を、エッジデバイスや分散デバイスに デプロイした場合も維持する必要性 利用の流れを2つの段階に分けて、シンプ ルな段階のみをエッジ上で実行 転移学習 Transfer Learning 複雑な機械学習モデルを訓練する ために必要となる大規模データセッ トの不足 訓練済みモデルの一部の層を取り出し て重みを凍結し、訓練対象とせずに類 似問題の解決のため新モデルで利用 ルールベース のセーフガード 不確実性、敵対的攻撃やノズ、デー タドリフトに対して脆弱 決定的で検証可能なルールに基づくシ ステムで包むことで不確実性を扱う • スマホ上の小さなモデルでは音が楽器かどうか判定し、楽器の場合にの みクラウド上の大きなモデルで種類を特定する 2段階予測 としよう。 • 特定にあたり、様々な音データによる既存の訓練済みモデルを用いて転 移学習 したモデルを用いよう。 [MLDP] Valliappa Lakshmanan, Sara Robinson, Michael Munn著, 鷲崎弘宜, 竹内広宜, 名取直毅, 吉岡信和 訳, “機械学習デザインパターン – データ準備、モデル構築、 MLOpsの実践上の問題と解決”（原著 “Machine Learning Design Patterns”）, オライリージャパン, 2021. https://www.amazon.co.jp/dp/4873119561 [SEP4MLA] H. Washizaki, et al., “Software Engineering Design Patterns for Machine Learning Applications,” IEEE Computer, Vol. 55, No. 3, pp. 1-9, 2022 Best Paper
- 22. メタモルフィックテスト • メタモルフィック関係に基づき大量に試験 • 入力への変化により、出力の変化を予想できる関係 – 例: A の検索結果数 ≧ A かつ B の検索結果数 – 例: sin(x) = sin(x + 360度) 22 入力の変化 出力の変化 並び変え 無し ノイズの追加 意味的に同じもの 統計的に同じもの 経験的に近いもの 僅か 定数の加算、乗算 定数の加算、乗算 狭める 部分集合 全く異なるもの 互いに素 参考: S. Segura et al., "Metamorphic Testing of RESTful Web APIs," IEEE Transactions on Software Engineering, 2017 参考: C. Murphy, “Applications of Metamorphic Testing”, http://www.cis.upenn.edu/~cdmurphy/pubs/MetamorphicTesting-Columbia-17Nov2011.ppt 自動運転車の場合 [Tian’18] Y Tian, et al., DeepTest: Automated Testing of Deep-Neural- Network-driven Autonomous Cars, ICSE 2018 https://arxiv.org/pdf/1708.08559.pdf
- 23. 検証データによ る平均値 誤認識データ による平均値 最優先で修正す べきニューロン 深層学習モデル調整（修正） • 再訓練, オンライン学習, データ拡充: 生成 [a]、選択 [b]、拡張 [c]など • 特定サンプルに応じたパラメータ直接変更 [d][e] [a] Generative adversarial nets, NIPS 2014 [b] MODE: automated neural network model debugging via state differential analysis and input selection, ESEC/FSE 2018 [c] Autoaugment: Learning augmentation policies from data, arXiv:1805.09501, 2019, [d] 松井 健, 鵜林 尚靖, 佐藤 亮介, 亀井 靖高, 敵対的サンプルに対するニューラルネットワークモデルの学習無し修正とその評価, JSSST大会 2019, [e] Search Based Repair of Deep Neural Networks, arXiv:1912.12463, 2019 23
- 25. 複雑・不確実な開発運用時代こそ、エンジニアリング重要 メタモデル 要求・アーキテクチャモデリング 機械学習パイプライン 要求分析・設計 評価 問題の可視化 評価 解決の可視化 25 OK OK OK NG OK OK OK NG NG OK OK OK [ML.VP1🡨 AI.VP1] Providereliable real-timeobject detectionsystem fordriving decisionmakingin highway(incl. trafficsign detectionand lane/vehicle detection) • [ML.DS1]Procured datasets • [ML.DS2]Internal databasefrom collectionduring operation • [ML.DC1]Openand commercialdatasets • [ML.DC2]Data collectedduring operation(imageand identificationresult) •[ML.F1🡨 AI.D1/AI.D3] Boundingbox forobject(incl. othervehicles orsigns) •[ML.F2🡨 AI.D2]Ridge detectionfor lanedetection [ML.BM1] Modelswillbe developed, tested,and deployedtocars monthly • [ML.PT1]Input: imagefromsensors • [ML.PT2←AI.D] Output:trafficsigns, lanemarking, vehicles,and pedestrians. [ML.De1]Use predictionresults fordecision- makinginself- drivingsystem [ML.IS1] Usingtestdata, achieveveryhigh recallandhigh precisionin followingcondition: night,rainy,and generalcondition Datasetsissplitinto 80:20ratio [ML.MP1] Predictionshould bemadein batchesreal time. [ML.M1]Inputdatamonitoring [ML.VP1🡨 AI.VP1] Providereliable real-timeobject detectionsystem fordriving decisionmakingin highway(incl. trafficsign detectionand lane/vehicle detection) • [ML.DS1]Procured datasets • [ML.DS2]Internal databasefrom collectionduring operation • [ML.DC1]Openand commercialdatasets • [ML.DC2]Data collectedduring operation(imageand identificationresult) •[ML.F1🡨 AI.D1/AI.D3] Boundingbox forobject(incl. othervehicles orsigns) •[ML.F2🡨 AI.D2]Ridge detectionfor lanedetection [ML.BM1] Modelswillbe developed, tested,and deployedtocars monthly • [ML.PT1]Input: imagefromsensors • [ML.PT2←AI.D] Output:trafficsigns, lanemarking, vehicles,and pedestrians. [ML.De1]Use predictionresults fordecision- makinginself- drivingsystem [ML.IS1] Usingtestdata, achieveveryhigh recallandhigh precisionin followingcondition: night,rainy,and generalcondition Datasetsissplitinto 80:20ratio [ML.MP1] Predictionshould bemadein batchesreal time. [ML.M1]Inputdatamonitoring [ML.VP1🡨 AI.VP1] Providereliable real-timeobject detectionsystem fordriving decisionmakingin highway(incl. trafficsign detectionand lane/vehicle detection) •[ML.DS1]Procured datasets •[ML.DS2]Internal databasefrom collectionduring operation •[ML.DC1]Openand commercialdatasets •[ML.DC2]Data collectedduring operation(imageand identificationresult) •[ML.F1🡨 AI.D1/AI.D3] Boundingbox forobject(incl. othervehicles orsigns) •[ML.F2🡨 AI.D2]Ridge detectionfor lanedetection [ML.BM1] Modelswillbe developed, tested,and deployedtocars monthly •[ML.PT1]Input: imagefromsensors •[ML.PT2←AI.D] Output:trafficsigns, lanemarking, vehicles,and pedestrians. [ML.De1]Use predictionresults fordecision- makinginself- drivingsystem [ML.IS1] Usingtestdata, achieveveryhigh recallandhigh precisionin followingcondition: night,rainy,and generalcondition Datasetsissplitinto 80:20ratio [ML.MP1] Predictionshould bemadein batchesreal time. [ML.M1]Inputdatamonitoring 修正・改善戦略の追加 訓練 深層学習モデル調整 要求 構築 設計 テスト アーキテク チャ 運用 経済 モデル・主要 品質 計算基礎 Jati H. Husen, Hironori Washizaki, Jomphon Runpakprakun, Nobukazu Yoshioka, Hnin Thandar Tun, Yoshiaki Fukazawa, Hironori Takeuchi, “Integrated Multi-view Modeling for Reliable Machine Learning-Intensive Software Engineering,” Software Quality Journal, Vol. 32, pp. 1239–1285, Springer-Nature, 2024. Hironori Takeuchi, Jati H. Husen, Hnin Thandar Tun, Hironori Washizaki and Nobukazu Yoshioka, “Enterprise Architecture-based Metamodel for a Holistic Business – IT Alignment View on Machine Learning Projects,” IEEE International Conference on E-Business Engineering (ICEBE 2023), Best Paper
- 27. グリーン＆サステナブル・ソフトウェアエンジニアリングとは Green and Sustainable Software Engineering • ソフトウェア設計、構築、リリースの長期的な 影響（特に環境、社会、個人、経済、技術に 関わるサステナビリティ）に対処する包括的 分野 [DUT’22] – 環境: ソフトウェアの省エネ化、開発の省エネ化 • サステナブルSEの傾向 ’10-’16 [Berntsen’16] – エネルギー効率、開発手法、プロセス強化、組 織の指標、ライフサイクル思考 • サステナブルSEの展望・提言 [Karita’22] – 開発の初期フェーズでサステナビリティ要求を 考慮すべき – サステナビリティに焦点を当てた利害関係者エ ンゲージメントが必要 – サステナビリティの関心は、プロジェクトにおい てトレードオフを発生させる可能性 27 [DUT] Delft University of Technology, Sustainable Software Engineering, https://luiscruz.github.io/course_sustainableSE/2022/ [Berntsen] Kristina Rakneberg Berntsen, et al. Sustainability in Software Engineering - A Systematic Mapping (CIMPS’16) [Karita] Leila Karita, et al., Towards a common understanding of sustainable software development (SBES’22) モジュール 0 2 4 6 8 10 -1600 -1400 -1200 -1000 -800 -600 -400 -200 0 状態 電圧[mV] 時間[mS] 通常運用時の電圧変化 0 2 4 6 8 10 -1600 -1400 -1200 -1000 -800 -600 -400 -200 0 状態 電圧[mV] 時間[mS] 低消費電力化後 状態 バッテリ 電圧値 自動合成を通じ た消費電力抑制 低消費電力化アスペクト 自動合成 void around():call(void LDC_linetrace(void)){ float turn=p_gain*(…); … “アスペクト指向プログラミングによる高性能・低消費電力化” SIGSS 2014
- 28. 参照モデル GREENSOFT Model: ソフトウェアライフサイクル 28 S. Naumann, et al., “The GREENSOFT Model: A reference model for green and sustainable software and its engineering,” Sustainable Computing, 1(4), 2011 • 開発者、管理者、ユーザのサステナブルなソフトウェア開発、運用、退役の支援 開発 運用 退役 開発 配布 使用 使用停止 廃棄 1次影響 2次影響 3次影響 ライフサイクル 基準・指標 手続き・プロセスモデル 推奨事項・ツール
- 29. GREENSOFT MODEL: サステナビリティの基準と指標 • 共通基準・メトリクス – ISO/IEC 25000 SQuaREシリーズなど • 直接的基準・メトリクス – 一次影響（ICT供給の効果）に関連する基準と測定基準 – 開発段階: プロダクトの変更可能性、再利用可能性、エネルギー効率。加えて、 プロセスの予測可能性、効率性、プロジェクト全体のフットプリント – 使用段階: 移植可能性、サポート可能性、性能、信頼性、使用可能性、アクセシ ビリティ • 間接的基準・メトリクス – 二次的影響（ICT利用の効果）及び三次的影響（ICTのシステム的効果）に向けら れた基準及び測定基準 – ソフトウェア製品を使用することで、他の部門や使用領域においてエネルギー や資源の節約を達成できる可能性。ただし、しばしば特定は困難。 – 社会的効果についてもソフトウェア製品の目的や応用分野に依存するため、こ れらを一般的に認識するための適切な測定基準や基準を定義することは困難 29
- 31. IoT/AI コースとDXコース 31 IT 経営 IoT・AI・DX 産学連携リカレント教育 スマートエスイー https://www.waseda.jp/inst/smartse/ IEEE CS Award講演 会・スマートエスイ ーIoT/AI ‘25 説明会 12月20日(金)午前 ‘24 サステナビリ ティ、AI、DXの オープン科目群 （1科目から）も 継続募集中