SlideShare a Scribd company logo

次世代AI時代のトレンドと高信頼AIソフトウェアシステム開発に向けたフレームワーク＆パターン

Hironori Washizaki, profile picture
Hironori Washizaki

鷲崎弘宜, “次世代AI時代のトレンドと高信頼AIソフトウェアシステム開発に向けたフレームワーク＆パターン”, MLSE夏合宿, 基調講演, 2024.

Software
1 of 51
Downloaded 14 times
1
2
Most read
3
4
Most read
5
6
7
8
9
10
11
12
13
14
15
16
17
18
Most read
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
AI周辺の技術トレンドと高信頼AIソフトウェア システム開発に向けた枠組みとパターン 鷲崎 弘宜 早稲田大学 / 国立情報学研究所 / エクスモーション IEEE Computer Society, 2025 President ISO/IEC/JTC1/SC7/WG20 Convenor IPSJ-SIGSE Chair http://www.washi.cs.waseda.ac.jp/ MLSE夏合宿 2024年7月5日
技術展望と次世代AI 2
IEEE CS Technology Prediction Team (Chair: Dejan Milojicic)
IEEE CS Technology Predictions 技術予測 2023 4 IEEE CS Technology Prediction Team (Chair: Dejan Milojicic) https://www.computer.org/2023-top-technology-predictions 人類への影響よりも成功の確率 の方が高い 人類への影響は成功の可能性よりも高い （投資する価値がある)
Remote Healthcare Wearables Generative AI Disinformation detection/correction AI-assisted DevOps Artificial General Intelligence (AGI) 5 IEEE Computer Society (CS) Global Scientists and Engineers Rank 2023 Technology Trend Predictions https://www.computer.org/press-room/scientists-and-engineers-rank-2023- technology-trend-predictions Remote Healthcare & Wearables Generative AI Disinformation detection/correction AI-assisted DevOps Artificial General Intelligence (AGI) IEEE CS Technology Predictions 2023 予測と評価 • A/Bテストに見るもともと の予測に対する評価結果の 突合せ • 生成AIの高成長、COVID関 連技術の減速 予測 Jan 2023 評価 Dec 2023
IEEE CS Technology Prediction Team (Chair: Dejan Milojicic)
7 IEEE Future Direction 2023 ＆ IEEE-CS Technology Predictions 2024におけるメガトレンド IEEE CS Technology Prediction Team (Chair: Dejan Milojicic) https://www.computer.org/resources/2024-top-technology-predictions • （汎用）人工知能技 術は社会的、経済的、 生態学的側面と深く 関わっている。 Next Gen AI Generative AI applications Metaverse Low power AI accelerator （汎用）人工知能 サステナビリティ デジタルトランスフォーメーション 生成AI アプリケーション 自動化・ 自律制御 デジタルツイン サステナブルIT 低消費電力AI アクセラレータ 遠隔健康管理 次世代AI メタバース
IEEE CS Technology Predictions 2024 技術予測 IEEE CS Technology Prediction Team (Chair: Dejan Milojicic) https://www.computer.org/resources/2024-top-technology-predictions 人類への影響よりも成功の確率 の方が高い 人類への影響は成功の可能 性よりも高い（投資する価 値がある) 成功可能性・人類への 影響のいずれも高い
Next Generation AI 次世代AI • 汎用知能: 現在のAIシステムは特殊で狭 い。AGIへの進化には、コンピュータサ イエンス、エンジニアリング、倫理、 さらには哲学に至るまで、学際的な協 力が必要。 • 信頼と説明可能性: AIのブラックボック ス的性質は、信頼の低下を引き起こす 可能性がある。大規模な言語モデルか ら秘密を導き出すことを防ぎ、倫理的 配慮やデータプライバシーに配慮した 技術が必要。 • AIの持続可能性： AIモデルが成長し続 けるにつれ、データセンターへの過剰 な負荷が環境への影響を懸念させる。 モデルの効率化、精度の向上、柔軟性 の向上が鍵となる。 • 人間中心のAI：次世代AIは、共感レベル を高めるなど、人間の能力を高めるこ とに焦点を当てるべきである。 問題・ニーズ IEEE CS Technology Prediction Team (Chair: Dejan Milojicic) https://www.computer.org/resources/2024-top-technology-predictions • ヘルスケア: 患者の転帰を改善し、コストを削 減し、効率を高める。 • 金融: 不正検知、リスク管理、顧客サービス- 小 売 サプライチェーンの最適化、パーソナライズ されたマーケティング、サービス • 製造業: 品質管理の向上、ダウンタイムの削減、 生産の最適化 • 運輸: 安全性の向上、混雑の緩和、ロジスティ クスの最適化 • 実現要因: 広範なデータセットの利用可能性、 コストを下げながらの効率化、AIハードウェア の進歩、新しい生成AIアルゴリズム、言語（画 像、動画）を超えたマルチモーダル。 • 阻害要因: データ・プライバシーの欠如、透明 性の欠如、倫理的人間が作成したコンテンツと AIが作成したコンテンツの区別がつかないこと。 持続的解決・ビジネス機会
Generative AI 生成AI • 新課題への柔軟な対応と、需要への適 応力を提供 • 安全性とセキュリティ: 悪用や、 ディープフェイクのような有害なコン テンツの生成に対するセーフガードの 構築が必要 • 頑健性、信頼性、制御性、説明可能性 が欠けており、透明性の高い技術と一 貫性のあるAIモデルが必要。エージェ ントや信頼されるべきアプリにとって 大きな問題。 • 大規模データセットにおけるバイアス とデータ品質の問題、キュレーション が必要 • 高い計算コストにより、モデルの訓練 は、基礎モデルを訓練する余裕のある 少数のプレイヤーに制限 • データのプライバシーと使用に関する 規制の進展により、法的および倫理的 なコンプライアンスの確保が必要 問題・ニーズ IEEE CS Technology Prediction Team (Chair: Dejan Milojicic) https://www.computer.org/resources/2024-top-technology-predictions • 生成AIは、集約的な訓練の必要性を減らすかもしれない • ノー／ローコードへの対応: ジェネレーティブAIはAIの採 用を増やし、新たな収益源を生み出す • 知的財産、サイバーセキュリティ、倫理規範などの課題に 対処するための標準化とベストプラクティスにおけるグ ローバルな協力 • 産学官パートナーシップ: 政府、学界、産業界の緊密連携 • より発生源に近い場所でデータを処理し、待ち時間を短縮 し、応答時間を改善するエッジ・コンピューティングの重 要性が高まる • 実現要因： 新しいMLアプローチ、手頃な価格のAIツール、 オープンモデル、大規模なキュレーションデータセットへ のアクセス、自動化のためのAI統合エージェント • 阻害要因: コンテンツ制作者やIPホルダーへの脅威、人間 が作ったコンテンツと機械が作ったコンテンツの区別の難 しさ、敵対的なアプリケーション、生成AIと人間のコンテ ンツ生成の倫理的な問題、相互運用性の欠如、閉鎖的なモ デル、低品質で偏ったデータセット、高い計算コスト、AI に対する信頼の欠如、規制の負担と変化への抵抗 持続的解決・ビジネス機会
Knowledge Area Topic Topic Reference Material Body of Knowledge Skills Competencies Jobs / Roles SWEBOK Software Engineering Professional Certifications SWECOM EITBOK Learning courses 11 Guide to the Software Engineering Body of Knowledge (SWEBOK) https://www.computer.org/education/bodies-of-knowledge/software-engineering • ソフトウェアエンジニアリングにおける「一般に認めら れた知識」を特定し、共通認識を持つよう研究者と実務 家を導く。 • 資格や教育カリキュラムの基礎 • '01 v1、'04 v2、'05 ISO採用、'14 v3、'24 v4間もなく！ SWEBOK Guide V4 (Editor: Hironori Washizaki)
Mainframe 70’s – Early 80’s Late 80’s - Early 90’s Late 90’s - Early 00’s Late 00’s - Early 10’s PC, Client & server Internet Ubiquitous computing Late 10’s - Early 20’s IoT, Big data, AI Structured programming Waterfall Formalization Design Program generation Maturity Management Object-oriented Req. eng. Modeling Verification Reuse Model-driven Product-line Global & open Value-based Systems eng. Agile Iterative & incremental DevOps Empirical Data-driven Continuous SE and IoT SE and AI SWEBOK V1 SWEBOK V2 SWEBOK V3 SWEBOK V4
SWEBOK Evolution from V3 to V4 • モダンな開発と運用、プラクティス更新、新興領域 Requirements Design Construction Testing Maintenance Configuration Management Engineering Management Process Models and Methods Quality Professional Practice Economics Computing Foundations Mathematical Foundations Engineering Foundations Requirements Architecture Design Construction Testing Operations Maintenance Configuration Management Engineering Management Process Models and Methods Quality Security Professional Practice Economics Computing Foundations Mathematical Foundations Engineering Foundations V3 V4 Agile, DevOps AI for SE, SE for AI Software engineering AI AI for SE SE for AI
Mainframe 70’s – Early 80’s Late 80’s - Early 90’s Late 90’s - Early 00’s Late 00’s - Early 10’s PC, Client & server Internet Ubiquitous computing Late 10’s - Early 20’s IoT, Big data, AI GenAI, FM, Autonomous, Quantum, Continuum Late 20’s Structured programming Waterfall Formalization Design Program generation Maturity Management Object-oriented Req. eng. Modeling Verification Reuse Model-driven Product-line Global & open Value-based Systems eng. Agile Iterative & incremental DevOps Empirical Data-driven Continuous SE and IoT SE and AI SE and GenAI SE and QC Sustainability SE for autonomous and continuum AI-assisted DevOps/OpsDev SWEBOK V1 SWEBOK V2 SWEBOK V3 SWEBOK V4
機械学習システムのエンジニアリングパターン 15
ソフトウェア エンジニアリング AI / 機械学習 エンジニアリング 品質 エンジニアリング AIレイヤ・コンティニュアム モデル/ データ システム/ ソフトウェア 社会 AI品質 対策レベル 受動的 予防的 予測的 AI自動化レベル AIコンピューティング コンティニュアム ほぼAIのみ ほぼ人 のみ 人中 心 クラウド エッジ/単 独 エコシステム AIプロセス・ コンティ ニュアム 計画駆動 繰り返し アジャ イル /Dev Ops AI中 心 業務活動 AIエンジニアリング・コン ティニュアムに向けて • 連続性を持ち広範 なAI品質リスクの扱 い • 対策もまた連続性 をもち切れ目なく広 範 • 持続的および体系 的に対処するうえで 必要な次元 Hironori Washizaki and Nobukazu Yoshioka, “AI Engineering Continuum: Concept and Expected Foundation,” 15th International Conference on Information, Intelligence, Systems and Applications (IISA), 2024
機械学習システムの設計例 • スマホが拾った音から楽器の種 類を特定し、その種類に応じた 録音・応答を実現したい。 • しかし、スマホのメモリや性能に は限りがあり、大規模なディープ ラーニング・モデルは搭載できそ うにない。 どうすればよいか？ 17 Pretrained Model • 携帯電話上の小さなモデルが音が楽器 かどうかを判断し、クラウド上の大きな モデルが楽器である場合のみ音の種 類を分類するという2段階予測を使用し よう。 • 大規模モデルには、正確な分類を実現 するために転移学習を採用しよう。 Machine Learning Design Patterns (V. Lakshmanan, et al. 2020) Two-stage predictions 2段階予測 • 課題：エッジデバイスや分散デバイスに デプロイされた場合でも、大規模で複雑 なモデルのパフォーマンスを維持する必 要がある。 • 解決: 利用フローを2つのフェーズに分け 、単純なフェーズのみをエッジで実行する 。 Transfer Learning 転移学習 • 問題：複雑な機械学習モデルの学習に必 要な大規模データセットが不足している。 • 解決: 学習済みモデルの一部のレイヤー を取り出し、重みを凍結して新しいモデル に使用することで、学習させずに同様の 問題を解くことができる。
AI・機械学習ソフトウェアエンジニアリングに はパターンが必要！ • 抽象的なパラダイムと具体的なケース／ツール の橋渡し – Know-Why、Know-What、Know-Howの文書化 – 解決と問題の再利用 – 一貫したアーキテクチャの取得 • 関係者間の共通言語 – ソフトウェアエンジニア、データサイエンティスト、ドメ インエキスパート、ネットワークエンジニア、... 18 Paradigm Case Tool FW Instruction ？ ？
AI・機械学習ソフトウェアエンジニアリングパターン • アーキテクチャとデザインパターン – MLアプリケーションのためのソフトウェ ア工学パターン[SEP4MLA］ – 機械学習デザインパターン[MLDP］ • 論証パターン – MLシステムのための安全性ケースパ ターン[Safety］ – DNNのためのセキュリティ論証パター ン[Security][Security2] • レスポンシブル（責任ある）AIパター ン – 責任あるAIシステムのデザインパター ン [Responsible] • 開発と管理のプラクティス – ライフサイクルフェーズのプラクティス [Practice][Practice2] • プロンプトエンジニアリングパターン – プロンプト・パターン・カタログと分類法 [Prompt][Prompt2］ 19 [MLDP] V. Lakshmanan, et al., “Machine Learning Design Patterns,” O’Reilly, 2020 [SEP4MLA] H. Washizaki, et al. “Software Engineering Design Patterns for Machine Learning Applications,” IEEE Computer 55(3) 2022 [Safety] E. Wozniak, et al., “A Safety Case Pattern for Systems with Machine Learning Components,” SAFECOMP 2020 Workshop [Security] M. Zeroual, et al., “Security Argument patterns for Deep Neural Network Development,” PLoP 2023 [Security2] M. Mutsche, et al. “Robustness-based Security Case Verification for Deep Neural Networks,” AsianPLoP 2024 [Responsible] Q. Lu, et al., “Responsible-AI-by-Design: a Pattern Collection for Designing Responsible AI Systems,” IEEE Software, 2023 [Practice] M. S. Rahman, et al., “Machine Learning Application Development: Practitioners’ Insights,” Software Quality Journal, 31, 2023 [Practice2] Y. Watanabe, et al., “Preliminary Literature Review of Machine Learning System Development Practices,” COMPSAC 2021 Fast Abstract [Prompt] J, White, et al., “A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT,” arXiv 2302.11382, 2023 [Prompt2] Y. Sasaki, et al., “A Taxonomy and Review of Prompt Engineering Patterns in Software Engineering,” COMPSAC 2024
機械学習アプリケーションのためのSEパターン [Computer’22] • 約40の学術文書とグレー文書から15のパターンを抽出 • 3つのタイプに分類: トポロジー、プログラミング、モデル操作 20 Hironori Washizaki, Foutse Khomh, Yann-Gael Gueheneuc, Hironori Takeuchi, Naotake Natori, Takuo Doi, Satoshi Okuda, “Software Engineering Design Patterns for Machine Learning Applications,” IEEE Computer, Vol. 55, No. 3, pp. 30-39, 2022. (Best Paper Award) Encapsulate ML Models within Rule-based Safeguards ルールベースの安全ガードによる MLモデルカプセル化 • 問題：MLモデルは不安定で、敵対的攻撃、 ノイズ、データドリフトに弱いことが知られて いる。 • 解決: MLモデルによって提供される機能を カプセル化し、決定論的で検証可能なルー ルを用いて、システムに内在する不確実性 に対処する。 Business Logic API Rule-based Safeguard Inference (Prediction) Encapsulated ML model Input Output Rule Explainable Proxy Model 説明可能な 代理モデル • 問題：説明可能な代理MLモデルを 構築しなければならない。 • 解決 説明可能な推論パイプライン を主推論パイプラインと並行して実 行し、予測の違いを監視する。 Input Decoy model Data lake Proxy model (E.g., Decision tree) Monitoring and comparison Reproduce and retraining Production model (E.g., DNN)
実務家における捉え方 [ICSME’20] • 118人の開発者が回答 • 開発者はほとんどのパターンを 知らない。 • ほとんどの回答者が、今後の設 計においてパターンの利用を検 討していると回答した。 • 回答者が再利用によって設計 問題へのアプローチをより組織 化するにつれて、パターンの使 用比率が増加した。 21 Knew it Didn’t know it 0 20 40 60 80 100 120 Data Flows Up, Model Flows Down Secure Aggregation Deployable Canary Model Kappa Architecture for ML Parameter-Server Abstraction Different Workloads in Different Computing… Encapsulate ML models within rule-base… ML Gateway Routing Architecture Lambda Architecture for ML Separation of Concerns and Modularization of… Distinguish Business Logic from ML Models Data Lake for ML Discard PoC code Microservice Architecture for ML ML Versioning Used it Never used it Consider using it Not consider Hironori Washizaki, Hironori Takeuchi, Foutse Khomh, Naotake Natori, Takuo Doi, Satoshi Okuda, “Practitioners’ insights on machine-learning software engineering design patterns: a preliminary study,” 36th IEEE International Conference on Software Maintenance and Evolution (ICSME 2020), Late Breaking Ideas
論証ベース・アシュアランスケース • アシュアランスケース – 構造化された主張、議論、証拠 により、あるシステムが、保証さ れる必要のある特定の品質や 特性を有していることを確信さ せるもの – 安全性、セキュリティ、レジリエ ンス、... • ゴール構造表記法（GSN） – 重要な特性を保証する論拠を可 視化するためのグラフィカルな 表記法 – AIアプリケーションのリスクベー ス評価採用例：UK ICO AI説明可 能性ガイド 22 Jordi Cabot, Goal Structuring Notation – a short introduction https://modeling-languages.com/goal-structuring-notation-introduction/
MLセキュリティ論証パターン 23 DNN Secure development argument DNNセキュア開発論証 • 課題：DNNのセキュアな 開発プロセスにおいて、コ ンプライアンスが要求され る。 • 解決: 主張の分解により、 セキュリティ要求の充足を 主張する。 • 例："指定されたロバスト 性は、敵対的な摂動が人 によって認識可能である ことを保証する。" M. Zeroual, et al., “Security Argument patterns for Deep Neural Network Development,” PLoP 2023
ML a 24 MLアシュアランス論証パターン (例: DNN Robustness Case Verification DNN頑健性ケース検証) [AsianPLoP’24] Goal (Claim) Solution (Evidence) Strategy M. Mutsche, et al. “Robustness-based Security Case Verification for Deep Neural Networks,” AsianPLoP 2024 モデル検証のた めの入力が適切 モデル検証の 仕組みが適切 訓練モデルのシス テム統合が適切 人が認識できない 敵対的サンプルの 可能性がほぼない 検証済みのデー タセットが代表的 なものである εが、人が認識できる最 小の敵対的摂動を表す 値の制約上 でεが特定さ れている
プロンプトエンジニアリングパターン 25
プロンプト（エンジニアリング）パターンとは? ➢ LLMから望ましいアウトプットを得るうえで直面する頻出の問題とその解決のため のプロンプトおよびその対話をまとめたもの 26 Please add new feature to our webapp. Please add new feature to our webapp. This is the document and existing code… + Artifacts 例: Few-shot Prompting User User <Ordinal Output…> LLM <More Desired Output…> LLM プロンプト（エンジニアリング）パターンの整理体系化 Yuya Sasaki, Hironori Washizaki, Jialong Li, Dominik Sander, Nobukazu Yoshioka and Yoshiaki Fukazawa, “A Taxonomy and Review of Prompt Engineering Patterns in Software Engineering,” 48th IEEE International Conference on Computers, Software, and Applications (COMPSAC 2024)
1. S. I. Ross, M. Muller, F. Martinez, S. Houde, and J. D. Weisz, “A Case Study in Engineering a Conversational Programming Assistant’s Persona” 2. A. Gu, T. Mitrovska, D. Velez, J. Andreas, and A. Solar-Lezama, “ObSynth: An Interactive Synthesis System for Generating Object Models from Natural Language Specifications” 3. P. Denny, V. Kumar, and N. Giacaman, “Conversing with Copilot: Exploring Prompt Engineering for Solving CS1 Problems Using Natural Language” 4. J. White et al., “A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT” • 問題：正確さと信頼性のバランスを取るのは難しい • 解決：ユーザー主導のプロンプトのみではなく、役割をシミ ュレートするためにLLMを割り当てるインタラクティブなプ ロンプト 例1: User-Model Collaboration Refinement ユーザ・モデル協調洗練 Complex Task Guide User to Desired Output 27 Persona Game Question From LLM Simulation Interactive Prompt Templates Example from [1]: This is a conversation with Socrates, an eager and helpful, but humble expert automatic AI... Example from [4]: I would like you to ask me questions to achieve X. You should ask questions until this condition is met or to achieve this goal...
Complex Task Simple task 1 Simple task 2 Simple task 3 例2: Gradual Execution and Output 段階的実行・出力 28 • 問題：LLMは、推論の限界や入力感度の問題から、複雑なタスクに苦戦することが多 い。ユーザーは、手作業を減らしながら、より多くのコントロールを望んでいる。 • 解決: 連鎖したLLMステップまたは実行可能なスクリプトを使用してタスクを分解し、回 答の品質と透明性を向上させます。 Example: Figure from [1] From: 1.T. Wu, M. Terry, and C. J. Cai, “AI Chains: Transparent and Controllable Human-AI Interaction by Chaining Large Language Model Prompts” 2.J. White et al., “A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT”, Output Automater Pattern
調査と分類体系 • 系統的文献レビュー（SLR） – 対象研究 2023年5月以前 – 初期158編、徹底的なレビューの結果28編を選択 • 26のパターンを特定 – インプロンプト学習アプローチ（5） – インタラクションに焦点を当てた手法（11） – タスクに特化した手法（8） – モデルの最適化 (2) 29 Few-shot Zero-shot Interactive Chain LLM Output APR Code Quality LLM Parameter Specific (for GPT-3.5) Fine-tuning Related (for BERT) 例 Yuya Sasaki, Hironori Washizaki, Jialong Li, Dominik Sander, Nobukazu Yoshioka and Yoshiaki Fukazawa, “A Taxonomy and Review of Prompt Engineering Patterns in Software Engineering,” 48th IEEE International Conference on Computers, Software, and Applications (COMPSAC 2024)
パターン の傾向 • 出版傾向 – 時間と共に増加、 Google検索増大よりも 先行 • ソフトウェア開発領域 – ほとんどが構築とテス ト。 – 要求については少な い。 • モデル – Codex, GPT-3シリーズ が中心 30 “Prompt Engineering” trend from Google trends
プロンプトエンジニアリングの展望 • モデル制約の扱いからユ ーザー意図重視へ • 2023 Q2: 限られたコンテ キスト長の中で、ユーザー の意図を効率的に伝える 工夫が主 • 現在（2024 Q2）： ユーザ ーの意図や状況がLLMに どれだけ理解されている かに焦点 • 将来： ユーザがより使い やすくなるようなプロンプト エンジニアリング 31 Token Limit by Model and Year
生成AIに基づくソフトウェアエンジニアリングの現状と展望 Generative AI for Effective Software Development (Springer, 2024) • Fundamentals of Generative AI – An Overview on Large Language Models • Patterns and Tools for the Adoption of Generative AI in Software Engineering – Comparing Proficiency of ChatGPT and Bard in Software Development – DAnTE: A Taxonomy for the Automation Degree of Software Engineering Tasks – ChatGPT Prompt Patterns for Improving Code Quality, Refactoring, Requirements Elicitation and Software Design – Requirements Engineering Using Generative AI: Prompts and Prompting Patterns – Advancing Requirements Engineering Through Generative AI: Assessing the Role of LLMs • Generative AI in Software Development: Case Studies – Generative AI for Software Development: A Family of Studies on Code Generation – BERTVRepair: On the Adoption of CodeBERT for Automated Vulnerability Code Repair – ChatGPT as a Full-Stack Web Developer • Generative AI in Software Engineering Processes – Transforming Software Development with Generative AI: Empirical Insights on Collaboration and Workflow – How Can Generative AI Enhance Software Management? Is It Better Done than Perfect? – Value-Based Adoption of ChatGPT in Agile Software Development: A Survey Study of Nordic Software Experts – Early Results from a Study of GenAI Adoption in a Large Brazilian Company: The Case of Globo • Future Directions and Education – Generating Explanations for AI-Powered Delay Prediction in Software Projects – Classifying User Intent for Effective Prompt Engineering: A Case of a Chatbot for Startup Teams – Toward Guiding Students: Exploring Effective Approaches for Utilizing AI Tools in Programming Courses 32 プロンプトパターン 要求工学 AI開発者 開発プロセス コード関連
AI・機械学習パターンのエンジニアリング 33
• Problem: … (AI/ML) パターンエンジニアリング • 抽出： 再利用可能なパターンを持つために、繰り返される問題と解決策を識別 し、「新しい」パターンとして定式化 • 検出： ソフトウェアプロセスや製品における「既知の」パターンを検出し、さらな る改善の機会を理解・特定 • 適用： 特定の問題を解決するために、ソフトウェアプロセスと製品にパターンを 選択し、具体化し、展開 • 組織化： パターンの体系（＝言語）を構築するためにパターンを整理 • 統合： パターン指向の開発と管理への統合 34 • Problem: … • Solution: …. AI/ML pattern 抽出 適用 Similar results 検出 Pattern instances 組織化 Process Management 統合
Pytorch vs. Keras MLによるMLパターン検出（例: Embeddings） [APSEC’23] 35 Weitao Pan, Hironori Washizaki, Nobukazu Yoshioka, Yoshiaki Fukazawa, Foutse Khomh, Yann-Gaël Guéhéneuc, “A Machine Learning Based Approach to Detect Machine Learning Design Patterns,” APSEC 2023 ERA Embeddings 埋め込み • 問題：関係を維持することが重要 なカーディナリティの高いデータ の扱い・・・ • 解決: 問題に関連する情報が保 存されるように、高カーディナリテ ィデータを低次元空間にマップす ることを訓練・・・
MLパターン 検出（つづき） 36 Revised Text-CNN Model Weitao Pan, Hironori Washizaki, Nobukazu Yoshioka, Yoshiaki Fukazawa, Foutse Khomh, Yann-Gaël Guéhéneuc, “A Machine Learning Based Approach to Detect Machine Learning Design Patterns,” APSEC 2023 ERA
MLパターン適用: アシュアランス論証パターンの展開例 [AsianPLoP’24] 37 1. パターン候補の特 定と表示 2. 展開前に潜在的 な影響と結果を提 示 3. 選択したパターン を展開 T. Ayukawa, et al., “Machine Learning Design Pattern Application Support,” AsianPLoP 2024
Java実装 MLパターン適用: モデル化 (例: “Adversarial Example Defense”) [AsianPLoP’24] Pattern model Application Pattern description Context Model is not trained well… Problem: Model is vulnerable to adversarial samples with intentional noise… Solution: Employ adversarial training … OCL description Java description T. Ayukawa, et al., “Machine Learning Design Pattern Application Support,” AsianPLoP 2024
ML a 39 MLパターン適用: 詳細の指定 (例: “DNN Robustness Case Verification”) [AsianPLoP’24] M. Mutsche, et al. “Robustness-based Security Case Verification for Deep Neural Networks,” AsianPLoP 2024 Acceptable (L2 Norm = 2) Unacceptable (L2 Norm = 3) Goal: Robustness >= 2
AI architecture patterns IoT design patterns レイヤや側面を超えたパターンランゲージに向けて ...では、この街に多くの人 を呼び込むためには、 小さな広場を中心部に 配置しよう。広場には、 路上カフェを誘致しよう ・・・ 40 https://unsplash.com/photos/EdpbTj3Br-Y https://unsplash.com/photos/GqurqYbj7aU https://unsplash.com/photos/zFoRwZirFvY AI management practices AI assurance argument patterns Governance Responsible AI patterns AI design patterns Small Public Square Street Cafe Opening to the Street
高信頼AI・機械学習システム開発のためのフレ ームワーク 41
ソフトウェア エンジニアリング AI / 機械学習 エンジニアリング 品質 エンジニアリング AIレイヤ・コンティニュアム モデル/ データ システム/ ソフトウェア 社会 AI品質 対策レベル 受動的 予防的 予測的 AI自動化レベル AIコンピューティング コンティニュアム ほぼAIのみ ほぼ人 のみ 人中 心 クラウド エッジ/単 独 エコシステム AIプロセス ・コンティ ニュアム 計画駆動 繰り返し アジャイル / AIOps AI中 心 業務活動 AIエンジニアリング・コン ティニュアムに向けて • 連続性を持ち広範 なAI品質リスクの扱 い • 対策もまた連続性 をもち切れ目なく広 範 • 持続的および体系 的に対処するうえで 必要な次元 Hironori Washizaki and Nobukazu Yoshioka, “AI Engineering Continuum: Concept and Expected Foundation,” 15th International Conference on Information, Intelligence, Systems and Applications (IISA), 2024
Business Concerns System Concerns Software Concerns Traditional Software Concerns ML Software Concerns Costs Revenues Stakeholders Integration Safety ML performance Data Quality Model architecture Reliability Experimentative Definitive 43 複数の側面を追跡可能かつ一貫した方 法で扱うには？ => メタモデルに基づくマルチビュー・モ デリング 異なる性質を整合し て扱うには? => パイプライン統 合とMLOps Responsible AI patterns ML patterns ML Safety and security patterns ML architecture and design patterns MLパターンを開発に組み入れるに は？ パターン適用と構成化の支援
機械学習システムのマルチビュー・モデリング [Software Quality J. ’24] ML Canvas AI Project Canvas Safety Case Architectural Diagram (SysML) KAOS Goal Model STAMP/STPA Value MLOps Architecture Goals Safety Argumentation Jati H. Husen, Hironori Washizaki, Jomphon Runpakprakun, Nobukazu Yoshioka, Hnin Thandar Tun, Yoshiaki Fukazawa, Hironori Takeuchi, “Integrated Multi- view Modeling for Reliable Machine Learning-Intensive Software Engineering,” Software Quality Journal, pp. 1-51, Springer, 2024. 44
一貫性・追跡性保証の ためのメタモデル [ICEBE’23] ML Canvas AI Project Canvas Safety Case KAOS Goal Model STAMP/STPA Architecture (SysML) ML workflow pipeline 45 Hironori Takeuchi, Jati H. Husen, Hnin Thandar Tun, Hironori Washizaki and Nobukazu Yoshioka, “Enterprise Architecture-based Metamodel for a Holistic Business – IT Alignment View on Machine Learning Projects,” IEEE International Conference on E-Business Engineering (ICEBE 2023), Best Paper Award Hironori Takeuchi, Jati H. Husenb, Hnin Thandar Tun, Hironori Washizaki, Nobukazu Yoshioka, “Enterprise Architecture-based Metamodel for Machine Learning Projects and its Management,” Future Generation Computer Systems, Elsevier, pp. 1-12, 2024.
メタモデル メタモデルに基づく高信頼AIシステム 開発のフレームワーク 交通標識認識 深度推定・ セグメンテーション 訓練データ 問題追跡・ 可視化 セキュリティや 使いやすさを含 む要求分析 リスク評価 AI訓練・評価 リスク再評価 AI修正 リスク特定と 論証 解決追跡・ 可視化 品質改善の戦略＆論証 （例: AIモデル修正、セ ーフガード） 誤認識・ 誤動作 × 問題分析・リスク解析 AI訓練・評価・修正 AI・ソフトウェア・システム・シ ステム間連携 設計 解決・設計 要素 レイヤや対象を超えた対応関係・追跡・一貫性維持 4
道路標識認識の例 街中 高速道路 AIプロジェクトキャンバス MLキャンバス アーキテクチャ設計 データ スキル 出力 価値提案 統合 ステーク ホルダ 顧客 コスト 収益 街中と高速道路とで信頼性・安全性を考慮して 許容可能な認識精度の機械学に基づくシステム をどのように開発、改訂できるか？ Jati H. Husen, Hironori Washizaki, Jomphon Runpakprakun, Nobukazu Yoshioka, Hnin Thandar Tun, Yoshiaki Fukazawa, Hironori Takeuchi, “Integrated Multi- view Modeling for Reliable Machine Learning-Intensive Software Engineering,” Software Quality Journal, pp. 1-51, Springer, 2024.
48 機械学習モデルA モデルB モデルC 分類の性能評価 安全性・信頼性論証 誤分類データ 修正に向けた選択 バランスの取れた修正 修正結果 積極的な修正 さらなる改訂へ 1. データの改訂 2. 画像の質向上に 向けたアーキテク チャ改訂 3. ビジネスゴール の見直し 誤分類データ 安全性解析 要求・ゴール分析 5 Jati H. Husen, Hironori Washizaki, Jomphon Runpakprakun, Nobukazu Yoshioka, Hnin Thandar Tun, Yoshiaki Fukazawa, Hironori Takeuchi, “Integrated Multi- view Modeling for Reliable Machine Learning-Intensive Software Engineering,” Software Quality Journal, pp. 1-51, Springer, 2024.
次世代AI時代のトレンドと高信頼AIソフトウェアシステム開発に向けたフレームワーク＆パターン
まとめと展望 • 技術展望とAI – 次世代AI、生成AI、低消費電力AIアクセラレーター、メタバース – SWEBOK Guideにみるソフトウェアエンジニアリング進展とAI • 機械学習システムのエンジニアリングパターン – 機械学習システム開発にこそ必要: ギャップ、多様な利害関係者 – アーキテクチャ・デザインパターン、論証パターン、プロンプトエンジニアリ ングパターン • AI・機械学習パターンのエンジニアリング – 抽出、検出、適用、組織化、統合 – 領域を超えたパターン言語としての体系へ • 高信頼AI・機械学習システム開発のためのフレームワーク – メタモデル、モデリング・パイプライン統合、パターン組み入れ – AIエンジニアリング・コンティニュアムに向けて 50
51 https://ai-pattern.github.io/

More Related Content

PDF
コンピューティングおよびソフトウェア工学の潮流: IEEE-CS技術予測＆SWEBOK Guideに基づくAI・アジャイル・サステナビリティの展望
Hironori Washizaki
 
PDF
鷲崎弘宜, "AI/LLM時代のソフトウェエンジニアリング", 情報学科・専攻協議会 総会・研究会, 早稲田大学, 2025年7月26日
Hironori Washizaki
 
PDF
新しいソフトウェアエンジニアリングのためのパターンランゲージに向けて
Hironori Washizaki
 
PDF
TERAS Conference
Keiju Anada
 
PDF
設計/アーキテクチャ設計 【クラウドアプリケーションのためのオブジェクト指向分析設計講座 第19回】
Tomoharu ASAMI
 
PDF
2012-04-25 ASPLOS2012出張報告（公開版）
Takahiro Shinagawa
 
PDF
機械学習応用アーキテクチャ・デザインパターン概観
Hironori Washizaki
 
PPTX
企業でのAI開発でAIエンジニアに求められるもの
Hirohito Okuda
 
コンピューティングおよびソフトウェア工学の潮流: IEEE-CS技術予測＆SWEBOK Guideに基づくAI・アジャイル・サステナビリティの展望
Hironori Washizaki
 
鷲崎弘宜, "AI/LLM時代のソフトウェエンジニアリング", 情報学科・専攻協議会 総会・研究会, 早稲田大学, 2025年7月26日
Hironori Washizaki
 
新しいソフトウェアエンジニアリングのためのパターンランゲージに向けて
Hironori Washizaki
 
TERAS Conference
Keiju Anada
 
設計/アーキテクチャ設計 【クラウドアプリケーションのためのオブジェクト指向分析設計講座 第19回】
Tomoharu ASAMI
 
2012-04-25 ASPLOS2012出張報告（公開版）
Takahiro Shinagawa
 
機械学習応用アーキテクチャ・デザインパターン概観
Hironori Washizaki
 
企業でのAI開発でAIエンジニアに求められるもの
Hirohito Okuda
 

Similar to 次世代AI時代のトレンドと高信頼AIソフトウェアシステム開発に向けたフレームワーク＆パターン (20)

PDF
Paradigm shifts in QA for AI products
Yasuharu Nishi
 
PPTX
local launch small language model of AI.
Takao Tetsuro
 
PDF
World IA Day 2013 Japan Opening
World IA Day Japan
 
PDF
機械学習デザインパターンおよび機械学習システムの品質保証の取り組み
Hironori Washizaki
 
PPTX
AIシステムの要求とプロジェクトマネジメント-後半：機械学習応用システムのための 要求工学と安全性
Nobukazu Yoshioka
 
PPT
"The Coming-of-Age of Software Architecture Research" 紹介
Tadayoshi Sato
 
PDF
Iot algyan jhirono 20190111
Hirono Jumpei
 
PDF
Io t，ai時代のソフトウェア
Toshiaki Kurokawa
 
PDF
DSL駆動によるクラウド・アプリケーション開発
Tomoharu ASAMI
 
PDF
しごと能力学会 基調報告: enPiT-Pro スマートエスイー
Hironori Washizaki
 
PDF
ソフトウェア品質技術の歴史を振り返る - ソフトウェア品質測定を中心に -
Keizo Tatsumi
 
PPTX
組込みSW開発技術研究会キックオフミーティング
静岡大学情報学部 組込みシステムアーキテクト研究所
 
PDF
超スマート社会時代のシステム＆ソフトウェア品質知識体系 - SQuBOK 2020 における AI、IoT、クラウド、オープンソース、アジャイル、DevO...
Hironori Washizaki
 
PDF
Samurai CodingなどにみるゲームAIプログラミングコンテストのための原則とパターン
Hironori Washizaki
 
PDF
[ESM_CM セミナー]小さく作って大いに役立つスマートフォンアプリ(CYCLONE)公開用
masashi takehara
 
PDF
SSR平成28年度成果報告会 クラウドを含む複雑なネットワークシステムのためのパターンを中心としたセキュリティ＆プライバシ知識の扱い
Hironori Washizaki
 
PDF
ニューノーマル時代のテストエンジニアへの"food for thought" (JaSST'18 Kansai)
Keizo Tatsumi
 
PPTX
テクノアカデミー郡山 現役ソフトウェアエンジニアが語る。IT の今と未来
Daiyu Hatakeyama
 
PDF
機械学習応用システムのアーキテクチャ・デザイパターン(2020-07 ドラフトバージョン))
HironoriTAKEUCHI1
 
PDF
機械学習工学と機械学習応用システムの開発@SmartSEセミナー(2021/3/30)
Nobukazu Yoshioka
 
Paradigm shifts in QA for AI products
Yasuharu Nishi
 
local launch small language model of AI.
Takao Tetsuro
 
World IA Day 2013 Japan Opening
World IA Day Japan
 
機械学習デザインパターンおよび機械学習システムの品質保証の取り組み
Hironori Washizaki
 
AIシステムの要求とプロジェクトマネジメント-後半：機械学習応用システムのための 要求工学と安全性
Nobukazu Yoshioka
 
"The Coming-of-Age of Software Architecture Research" 紹介
Tadayoshi Sato
 
Iot algyan jhirono 20190111
Hirono Jumpei
 
Io t，ai時代のソフトウェア
Toshiaki Kurokawa
 
DSL駆動によるクラウド・アプリケーション開発
Tomoharu ASAMI
 
しごと能力学会 基調報告: enPiT-Pro スマートエスイー
Hironori Washizaki
 
ソフトウェア品質技術の歴史を振り返る - ソフトウェア品質測定を中心に -
Keizo Tatsumi
 
組込みSW開発技術研究会キックオフミーティング
静岡大学情報学部 組込みシステムアーキテクト研究所
 
超スマート社会時代のシステム＆ソフトウェア品質知識体系 - SQuBOK 2020 における AI、IoT、クラウド、オープンソース、アジャイル、DevO...
Hironori Washizaki
 
Samurai CodingなどにみるゲームAIプログラミングコンテストのための原則とパターン
Hironori Washizaki
 
[ESM_CM セミナー]小さく作って大いに役立つスマートフォンアプリ(CYCLONE)公開用
masashi takehara
 
SSR平成28年度成果報告会 クラウドを含む複雑なネットワークシステムのためのパターンを中心としたセキュリティ＆プライバシ知識の扱い
Hironori Washizaki
 
ニューノーマル時代のテストエンジニアへの"food for thought" (JaSST'18 Kansai)
Keizo Tatsumi
 
テクノアカデミー郡山 現役ソフトウェアエンジニアが語る。IT の今と未来
Daiyu Hatakeyama
 
機械学習応用システムのアーキテクチャ・デザイパターン(2020-07 ドラフトバージョン))
HironoriTAKEUCHI1
 
機械学習工学と機械学習応用システムの開発@SmartSEセミナー(2021/3/30)
Nobukazu Yoshioka
 
Ad

More from Hironori Washizaki (20)

PDF
IEEE-CS Tech Predictions, SWEBOK and Quantum Software: Towards Q-SWEBOK
Hironori Washizaki
 
PDF
AI Software Engineering based on Multi-view Modeling and Engineering Patterns
Hironori Washizaki
 
PDF
SWEBOK Guide and Software Services Engineering Education
Hironori Washizaki
 
PDF
Impact of IEEE Computer Society in Advancing Emerging Technologies including ...
Hironori Washizaki
 
PDF
Landscape of Requirements Engineering for/by AI through Literature Review
Hironori Washizaki
 
PDF
鷲崎弘宜, "高品質なAIシステムの開発・運用のための"フレームワーク", eAIシンポジウム 2025年1月16日
Hironori Washizaki
 
PDF
AI/IoTをベースにしたDX人材育成の産学連携育成, 愛媛県デジタル人材育成シンポジウム, 2024年12月20日
Hironori Washizaki
 
PDF
Impact of IEEE Computer Society in Advancing Software Engineering and Emergin...
Hironori Washizaki
 
PDF
鷲崎弘宜, "機械学習システムの多面的モデリング・パイプライン統合フレームワーク", 第6回 AI/IoTシステム安全性シンポジウム, 2024
Hironori Washizaki
 
PDF
IEEE Software Testing Technology Development Trend
Hironori Washizaki
 
PDF
Opening, 1st International Workshop on Patterns and Practices of Reliable AI ...
Hironori Washizaki
 
PDF
The Global Impact of IEEE Computer Society in Advancing Software Engineering ...
Hironori Washizaki
 
PDF
Overview of ISO/IEC/JTC1 SC7/WG20: Certification of software and systems engi...
Hironori Washizaki
 
PDF
IEEE Computer Society 2025 Vision and Future
Hironori Washizaki
 
PDF
「スマートエスイー」におけるスマートシステム＆サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
Hironori Washizaki
 
PDF
COMPSAC 2024 D&I Panel: Charting a Course for Equity: Strategies for Overcomi...
Hironori Washizaki
 
PDF
SWEBOK and Education at FUSE Okinawa 2024
Hironori Washizaki
 
PDF
Machine Learning Software Engineering Patterns and Their Engineering
Hironori Washizaki
 
PDF
IEEE Computer Society 2024 Technology Predictions Update
Hironori Washizaki
 
PDF
鷲崎弘宜, "国際規格ISO/IEC 24773とその意義", 情報処理学会 第86回全国大会
Hironori Washizaki
 
IEEE-CS Tech Predictions, SWEBOK and Quantum Software: Towards Q-SWEBOK
Hironori Washizaki
 
AI Software Engineering based on Multi-view Modeling and Engineering Patterns
Hironori Washizaki
 
SWEBOK Guide and Software Services Engineering Education
Hironori Washizaki
 
Impact of IEEE Computer Society in Advancing Emerging Technologies including ...
Hironori Washizaki
 
Landscape of Requirements Engineering for/by AI through Literature Review
Hironori Washizaki
 
鷲崎弘宜, "高品質なAIシステムの開発・運用のための"フレームワーク", eAIシンポジウム 2025年1月16日
Hironori Washizaki
 
AI/IoTをベースにしたDX人材育成の産学連携育成, 愛媛県デジタル人材育成シンポジウム, 2024年12月20日
Hironori Washizaki
 
Impact of IEEE Computer Society in Advancing Software Engineering and Emergin...
Hironori Washizaki
 
鷲崎弘宜, "機械学習システムの多面的モデリング・パイプライン統合フレームワーク", 第6回 AI/IoTシステム安全性シンポジウム, 2024
Hironori Washizaki
 
IEEE Software Testing Technology Development Trend
Hironori Washizaki
 
Opening, 1st International Workshop on Patterns and Practices of Reliable AI ...
Hironori Washizaki
 
The Global Impact of IEEE Computer Society in Advancing Software Engineering ...
Hironori Washizaki
 
Overview of ISO/IEC/JTC1 SC7/WG20: Certification of software and systems engi...
Hironori Washizaki
 
IEEE Computer Society 2025 Vision and Future
Hironori Washizaki
 
「スマートエスイー」におけるスマートシステム＆サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
Hironori Washizaki
 
COMPSAC 2024 D&I Panel: Charting a Course for Equity: Strategies for Overcomi...
Hironori Washizaki
 
SWEBOK and Education at FUSE Okinawa 2024
Hironori Washizaki
 
Machine Learning Software Engineering Patterns and Their Engineering
Hironori Washizaki
 
IEEE Computer Society 2024 Technology Predictions Update
Hironori Washizaki
 
鷲崎弘宜, "国際規格ISO/IEC 24773とその意義", 情報処理学会 第86回全国大会
Hironori Washizaki
 
Ad

次世代AI時代のトレンドと高信頼AIソフトウェアシステム開発に向けたフレームワーク＆パターン

  • 1. AI周辺の技術トレンドと高信頼AIソフトウェア システム開発に向けた枠組みとパターン 鷲崎 弘宜 早稲田大学 / 国立情報学研究所 / エクスモーション IEEE Computer Society, 2025 President ISO/IEC/JTC1/SC7/WG20 Convenor IPSJ-SIGSE Chair http://www.washi.cs.waseda.ac.jp/ MLSE夏合宿 2024年7月5日
  • 3. IEEE CS Technology Prediction Team (Chair: Dejan Milojicic)
  • 4. IEEE CS Technology Predictions 技術予測 2023 4 IEEE CS Technology Prediction Team (Chair: Dejan Milojicic) https://www.computer.org/2023-top-technology-predictions 人類への影響よりも成功の確率 の方が高い 人類への影響は成功の可能性よりも高い （投資する価値がある)
  • 5. Remote Healthcare Wearables Generative AI Disinformation detection/correction AI-assisted DevOps Artificial General Intelligence (AGI) 5 IEEE Computer Society (CS) Global Scientists and Engineers Rank 2023 Technology Trend Predictions https://www.computer.org/press-room/scientists-and-engineers-rank-2023- technology-trend-predictions Remote Healthcare & Wearables Generative AI Disinformation detection/correction AI-assisted DevOps Artificial General Intelligence (AGI) IEEE CS Technology Predictions 2023 予測と評価 • A/Bテストに見るもともと の予測に対する評価結果の 突合せ • 生成AIの高成長、COVID関 連技術の減速 予測 Jan 2023 評価 Dec 2023
  • 6. IEEE CS Technology Prediction Team (Chair: Dejan Milojicic)
  • 7. 7 IEEE Future Direction 2023 ＆ IEEE-CS Technology Predictions 2024におけるメガトレンド IEEE CS Technology Prediction Team (Chair: Dejan Milojicic) https://www.computer.org/resources/2024-top-technology-predictions • （汎用）人工知能技 術は社会的、経済的、 生態学的側面と深く 関わっている。 Next Gen AI Generative AI applications Metaverse Low power AI accelerator （汎用）人工知能 サステナビリティ デジタルトランスフォーメーション 生成AI アプリケーション 自動化・ 自律制御 デジタルツイン サステナブルIT 低消費電力AI アクセラレータ 遠隔健康管理 次世代AI メタバース
  • 8. IEEE CS Technology Predictions 2024 技術予測 IEEE CS Technology Prediction Team (Chair: Dejan Milojicic) https://www.computer.org/resources/2024-top-technology-predictions 人類への影響よりも成功の確率 の方が高い 人類への影響は成功の可能 性よりも高い（投資する価 値がある) 成功可能性・人類への 影響のいずれも高い
  • 9. Next Generation AI 次世代AI • 汎用知能: 現在のAIシステムは特殊で狭 い。AGIへの進化には、コンピュータサ イエンス、エンジニアリング、倫理、 さらには哲学に至るまで、学際的な協 力が必要。 • 信頼と説明可能性: AIのブラックボック ス的性質は、信頼の低下を引き起こす 可能性がある。大規模な言語モデルか ら秘密を導き出すことを防ぎ、倫理的 配慮やデータプライバシーに配慮した 技術が必要。 • AIの持続可能性： AIモデルが成長し続 けるにつれ、データセンターへの過剰 な負荷が環境への影響を懸念させる。 モデルの効率化、精度の向上、柔軟性 の向上が鍵となる。 • 人間中心のAI：次世代AIは、共感レベル を高めるなど、人間の能力を高めるこ とに焦点を当てるべきである。 問題・ニーズ IEEE CS Technology Prediction Team (Chair: Dejan Milojicic) https://www.computer.org/resources/2024-top-technology-predictions • ヘルスケア: 患者の転帰を改善し、コストを削 減し、効率を高める。 • 金融: 不正検知、リスク管理、顧客サービス- 小 売 サプライチェーンの最適化、パーソナライズ されたマーケティング、サービス • 製造業: 品質管理の向上、ダウンタイムの削減、 生産の最適化 • 運輸: 安全性の向上、混雑の緩和、ロジスティ クスの最適化 • 実現要因: 広範なデータセットの利用可能性、 コストを下げながらの効率化、AIハードウェア の進歩、新しい生成AIアルゴリズム、言語（画 像、動画）を超えたマルチモーダル。 • 阻害要因: データ・プライバシーの欠如、透明 性の欠如、倫理的人間が作成したコンテンツと AIが作成したコンテンツの区別がつかないこと。 持続的解決・ビジネス機会
  • 10. Generative AI 生成AI • 新課題への柔軟な対応と、需要への適 応力を提供 • 安全性とセキュリティ: 悪用や、 ディープフェイクのような有害なコン テンツの生成に対するセーフガードの 構築が必要 • 頑健性、信頼性、制御性、説明可能性 が欠けており、透明性の高い技術と一 貫性のあるAIモデルが必要。エージェ ントや信頼されるべきアプリにとって 大きな問題。 • 大規模データセットにおけるバイアス とデータ品質の問題、キュレーション が必要 • 高い計算コストにより、モデルの訓練 は、基礎モデルを訓練する余裕のある 少数のプレイヤーに制限 • データのプライバシーと使用に関する 規制の進展により、法的および倫理的 なコンプライアンスの確保が必要 問題・ニーズ IEEE CS Technology Prediction Team (Chair: Dejan Milojicic) https://www.computer.org/resources/2024-top-technology-predictions • 生成AIは、集約的な訓練の必要性を減らすかもしれない • ノー／ローコードへの対応: ジェネレーティブAIはAIの採 用を増やし、新たな収益源を生み出す • 知的財産、サイバーセキュリティ、倫理規範などの課題に 対処するための標準化とベストプラクティスにおけるグ ローバルな協力 • 産学官パートナーシップ: 政府、学界、産業界の緊密連携 • より発生源に近い場所でデータを処理し、待ち時間を短縮 し、応答時間を改善するエッジ・コンピューティングの重 要性が高まる • 実現要因： 新しいMLアプローチ、手頃な価格のAIツール、 オープンモデル、大規模なキュレーションデータセットへ のアクセス、自動化のためのAI統合エージェント • 阻害要因: コンテンツ制作者やIPホルダーへの脅威、人間 が作ったコンテンツと機械が作ったコンテンツの区別の難 しさ、敵対的なアプリケーション、生成AIと人間のコンテ ンツ生成の倫理的な問題、相互運用性の欠如、閉鎖的なモ デル、低品質で偏ったデータセット、高い計算コスト、AI に対する信頼の欠如、規制の負担と変化への抵抗 持続的解決・ビジネス機会
  • 11. Knowledge Area Topic Topic Reference Material Body of Knowledge Skills Competencies Jobs / Roles SWEBOK Software Engineering Professional Certifications SWECOM EITBOK Learning courses 11 Guide to the Software Engineering Body of Knowledge (SWEBOK) https://www.computer.org/education/bodies-of-knowledge/software-engineering • ソフトウェアエンジニアリングにおける「一般に認めら れた知識」を特定し、共通認識を持つよう研究者と実務 家を導く。 • 資格や教育カリキュラムの基礎 • '01 v1、'04 v2、'05 ISO採用、'14 v3、'24 v4間もなく！ SWEBOK Guide V4 (Editor: Hironori Washizaki)
  • 12. Mainframe 70’s – Early 80’s Late 80’s - Early 90’s Late 90’s - Early 00’s Late 00’s - Early 10’s PC, Client & server Internet Ubiquitous computing Late 10’s - Early 20’s IoT, Big data, AI Structured programming Waterfall Formalization Design Program generation Maturity Management Object-oriented Req. eng. Modeling Verification Reuse Model-driven Product-line Global & open Value-based Systems eng. Agile Iterative & incremental DevOps Empirical Data-driven Continuous SE and IoT SE and AI SWEBOK V1 SWEBOK V2 SWEBOK V3 SWEBOK V4
  • 13. SWEBOK Evolution from V3 to V4 • モダンな開発と運用、プラクティス更新、新興領域 Requirements Design Construction Testing Maintenance Configuration Management Engineering Management Process Models and Methods Quality Professional Practice Economics Computing Foundations Mathematical Foundations Engineering Foundations Requirements Architecture Design Construction Testing Operations Maintenance Configuration Management Engineering Management Process Models and Methods Quality Security Professional Practice Economics Computing Foundations Mathematical Foundations Engineering Foundations V3 V4 Agile, DevOps AI for SE, SE for AI Software engineering AI AI for SE SE for AI
  • 14. Mainframe 70’s – Early 80’s Late 80’s - Early 90’s Late 90’s - Early 00’s Late 00’s - Early 10’s PC, Client & server Internet Ubiquitous computing Late 10’s - Early 20’s IoT, Big data, AI GenAI, FM, Autonomous, Quantum, Continuum Late 20’s Structured programming Waterfall Formalization Design Program generation Maturity Management Object-oriented Req. eng. Modeling Verification Reuse Model-driven Product-line Global & open Value-based Systems eng. Agile Iterative & incremental DevOps Empirical Data-driven Continuous SE and IoT SE and AI SE and GenAI SE and QC Sustainability SE for autonomous and continuum AI-assisted DevOps/OpsDev SWEBOK V1 SWEBOK V2 SWEBOK V3 SWEBOK V4
  • 16. ソフトウェア エンジニアリング AI / 機械学習 エンジニアリング 品質 エンジニアリング AIレイヤ・コンティニュアム モデル/ データ システム/ ソフトウェア 社会 AI品質 対策レベル 受動的 予防的 予測的 AI自動化レベル AIコンピューティング コンティニュアム ほぼAIのみ ほぼ人 のみ 人中 心 クラウド エッジ/単 独 エコシステム AIプロセス・ コンティ ニュアム 計画駆動 繰り返し アジャ イル /Dev Ops AI中 心 業務活動 AIエンジニアリング・コン ティニュアムに向けて • 連続性を持ち広範 なAI品質リスクの扱 い • 対策もまた連続性 をもち切れ目なく広 範 • 持続的および体系 的に対処するうえで 必要な次元 Hironori Washizaki and Nobukazu Yoshioka, “AI Engineering Continuum: Concept and Expected Foundation,” 15th International Conference on Information, Intelligence, Systems and Applications (IISA), 2024
  • 17. 機械学習システムの設計例 • スマホが拾った音から楽器の種 類を特定し、その種類に応じた 録音・応答を実現したい。 • しかし、スマホのメモリや性能に は限りがあり、大規模なディープ ラーニング・モデルは搭載できそ うにない。 どうすればよいか？ 17 Pretrained Model • 携帯電話上の小さなモデルが音が楽器 かどうかを判断し、クラウド上の大きな モデルが楽器である場合のみ音の種 類を分類するという2段階予測を使用し よう。 • 大規模モデルには、正確な分類を実現 するために転移学習を採用しよう。 Machine Learning Design Patterns (V. Lakshmanan, et al. 2020) Two-stage predictions 2段階予測 • 課題：エッジデバイスや分散デバイスに デプロイされた場合でも、大規模で複雑 なモデルのパフォーマンスを維持する必 要がある。 • 解決: 利用フローを2つのフェーズに分け 、単純なフェーズのみをエッジで実行する 。 Transfer Learning 転移学習 • 問題：複雑な機械学習モデルの学習に必 要な大規模データセットが不足している。 • 解決: 学習済みモデルの一部のレイヤー を取り出し、重みを凍結して新しいモデル に使用することで、学習させずに同様の 問題を解くことができる。
  • 18. AI・機械学習ソフトウェアエンジニアリングに はパターンが必要！ • 抽象的なパラダイムと具体的なケース／ツール の橋渡し – Know-Why、Know-What、Know-Howの文書化 – 解決と問題の再利用 – 一貫したアーキテクチャの取得 • 関係者間の共通言語 – ソフトウェアエンジニア、データサイエンティスト、ドメ インエキスパート、ネットワークエンジニア、... 18 Paradigm Case Tool FW Instruction ？ ？
  • 19. AI・機械学習ソフトウェアエンジニアリングパターン • アーキテクチャとデザインパターン – MLアプリケーションのためのソフトウェ ア工学パターン[SEP4MLA］ – 機械学習デザインパターン[MLDP］ • 論証パターン – MLシステムのための安全性ケースパ ターン[Safety］ – DNNのためのセキュリティ論証パター ン[Security][Security2] • レスポンシブル（責任ある）AIパター ン – 責任あるAIシステムのデザインパター ン [Responsible] • 開発と管理のプラクティス – ライフサイクルフェーズのプラクティス [Practice][Practice2] • プロンプトエンジニアリングパターン – プロンプト・パターン・カタログと分類法 [Prompt][Prompt2］ 19 [MLDP] V. Lakshmanan, et al., “Machine Learning Design Patterns,” O’Reilly, 2020 [SEP4MLA] H. Washizaki, et al. “Software Engineering Design Patterns for Machine Learning Applications,” IEEE Computer 55(3) 2022 [Safety] E. Wozniak, et al., “A Safety Case Pattern for Systems with Machine Learning Components,” SAFECOMP 2020 Workshop [Security] M. Zeroual, et al., “Security Argument patterns for Deep Neural Network Development,” PLoP 2023 [Security2] M. Mutsche, et al. “Robustness-based Security Case Verification for Deep Neural Networks,” AsianPLoP 2024 [Responsible] Q. Lu, et al., “Responsible-AI-by-Design: a Pattern Collection for Designing Responsible AI Systems,” IEEE Software, 2023 [Practice] M. S. Rahman, et al., “Machine Learning Application Development: Practitioners’ Insights,” Software Quality Journal, 31, 2023 [Practice2] Y. Watanabe, et al., “Preliminary Literature Review of Machine Learning System Development Practices,” COMPSAC 2021 Fast Abstract [Prompt] J, White, et al., “A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT,” arXiv 2302.11382, 2023 [Prompt2] Y. Sasaki, et al., “A Taxonomy and Review of Prompt Engineering Patterns in Software Engineering,” COMPSAC 2024
  • 20. 機械学習アプリケーションのためのSEパターン [Computer’22] • 約40の学術文書とグレー文書から15のパターンを抽出 • 3つのタイプに分類: トポロジー、プログラミング、モデル操作 20 Hironori Washizaki, Foutse Khomh, Yann-Gael Gueheneuc, Hironori Takeuchi, Naotake Natori, Takuo Doi, Satoshi Okuda, “Software Engineering Design Patterns for Machine Learning Applications,” IEEE Computer, Vol. 55, No. 3, pp. 30-39, 2022. (Best Paper Award) Encapsulate ML Models within Rule-based Safeguards ルールベースの安全ガードによる MLモデルカプセル化 • 問題：MLモデルは不安定で、敵対的攻撃、 ノイズ、データドリフトに弱いことが知られて いる。 • 解決: MLモデルによって提供される機能を カプセル化し、決定論的で検証可能なルー ルを用いて、システムに内在する不確実性 に対処する。 Business Logic API Rule-based Safeguard Inference (Prediction) Encapsulated ML model Input Output Rule Explainable Proxy Model 説明可能な 代理モデル • 問題：説明可能な代理MLモデルを 構築しなければならない。 • 解決 説明可能な推論パイプライン を主推論パイプラインと並行して実 行し、予測の違いを監視する。 Input Decoy model Data lake Proxy model (E.g., Decision tree) Monitoring and comparison Reproduce and retraining Production model (E.g., DNN)
  • 21. 実務家における捉え方 [ICSME’20] • 118人の開発者が回答 • 開発者はほとんどのパターンを 知らない。 • ほとんどの回答者が、今後の設 計においてパターンの利用を検 討していると回答した。 • 回答者が再利用によって設計 問題へのアプローチをより組織 化するにつれて、パターンの使 用比率が増加した。 21 Knew it Didn’t know it 0 20 40 60 80 100 120 Data Flows Up, Model Flows Down Secure Aggregation Deployable Canary Model Kappa Architecture for ML Parameter-Server Abstraction Different Workloads in Different Computing… Encapsulate ML models within rule-base… ML Gateway Routing Architecture Lambda Architecture for ML Separation of Concerns and Modularization of… Distinguish Business Logic from ML Models Data Lake for ML Discard PoC code Microservice Architecture for ML ML Versioning Used it Never used it Consider using it Not consider Hironori Washizaki, Hironori Takeuchi, Foutse Khomh, Naotake Natori, Takuo Doi, Satoshi Okuda, “Practitioners’ insights on machine-learning software engineering design patterns: a preliminary study,” 36th IEEE International Conference on Software Maintenance and Evolution (ICSME 2020), Late Breaking Ideas
  • 22. 論証ベース・アシュアランスケース • アシュアランスケース – 構造化された主張、議論、証拠 により、あるシステムが、保証さ れる必要のある特定の品質や 特性を有していることを確信さ せるもの – 安全性、セキュリティ、レジリエ ンス、... • ゴール構造表記法（GSN） – 重要な特性を保証する論拠を可 視化するためのグラフィカルな 表記法 – AIアプリケーションのリスクベー ス評価採用例：UK ICO AI説明可 能性ガイド 22 Jordi Cabot, Goal Structuring Notation – a short introduction https://modeling-languages.com/goal-structuring-notation-introduction/
  • 23. MLセキュリティ論証パターン 23 DNN Secure development argument DNNセキュア開発論証 • 課題：DNNのセキュアな 開発プロセスにおいて、コ ンプライアンスが要求され る。 • 解決: 主張の分解により、 セキュリティ要求の充足を 主張する。 • 例："指定されたロバスト 性は、敵対的な摂動が人 によって認識可能である ことを保証する。" M. Zeroual, et al., “Security Argument patterns for Deep Neural Network Development,” PLoP 2023
  • 24. ML a 24 MLアシュアランス論証パターン (例: DNN Robustness Case Verification DNN頑健性ケース検証) [AsianPLoP’24] Goal (Claim) Solution (Evidence) Strategy M. Mutsche, et al. “Robustness-based Security Case Verification for Deep Neural Networks,” AsianPLoP 2024 モデル検証のた めの入力が適切 モデル検証の 仕組みが適切 訓練モデルのシス テム統合が適切 人が認識できない 敵対的サンプルの 可能性がほぼない 検証済みのデー タセットが代表的 なものである εが、人が認識できる最 小の敵対的摂動を表す 値の制約上 でεが特定さ れている
  • 26. プロンプト（エンジニアリング）パターンとは? ➢ LLMから望ましいアウトプットを得るうえで直面する頻出の問題とその解決のため のプロンプトおよびその対話をまとめたもの 26 Please add new feature to our webapp. Please add new feature to our webapp. This is the document and existing code… + Artifacts 例: Few-shot Prompting User User <Ordinal Output…> LLM <More Desired Output…> LLM プロンプト（エンジニアリング）パターンの整理体系化 Yuya Sasaki, Hironori Washizaki, Jialong Li, Dominik Sander, Nobukazu Yoshioka and Yoshiaki Fukazawa, “A Taxonomy and Review of Prompt Engineering Patterns in Software Engineering,” 48th IEEE International Conference on Computers, Software, and Applications (COMPSAC 2024)
  • 27. 1. S. I. Ross, M. Muller, F. Martinez, S. Houde, and J. D. Weisz, “A Case Study in Engineering a Conversational Programming Assistant’s Persona” 2. A. Gu, T. Mitrovska, D. Velez, J. Andreas, and A. Solar-Lezama, “ObSynth: An Interactive Synthesis System for Generating Object Models from Natural Language Specifications” 3. P. Denny, V. Kumar, and N. Giacaman, “Conversing with Copilot: Exploring Prompt Engineering for Solving CS1 Problems Using Natural Language” 4. J. White et al., “A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT” • 問題：正確さと信頼性のバランスを取るのは難しい • 解決：ユーザー主導のプロンプトのみではなく、役割をシミ ュレートするためにLLMを割り当てるインタラクティブなプ ロンプト 例1: User-Model Collaboration Refinement ユーザ・モデル協調洗練 Complex Task Guide User to Desired Output 27 Persona Game Question From LLM Simulation Interactive Prompt Templates Example from [1]: This is a conversation with Socrates, an eager and helpful, but humble expert automatic AI... Example from [4]: I would like you to ask me questions to achieve X. You should ask questions until this condition is met or to achieve this goal...
  • 28. Complex Task Simple task 1 Simple task 2 Simple task 3 例2: Gradual Execution and Output 段階的実行・出力 28 • 問題：LLMは、推論の限界や入力感度の問題から、複雑なタスクに苦戦することが多 い。ユーザーは、手作業を減らしながら、より多くのコントロールを望んでいる。 • 解決: 連鎖したLLMステップまたは実行可能なスクリプトを使用してタスクを分解し、回 答の品質と透明性を向上させます。 Example: Figure from [1] From: 1.T. Wu, M. Terry, and C. J. Cai, “AI Chains: Transparent and Controllable Human-AI Interaction by Chaining Large Language Model Prompts” 2.J. White et al., “A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT”, Output Automater Pattern
  • 29. 調査と分類体系 • 系統的文献レビュー（SLR） – 対象研究 2023年5月以前 – 初期158編、徹底的なレビューの結果28編を選択 • 26のパターンを特定 – インプロンプト学習アプローチ（5） – インタラクションに焦点を当てた手法（11） – タスクに特化した手法（8） – モデルの最適化 (2) 29 Few-shot Zero-shot Interactive Chain LLM Output APR Code Quality LLM Parameter Specific (for GPT-3.5) Fine-tuning Related (for BERT) 例 Yuya Sasaki, Hironori Washizaki, Jialong Li, Dominik Sander, Nobukazu Yoshioka and Yoshiaki Fukazawa, “A Taxonomy and Review of Prompt Engineering Patterns in Software Engineering,” 48th IEEE International Conference on Computers, Software, and Applications (COMPSAC 2024)
  • 30. パターン の傾向 • 出版傾向 – 時間と共に増加、 Google検索増大よりも 先行 • ソフトウェア開発領域 – ほとんどが構築とテス ト。 – 要求については少な い。 • モデル – Codex, GPT-3シリーズ が中心 30 “Prompt Engineering” trend from Google trends
  • 31. プロンプトエンジニアリングの展望 • モデル制約の扱いからユ ーザー意図重視へ • 2023 Q2: 限られたコンテ キスト長の中で、ユーザー の意図を効率的に伝える 工夫が主 • 現在（2024 Q2）： ユーザ ーの意図や状況がLLMに どれだけ理解されている かに焦点 • 将来： ユーザがより使い やすくなるようなプロンプト エンジニアリング 31 Token Limit by Model and Year
  • 32. 生成AIに基づくソフトウェアエンジニアリングの現状と展望 Generative AI for Effective Software Development (Springer, 2024) • Fundamentals of Generative AI – An Overview on Large Language Models • Patterns and Tools for the Adoption of Generative AI in Software Engineering – Comparing Proficiency of ChatGPT and Bard in Software Development – DAnTE: A Taxonomy for the Automation Degree of Software Engineering Tasks – ChatGPT Prompt Patterns for Improving Code Quality, Refactoring, Requirements Elicitation and Software Design – Requirements Engineering Using Generative AI: Prompts and Prompting Patterns – Advancing Requirements Engineering Through Generative AI: Assessing the Role of LLMs • Generative AI in Software Development: Case Studies – Generative AI for Software Development: A Family of Studies on Code Generation – BERTVRepair: On the Adoption of CodeBERT for Automated Vulnerability Code Repair – ChatGPT as a Full-Stack Web Developer • Generative AI in Software Engineering Processes – Transforming Software Development with Generative AI: Empirical Insights on Collaboration and Workflow – How Can Generative AI Enhance Software Management? Is It Better Done than Perfect? – Value-Based Adoption of ChatGPT in Agile Software Development: A Survey Study of Nordic Software Experts – Early Results from a Study of GenAI Adoption in a Large Brazilian Company: The Case of Globo • Future Directions and Education – Generating Explanations for AI-Powered Delay Prediction in Software Projects – Classifying User Intent for Effective Prompt Engineering: A Case of a Chatbot for Startup Teams – Toward Guiding Students: Exploring Effective Approaches for Utilizing AI Tools in Programming Courses 32 プロンプトパターン 要求工学 AI開発者 開発プロセス コード関連
  • 34. • Problem: … (AI/ML) パターンエンジニアリング • 抽出： 再利用可能なパターンを持つために、繰り返される問題と解決策を識別 し、「新しい」パターンとして定式化 • 検出： ソフトウェアプロセスや製品における「既知の」パターンを検出し、さらな る改善の機会を理解・特定 • 適用： 特定の問題を解決するために、ソフトウェアプロセスと製品にパターンを 選択し、具体化し、展開 • 組織化： パターンの体系（＝言語）を構築するためにパターンを整理 • 統合： パターン指向の開発と管理への統合 34 • Problem: … • Solution: …. AI/ML pattern 抽出 適用 Similar results 検出 Pattern instances 組織化 Process Management 統合
  • 35. Pytorch vs. Keras MLによるMLパターン検出（例: Embeddings） [APSEC’23] 35 Weitao Pan, Hironori Washizaki, Nobukazu Yoshioka, Yoshiaki Fukazawa, Foutse Khomh, Yann-Gaël Guéhéneuc, “A Machine Learning Based Approach to Detect Machine Learning Design Patterns,” APSEC 2023 ERA Embeddings 埋め込み • 問題：関係を維持することが重要 なカーディナリティの高いデータ の扱い・・・ • 解決: 問題に関連する情報が保 存されるように、高カーディナリテ ィデータを低次元空間にマップす ることを訓練・・・
  • 36. MLパターン 検出（つづき） 36 Revised Text-CNN Model Weitao Pan, Hironori Washizaki, Nobukazu Yoshioka, Yoshiaki Fukazawa, Foutse Khomh, Yann-Gaël Guéhéneuc, “A Machine Learning Based Approach to Detect Machine Learning Design Patterns,” APSEC 2023 ERA
  • 37. MLパターン適用: アシュアランス論証パターンの展開例 [AsianPLoP’24] 37 1. パターン候補の特 定と表示 2. 展開前に潜在的 な影響と結果を提 示 3. 選択したパターン を展開 T. Ayukawa, et al., “Machine Learning Design Pattern Application Support,” AsianPLoP 2024
  • 38. Java実装 MLパターン適用: モデル化 (例: “Adversarial Example Defense”) [AsianPLoP’24] Pattern model Application Pattern description Context Model is not trained well… Problem: Model is vulnerable to adversarial samples with intentional noise… Solution: Employ adversarial training … OCL description Java description T. Ayukawa, et al., “Machine Learning Design Pattern Application Support,” AsianPLoP 2024
  • 39. ML a 39 MLパターン適用: 詳細の指定 (例: “DNN Robustness Case Verification”) [AsianPLoP’24] M. Mutsche, et al. “Robustness-based Security Case Verification for Deep Neural Networks,” AsianPLoP 2024 Acceptable (L2 Norm = 2) Unacceptable (L2 Norm = 3) Goal: Robustness >= 2
  • 40. AI architecture patterns IoT design patterns レイヤや側面を超えたパターンランゲージに向けて ...では、この街に多くの人 を呼び込むためには、 小さな広場を中心部に 配置しよう。広場には、 路上カフェを誘致しよう ・・・ 40 https://unsplash.com/photos/EdpbTj3Br-Y https://unsplash.com/photos/GqurqYbj7aU https://unsplash.com/photos/zFoRwZirFvY AI management practices AI assurance argument patterns Governance Responsible AI patterns AI design patterns Small Public Square Street Cafe Opening to the Street
  • 42. ソフトウェア エンジニアリング AI / 機械学習 エンジニアリング 品質 エンジニアリング AIレイヤ・コンティニュアム モデル/ データ システム/ ソフトウェア 社会 AI品質 対策レベル 受動的 予防的 予測的 AI自動化レベル AIコンピューティング コンティニュアム ほぼAIのみ ほぼ人 のみ 人中 心 クラウド エッジ/単 独 エコシステム AIプロセス ・コンティ ニュアム 計画駆動 繰り返し アジャイル / AIOps AI中 心 業務活動 AIエンジニアリング・コン ティニュアムに向けて • 連続性を持ち広範 なAI品質リスクの扱 い • 対策もまた連続性 をもち切れ目なく広 範 • 持続的および体系 的に対処するうえで 必要な次元 Hironori Washizaki and Nobukazu Yoshioka, “AI Engineering Continuum: Concept and Expected Foundation,” 15th International Conference on Information, Intelligence, Systems and Applications (IISA), 2024
  • 43. Business Concerns System Concerns Software Concerns Traditional Software Concerns ML Software Concerns Costs Revenues Stakeholders Integration Safety ML performance Data Quality Model architecture Reliability Experimentative Definitive 43 複数の側面を追跡可能かつ一貫した方 法で扱うには？ => メタモデルに基づくマルチビュー・モ デリング 異なる性質を整合し て扱うには? => パイプライン統 合とMLOps Responsible AI patterns ML patterns ML Safety and security patterns ML architecture and design patterns MLパターンを開発に組み入れるに は？ パターン適用と構成化の支援
  • 44. 機械学習システムのマルチビュー・モデリング [Software Quality J. ’24] ML Canvas AI Project Canvas Safety Case Architectural Diagram (SysML) KAOS Goal Model STAMP/STPA Value MLOps Architecture Goals Safety Argumentation Jati H. Husen, Hironori Washizaki, Jomphon Runpakprakun, Nobukazu Yoshioka, Hnin Thandar Tun, Yoshiaki Fukazawa, Hironori Takeuchi, “Integrated Multi- view Modeling for Reliable Machine Learning-Intensive Software Engineering,” Software Quality Journal, pp. 1-51, Springer, 2024. 44
  • 45. 一貫性・追跡性保証の ためのメタモデル [ICEBE’23] ML Canvas AI Project Canvas Safety Case KAOS Goal Model STAMP/STPA Architecture (SysML) ML workflow pipeline 45 Hironori Takeuchi, Jati H. Husen, Hnin Thandar Tun, Hironori Washizaki and Nobukazu Yoshioka, “Enterprise Architecture-based Metamodel for a Holistic Business – IT Alignment View on Machine Learning Projects,” IEEE International Conference on E-Business Engineering (ICEBE 2023), Best Paper Award Hironori Takeuchi, Jati H. Husenb, Hnin Thandar Tun, Hironori Washizaki, Nobukazu Yoshioka, “Enterprise Architecture-based Metamodel for Machine Learning Projects and its Management,” Future Generation Computer Systems, Elsevier, pp. 1-12, 2024.
  • 47. 道路標識認識の例 街中 高速道路 AIプロジェクトキャンバス MLキャンバス アーキテクチャ設計 データ スキル 出力 価値提案 統合 ステーク ホルダ 顧客 コスト 収益 街中と高速道路とで信頼性・安全性を考慮して 許容可能な認識精度の機械学に基づくシステム をどのように開発、改訂できるか？ Jati H. Husen, Hironori Washizaki, Jomphon Runpakprakun, Nobukazu Yoshioka, Hnin Thandar Tun, Yoshiaki Fukazawa, Hironori Takeuchi, “Integrated Multi- view Modeling for Reliable Machine Learning-Intensive Software Engineering,” Software Quality Journal, pp. 1-51, Springer, 2024.
  • 48. 48 機械学習モデルA モデルB モデルC 分類の性能評価 安全性・信頼性論証 誤分類データ 修正に向けた選択 バランスの取れた修正 修正結果 積極的な修正 さらなる改訂へ 1. データの改訂 2. 画像の質向上に 向けたアーキテク チャ改訂 3. ビジネスゴール の見直し 誤分類データ 安全性解析 要求・ゴール分析 5 Jati H. Husen, Hironori Washizaki, Jomphon Runpakprakun, Nobukazu Yoshioka, Hnin Thandar Tun, Yoshiaki Fukazawa, Hironori Takeuchi, “Integrated Multi- view Modeling for Reliable Machine Learning-Intensive Software Engineering,” Software Quality Journal, pp. 1-51, Springer, 2024.
  • 50. まとめと展望 • 技術展望とAI – 次世代AI、生成AI、低消費電力AIアクセラレーター、メタバース – SWEBOK Guideにみるソフトウェアエンジニアリング進展とAI • 機械学習システムのエンジニアリングパターン – 機械学習システム開発にこそ必要: ギャップ、多様な利害関係者 – アーキテクチャ・デザインパターン、論証パターン、プロンプトエンジニアリ ングパターン • AI・機械学習パターンのエンジニアリング – 抽出、検出、適用、組織化、統合 – 領域を超えたパターン言語としての体系へ • 高信頼AI・機械学習システム開発のためのフレームワーク – メタモデル、モデリング・パイプライン統合、パターン組み入れ – AIエンジニアリング・コンティニュアムに向けて 50