![Cooperative VM Migration (1/2)
• 準仮想化I/Oは性能オーバヘッド⼤大
• PCIパススルー使⽤用時の性能は物理理マシンに匹敵
➡ しかし、VMマイグレーションが不不可能
KVM (IB) KVM (virtio)
300
BMM (IB) BMM (10GbE) VM1
VM1
KVM (IB) KVM (virtio)
250
Guest OS
Guest OS
Execution time [seconds]
200 Physical Guest
driver
driver
150
100 VMM
VMM
50 Physical
driver
0
BT CG EP FT LU
The overhead of I/O virtualization on the NAS IB QDR HCA
10GbE NIC
Parallel Benchmarks 3.3.1 class C, 64
processes. BMM: Bare Metal Machine
8](https://image.slidesharecdn.com/jpgrid-20121130-121130035215-phpapp01/85/IEEE-eScience-2012-8-320.jpg)
![Cooperative VM Migration (2/2)
• 協調型VMマイグレーションを提案
– マイグレーション時のみ、VMMバイパスI/Oを着脱
– VMMとゲストOS内のアプリケーション（MPIラン
タイム）との協調動作
1400
linkup postcopy migration
通常動作時は
Execution time [seconds]
1200 hotplug precopy migration
+105 s
オーバヘッド無し application
1000 +103 s
800
+97 s
600
+299 s
400
マイグレーションのオーバヘッドは
200
メモリフットプリントに依存
0
baseline precopy postcopy baseline precopy postcopy baseline precopy postcopy baseline precopy postcopy
BT CG FT LU
9](https://image.slidesharecdn.com/jpgrid-20121130-121130035215-phpapp01/85/IEEE-eScience-2012-9-320.jpg)
![(Data) Provenance
• 仏語で“source”や“origin”の意味
• 科学や古⽂文書の分野では重要な概念念だった
– 実験結果の再現性や妥当性の保証。歴代の所有者。
• 近年年、計算機（クラウド）上で扱うデータの
Provenanceの重要性が認識識されはじめている
– OSやストレージレベルではファイルに対する「メタデータ」で
あり、これを⾃自動的に記録、管理理するシステムの提案。
c.f., Provenance-‐‑‒aware storage system [USENIX06]
– ワークフローでのデータ処理理の過程を記録し、実験結果の再現
性や検証を可能にする試み。c.f., Provenance and Scientific
Workflows [SIGMOD08]
• 課題
– 膨⼤大なProvenance情報をいかに解析するか？
– 標準化：Open Provenance Model, W3G XG-‐‑‒Prov
10](https://image.slidesharecdn.com/jpgrid-20121130-121130035215-phpapp01/85/IEEE-eScience-2012-10-320.jpg)
IEEE eScience 2012および併設ワークショップ報告
- 1. IEEE eScience 2012 および併設ワークショップ報告 高野 了成 産業技術総合研究所 情報技術研究研究部門 2012年11月30日 第36回グリッド協議会ワークショップ@秋葉原
- 2. eScienceとは？ • 「インターネットによって可能となった世界規模の 共同によって遂⾏行行されつつある⼤大規模な学術活動」 -‐‑‒-‐‑‒ 英国NeSC – 2000年年ごろから提唱。グリッド、サイバーインフラスト ラクチャ（CI）とほぼ同義 • 「第4のパラダイム」-‐‑‒-‐‑‒ Jim Gray (Microsoft) – データ集約的計算 Science Paradigms T empirical Science natural phenomena describing Data intensive Experimental Theoretical Computational Paradigm (eScience) theoretical 2 using models, generalizations 4 2 = K 3 2 computational simulating complex phenomena T data exploration 2
- 3. IEEE eScience 2012概要 • ⽇日時・場所：2012年年10⽉月8〜～12⽇日 ⽶米国シカゴ • 会議のスコープ：eScienceアプリケーション、 基盤ソフトウェア • 参加者：約250名？ • 採択率率率：30% (48/160) • 併設イベント： – Microsoft eScience workshop – IEEE eScience併設ワークショップ 5件 • Collaborative research using eScience infrastructure and high speed networks (NESC) – OGF36 – GLIF 3
- 4. Microsoft eScience workshop • 今年年で9回⽬目の開催 • Jim Gray Award: Antony John Williams (Royal Society of Chemistry) • 科学者のためのクラウド – 課題：アプリの容易易な構築、セキュリティ、ガバナンス – 科学のロングテール分野（環境、経済、ソーシャル）はサイロ化 する傾向があるので⽀支援が必要 e.g., 欧州FP7 VENUS-‐‑‒C • ビッグデータ – データの相互互換性 • e.g., OData、OGC – データサイエンティスト • 2019年年までに190,000⼈人のデータサイエンティストが不不⾜足する -‐‑‒-‐‑‒ McKinsey • ビジネス系と科学系の違い 4
- 5. NESC workshop • eScience基盤ソフトウェアと⾼高速ネットワークを⽤用いた 共同研究に関するワークショップ • 主な参加者は、⽶米国ESnet、欧州SURFnetなど、ネット ワークテストベッド運⽤用機関 • “Scientific Workflows using Dynamically Provisioned High-‐‑‒Speed Circuits” (⽶米国UNC-‐‑‒CH) – ORCA/ExoGENIがらみのインタークラウドネタ。 • “Evaluation of RoCE over a 40 Gbps Transcontinental Layer-‐‑‒2 Circuit” (⽶米国LBNL) – ESnetのANI 100Gテストベッドを⽤用いたRDMA over Converged Ethernetの性能評価 – ここ数年年のSCでも広域RDMAの発表がある 5
- 6. IEEE eScience 2012 • 基調講演: 4件 – “Mythbusting Knowledge Transfer with nanoHUB.org: A software as a service cloud focused on end-‐‑‒to-‐‑‒end application users, application developers, and 24/7 service”, Gerhard Klimeck – “Dark Matter, Public Health, and Scientific Computing”, Gregory Wilson – “The Reality of Reproducibility of Computational Science”, Carole Goble – “Predictability and Understanding of Our Climate Risk: Approximations, Bugs and Insight”, Leonard Smith • パネル: 2件 – Designing and Operating Cities using Open Data – Funding Agency Plan • ⼀一般講演: 15セッション – Workflow 1/2, Ecology, Process of eScience, Workflow and the Users, Applications and Data, Technologies, Data Provenance, Biology, Semantics, Data Mining and Machine Learning, Runtime and Middleware, Data Infrastructure, Data Access and Management, Application Systems and Frameworks 6
- 7. Runtime and Middleware • "P*: A Model of Pilot-‐‑‒Abstractions", Andre Luckow, et. al. – 分散CI環境におけるパイロットジョブの相互運⽤用のためのAPIを提案 – XSEDE、EGIテストベッド上のCondor-‐‑‒GやPBSにPilot API経由でジョブを投⼊入 • "MARISSA: MApReduce Implementation for Streaming Science Applications", Elif Dede, et. al. – 科学技術アプリ向けMapReduce処理理系。Hadoop Streamingとの性能⽐比較 – Condorのようなジョブスケジューラとの違いは何か？ • "Cooperative VM Migration for a Virtualized HPC Cluster with VMM-‐‑‒Bypass I/O devices", Ryousei Takano, et. al. – InfinibandなどVMMバイパスI/Oデバイスを利利⽤用するVMでもマイグレーションや チェックポイント・リスタートを可能にする機構の提案 • "Using Promethee Methods for Multi-‐‑‒Criteria Pull-‐‑‒based Scheduler on DCIs", Mircea Moca and Gilles Fedak – 電⼒力力や価格など複数の異異なる基準を有するCIが存在する場合の（オンプレミスで の電⼒力力消費と商⽤用クラウドの使⽤用料料⾦金金）、ジョブスケジューリング⼿手法の提案 7
- 8. Cooperative VM Migration (1/2) • 準仮想化I/Oは性能オーバヘッド⼤大 • PCIパススルー使⽤用時の性能は物理理マシンに匹敵 ➡ しかし、VMマイグレーションが不不可能 KVM (IB) KVM (virtio) 300 BMM (IB) BMM (10GbE) VM1 VM1 KVM (IB) KVM (virtio) 250 Guest OS Guest OS Execution time [seconds] 200 Physical Guest driver driver 150 100 VMM VMM 50 Physical driver 0 BT CG EP FT LU The overhead of I/O virtualization on the NAS IB QDR HCA 10GbE NIC Parallel Benchmarks 3.3.1 class C, 64 processes. BMM: Bare Metal Machine 8
- 9. Cooperative VM Migration (2/2) • 協調型VMマイグレーションを提案 – マイグレーション時のみ、VMMバイパスI/Oを着脱 – VMMとゲストOS内のアプリケーション（MPIラン タイム）との協調動作 1400 linkup postcopy migration 通常動作時は Execution time [seconds] 1200 hotplug precopy migration +105 s オーバヘッド無し application 1000 +103 s 800 +97 s 600 +299 s 400 マイグレーションのオーバヘッドは 200 メモリフットプリントに依存 0 baseline precopy postcopy baseline precopy postcopy baseline precopy postcopy baseline precopy postcopy BT CG FT LU 9
- 10. (Data) Provenance • 仏語で“source”や“origin”の意味 • 科学や古⽂文書の分野では重要な概念念だった – 実験結果の再現性や妥当性の保証。歴代の所有者。 • 近年年、計算機（クラウド）上で扱うデータの Provenanceの重要性が認識識されはじめている – OSやストレージレベルではファイルに対する「メタデータ」で あり、これを⾃自動的に記録、管理理するシステムの提案。 c.f., Provenance-‐‑‒aware storage system [USENIX06] – ワークフローでのデータ処理理の過程を記録し、実験結果の再現 性や検証を可能にする試み。c.f., Provenance and Scientific Workflows [SIGMOD08] • 課題 – 膨⼤大なProvenance情報をいかに解析するか？ – 標準化：Open Provenance Model, W3G XG-‐‑‒Prov 10
- 11. 雑感 • クラウドはeScienceの基盤になりつつある – オンプレミスのクラスタ・スパコンからクラウドへの マイグレーションパスをちゃんと考える必要がある • 基盤ソフトウェア系のセッションでは、⽬目新しい 発表はなかったが、全体としてワークフロー関係 の発表が⽬目⽴立立った – MapReduceの登場により、関連分野が盛り上がる？ – （グリッドを彷彿させる）ヘテロな分散環境を使って 計算というのはどれほど現実的なのか？ – Data Provenanceを含め、まだネタは残っている 11