Integral Technology 第2回ユーザカンファレンス〜すべてをクラウドで解析するための方法〜

Integral Technology 第２回ユーザー会
ここまできた Cloud HPC ~ All Cloud 解析を目指して ~
Rescale Japan 株式会社
Solution Architect 長尾太介
May 15th, 2017

自己紹介
• 長尾太介 (Daisuke Nagao)
• 職歴
– 精密機器メーカ (粉体シミュレータの開発、スパコン環境の導入・管理)
– NVIDIA Japan: Cloud Service Provider 向けの BD
– Rescale Japan: 2016年7月にソリューションアーキテクトとしてJoin
• コミュニティー
– JAWS-UG HPC専門支部(コアメンバ)
– JAWS-UG AI (コアメンバ)
2

サンフランシスコ(本社), 東京オフィス
300%+ annual growth
SaaS タイプの Cloud HPCを提供 (設計者対象)
36+ global data centers, 200+ simulation
apps
Company
Technology
Customers
Investors
100+ Leading Global 2000 Enterprises
Peter ThielJeff Bezos Richard Branson
Rescale - Company Overview
3

On-Premise 型 (社内設備)
IaaS 型
SaaS 型
Build
左記を解決する手段
として, SaaSタイ
プが注目されている
なぜ SaaS Type Cloud HPC なのか ?
5
• 導入まで長いリードタイム
• 維持・管理に多大な工数
• システム変更が困難
• 低い稼働率 or 多数のジョブ待ち
• HPC 環境の構築と維持
• アプリケーションのインストール
• クラウドベンダロック
インストール環境構築
マシンの監視
IaaS

GUISoftwareHardware
設計者の視点で設計された、シンプルかつ効果的な
User Interface
マルチクラウドを実現、インフラは完全に抽象化
200+ のアプリケーションがすでにインストール
• パラメータスタディースタディー機能
• ワークフローの保存・コピー・共有が簡単
• VDIも統合化、計算結果をダウンロードする必要がない
• APIによる操作が可能、Deep Learning 用でJupyterも利用可能
• アプリケーションのインストール作業不要
• 30程度のアプリは従量課金で利用可能 (OSS除く)
• 高速に動かすためのノウハウが詰め込まれている
• アジリティー/スケーラビリティー
• アプリケーションに応じて最適なインフラを選択 (インフィニバ
ンド / GPU 利用可能)
9
Rescale の特徴・メリット (GUI/SW/HW)
Private Cloud

GUI
≈≈≈≈
SWHW
≈
Browser Deep Learning
Rescale の全体像
https://twitter.com/rescaleJapan
CAE/CFD/SIMULATION
Private Cloud
RestAPI jupyter
Caffe
Remote
Desktop

GUI
≈≈≈≈
SWHW
≈
Browser Deep Learning
Rescale の全体像
https://twitter.com/rescaleJapan
CAE/CFD/SIMULATION
Private Cloud
jupyter
Caffe
Remote
Desktop
ユーザさまはシステムの維持・管理の必
要はありません
• On-Premise, IaaS HPC の課題を解決
RestAPI

HOW IT WORKS： AWSコアタイプを使って計算を実行をしたときの動作
9
Time
Loadaverage
インスタンス起動
HPCクラスタ構築
アプリケーションの実行
クラスタの削除
ファイルステージング
データの復号化
データの暗号化
ファイルステージング
SubmitJob
必要なときに必要な分だけ HPC Clusterを利用可能
この動作をすべて自動で実施し、ユーザは意識する必要はありません
ソルバー実行中
マシンイメージ Cloud Storage (S3)
EBS
Incetances

PERFORMANCE
STREAM & SCRYU/Tetra
10

MODEL: ソフトウェアクレイドルさま製品カタログのモデルを利用
http://www.cradle.co.jp/images/products/JP_ProductGuide.pdf
7000 万要素 7400 万要素
STREAM SCRYU/Tetra
Rescale Confidential

Computing Environment
12
Rescale (Onyx) On-Premise
CPU Intel Xeon E5-2666 v3 (Haswell),
2.9 GHz, 25 MiB cache, 10 cores * 2 CPU
(user は 9cores * 2 CPU 利用可能)
Intel Xeon E5-2697 v3 (Haswell) ,
2.60 GHz, 35 MiB cache, 14 cores * 2 CPU
Memory NON-DISCLOSURE DDR4-2133MHz, 8GB * 8
Interconnec
t
10GEthernet Infiniband (FDR 56 Gbps)
OS Linux (Redhat 系)
(Linux Kernel: 3.14.48-33)
Red Hat Enterprise Linux Server release
6.5
HTT ON ? (おそらくOFF)
Infiniband の有無がもっとも大きな差。Memoryは IaaS ベンダーが非公開

Performance: STREAM & SCRYU/Tetra on Rescale
13
0
50
100
150
200
0 50 100 150 200 250 300
RelativeSpeed[a.u.]
# MPI Procs
on-premise
Rescale(Onyx)
SCRYU/TetraSTREAM
On-Premise の Single Core の計算速度を”1”とし, Rescale(Onyx)と比較した
よく利用されるMPIプロセス数が50近辺では、IBを有するオンプレと遜色ないパフォーマンスを得た
0
50
100
150
200
0 50 100 150 200 250 300
RelativeSpeed[a.u.]
# MPI Procs
on-premise
Rescale(Onyx)

CLOUD HPC 活用術
最近の傾向と対策: Pre/Postまでの一気通貫解析を目指して
14

Cloud HPC による設計業務変革
15
Number of JOBs
Numberofcores
1 10 100 1000
1
10
100
1000
WS
On-Premise
HPC
Cloud HPC
- Workstationで設計をしていた設計者自分で積
極的にHPCへ
- クラウドの特徴を活かしてケース数が増加、
自らパラメータスタディーへ
「パラメータスタディー」, 「最適設計手法利用」の当たり前化
クラウドを使うことで、システムを所有せず大量の計算を実行できる

Cloud の Scalability をつかいこなすには？
Cloud HPC の特徴
• 誰でも簡単に
• 必要な時 (Agility)
• 必要な量 (Scalability)
Cloud の Scalability を活かすポイント
16
Job1
Job2
Job3
Job4
Job1 Job2 Job3 Job4
On-Premise Cloud
10TB
run auto_mesh
データ転送を極力しない努力プリ/ポストの自動化ワークフロー/データの管理
従量課金のため同時に計算しても料
金は変わらない
Solver
データ転送
Pre/Post
Time
データ管理
Rescaleを利用したとしてもユーザさまが頑張らざるを得ない
落とし穴
Time Time

データ転送を極力しない
• データ転送に時間/費用が必要
– 専用線をひいたが、50GB のデータのダウンロードに数時間必要 100 Cases だと 5.0TB.....
– 計算結果を社内ネットワークを経由することに対し、情報システム部門が NG を出すはず
• クラウド内の同一リージョン内のデータ転送は高速 (データ転送量も無料か安価)
– Post処理もクラウドで実施することを考える。クラウド内のデータ転送に留める
– 業務全体を考慮して、システム全体のアーキテクチャーを良く考える
17
低速(有料) 高速(無料)
10TB

お客さま事例:データ転送課題の対策:
18
Remote Desktop
(生データは通らない)
User (社内)
Customer AWS
専用線
DATA 転送(高速)
User (社内)
結果は生データの1/10 以下にしてDL
不可逆圧縮ツール (FEMZIP)
ソルバー実行
3D -> 2D 変換 (FieldView)
Pre/Post
Input Files
インターネットを経由せずデータ転送が可能
License Server
数時間のデータ転送が、10分程度へ

19
専用線接続ソリューション

プリ・ポスト自動化による効率化
プリ・ポストがボトルネックにならないトータルのワークフローを検討する
• Pre Process: 人海戦術に頼らない処理が多ケース時代に必要
– 実行場所は On-premise で大丈夫なことも多い (まずは自動化し Cloud 適用を考える)
– Integral Technology さまの技術はクラウド時代に非常に相性が良い。形状をパラメータとして触れ
る
• Post Process: クラウド内でPost処理を簡潔する
– 実行場所は、可能な限りクラウドで
– 「可視化」「データの抽出」もバッチ処理
– データハンドリング力が必要。シェル芸、Python…. ができると便利
20
run auto_mesh
On-premise Cloud
Pre DEFAULT Meshing 負荷が大きい時
Post DATAサイズ, ネットワークを考慮 DEFAULT
Cloud 解析におけるプリポスト

お客さま事例: STAR-CCM+
21
*.sim
Solver
auto-mesh.java
calccreate Mesh
• 特性値(ほしい物理量)をリアルタイムで観察できるようMonitorが設置
されている
• 定期的に画像に出力させている
JAVAのMACROファイルを設定
• mesh生成方法がjavaで記載
• Pre側でGUIから自動生成可能
User (社内)
特定の場所の流量、トルクがモニター管理の面でも画像にだすのは便利
Rescaleは、Webserviceなので、画像との相性もよい。クリックすることで確認可能
img calc img calc img

DEMO
Rescale のパラメータスタディー機能(DoE) を利用する
22

使用する機能概要DEMO: STREAM on Rescale (パラメータスタディー機能を使ってみよう)
23
入力 (境界条件)
流入速度: 8 cases
CPUの発熱量: 4 cases
(8 x 4 = 32 cases)
出力ｓ
CPUの温度
結果の表示
流入速度,
CPU発熱量
(3) 32 Cases 分
のパラメータ
セットを定義
(4) 境界条件を設定する
ファイルをテンプレート
としてアップロード
一度のワークフローで複数の計算ができます
(1) 実験計計画法を選択
(パラメータスイープ機
能)
CPUの発熱 [W]
筐体の冷却モデル
vs CPU温度
CPU温度
32 Cases
(2) Upload your
Input Files
冷却用空気の速度
[m/s]
(5) SW/HWの選択/設定
(6) 計算結果からCPU温度
を抽出用スクリプトを設定

パラメータスタディー機能つかいこなしのポイント
24
パラメータリスト
run1
run2
run3
result1
result2
result3
#/bin/sh
VAL=$(grep
“accuracy” ./log | awk
‘{print $2}’)
printf
"%st%sn" ”ACCURAC
Y" "${VAL}"
入力(Input) 出力(Output)

Rescale で DoE (パラスタ) をうまくするために・・・
25
Pre Solver Post
クラウド内でバッチ実行する
ことを検討
On-premiseかCloudか
実行場所を検討
できるだけバッチ実行するこ
とを検討
何をダウンロードするのかを検討
ソルバーへデータを渡す方法
Postにデータを渡す方法

最適化ツールとの連携
Recently, It is easy to use optimization tools and provides good UX.
26

Rescale CLI/API を使った最適設計ツールとの連携
27
Pre Process tools
e.g.
On-premise (Local system) Rescsale
各種ソルバー
Input Files
最低限のデータ
最適化ツールは目的関数を設定するためダウンロードする結果が絞りこまれクラウド向きのワークフローになる
JOB 2
JOB 1
JOB 3
JOB 4
Front-End
Rescale
CLI
Rescale
API
複数のHPCクラス
タを構築

事例: 最適化ツールで実際に使われ始めている Rescale CLI/API
28

INTEGRAL TECHNOLOGY さまとの協業
29

Integral TechnologyさまとRescale の次のステップ(構想)
30
CAD
mesher
e.g.
Rescale
CLI
Rescale
API
On-premise / Remote Desktop on Cloud Rescale
Input Files
CAD確認用データ
クラウドのスケーラビリティーを使い、メッシュ作成自体を短縮化
部材A: 4 cores
部材B: 2 cores
部材C: 8 cores
部材D: 4 cores
Solve
r

まとめ
• クラウド化により、プリ・ポストの自動化はますます重要になる (多ケース対応、Data転送問題)
• (1) 最小限のデータ転送設計、(2) プリ・ポストの自動化/バッチ化、(3) データ管理が重要になる。
そのうち(1), (2)はお客さま自身の工夫・判断が必要
• Integral Technology さまのツールによる mesh 作成自動化は、一気通貫のクラウド解析が狙えると
考えている
• mesh 作成自体もクラウドのスケーラビリティーを利用し加速することができる
10TB
run auto_mesh
データ転送を極力しない努力プリ/ポストの自動化ワークフロー/データの管理
Solver
データ転送
Pre/Post
Time
データ管理

Integral Technology 第2回ユーザカンファレンス〜すべてをクラウドで解析するための方法〜

More Related Content

What's hot (20)

Similar to Integral Technology 第2回ユーザカンファレンス〜すべてをクラウドで解析するための方法〜 (20)

More from Rescale Japan株式会社 (12)