LAMMPS クラウド活用勉強会説明資料(Rescale編) 2017/01/24
0 likes922 views
ハンズオンで使用した Input File 等は下記リンクからDownloadしてください。 http://qiita.com/daikumatan/private/426d2783338d6dff3271
![Rescale Confidential24
APIによる File Upload
• curl コマンドで API をキック
• REST API のため URL で操
作します
• Rescaleへの認証/認可のため
Token情報がいる
[NOTE] API Key が必要にな
るため、ジョブの共有はNG](https://image.slidesharecdn.com/2017-01-24-lammps-170125074348/85/LAMMPS-Rescale-2017-01-24-24-320.jpg)
![Rescale Confidential32
[補⾜] jq はシェルで JSONを取り扱うとき便利
変数 str の中⾝が json形式のときどちらが⾒やすい？
$ echo $str $ echo $str | jq .](https://image.slidesharecdn.com/2017-01-24-lammps-170125074348/85/LAMMPS-Rescale-2017-01-24-32-320.jpg)
![Rescale Confidential33
[補⾜] jq はシェルで JSONを取り扱うとき便利
$ echo $str |
jq .storage.connectionSettings
$ echo $str | jq .](https://image.slidesharecdn.com/2017-01-24-lammps-170125074348/85/LAMMPS-Rescale-2017-01-24-33-320.jpg)
LAMMPS クラウド活用勉強会説明資料(Rescale編) 2017/01/24
- 1. Rescale Confidential1 LAMMPSクラウド活⽤勉強会 Rescale Japan 株式会社 Solution Architect ⻑尾 太介 (Daisuke Nagao) Jan 24, 2017
- 2. ⾃⼰紹介 • ⻑尾 太介 (Daisuke Nagao) • 職歴 – 富⼠ゼロックス(粉体シミュレータの開発、スパコン環境の導⼊・管理) – NVIDIA Japan: Cloud Service Provider 向けの BD – Rescale Japan: 7⽉にRescale東京オフィスオープンと同時にプリセールスエ ンジニアとしてJoin • コミュニティー – OpenCloudHPC (主催) – JAWS-UG HPC専⾨⽀部, JAWS-UG AI (コアメンバ) – JAWS-UG CLI (いつもお世話になっておりますー) 2
- 3. On-Premise 型 IaaS 型 SaaS 型 • 導⼊まで⻑いリードタイム • 維持・管理に多⼤な⼯数 • システム変更が困難 • 低い稼働率 or 多数のジョブ待ち • HPC 環境の構築と維持 • アプリケーションのインストール • クラウドベンダロックされ最適な環境が 使えないケースあり (GPU, Infinibandな ど) APPS s IaaS Build 左記を解決する⼿ 段として, SaaSタイ プが注⽬されてい る 5 なぜ SaaS Type Cloud HPC なのか ?
- 5. GUISoftwareHardware マルチクラウドを実現、インフラは完全に抽象化 9 Rescale の特徴・メリット (HW) • アジリティー/スケーラビリティー • アプリケーションに応じて最適なインフラを選択 (インフィニ バンド / GPU 利⽤可能) Private Cloud
- 6. GUISoftwareHardware マルチクラウドを実現、インフラは完全に抽象化 180+ のアプリケーションがすでにインストール 9 Rescale の特徴・メリット (SW/HW) • アプリケーションのインストール作業不要 • 30弱のアプリは従量課⾦で利⽤可能 (OSS除く) • ⾼速に動かすためのノウハウが詰め込まれている • アジリティー/スケーラビリティー • アプリケーションに応じて最適なインフラを選択 (インフィニ バンド / GPU 利⽤可能) Private Cloud
- 7. GUISoftwareHardware 設計者の視点で設計された、シンプルかつ効果的な User Interface マルチクラウドを実現、インフラは完全に抽象化 180+ のアプリケーションがすでにインストール • パラメータスタディースタディー機能 • ワークフローの保存・コピー・共有が簡単 • VDIも統合化、計算結果をダウンロードする必要がない • APIによる操作が可能、Deep Learning ⽤でJupyterも利⽤可能 • アプリケーションのインストール作業不要 • 30弱のアプリは従量課⾦で利⽤可能 (OSS除く) • ⾼速に動かすためのノウハウが詰め込まれている • アジリティー/スケーラビリティー • アプリケーションに応じて最適なインフラを選択 (インフィニ バンド / GPU 利⽤可能) 9 Rescale の特徴・メリット (GUI/SW/HW) Private Cloud
- 8. GUI ≈≈≈≈ SWHW ≈ Browser Deep Learning Rescale の 全体像 https://twitter.com/rescaleJapan CAE/CFD/SIMULATION Private Cloud APIJupyter Caffe
- 9. GUI ≈≈≈≈ SWHW ≈ Browser Deep Learning Rescale の 全体像 https://twitter.com/rescaleJapan CAE/CFD/SIMULATION Private Cloud APIJupyter Caffe ユーザさまはシステムの 維持・管理の必要はありません è On-Premise, IaaS HPC の 課題を解決
- 10. Rescale Confidential10 基本操作は 3STEP: SaaS なのでHW も SW も管理不要 10 STEP1 Upload Files (1) ファイルを選択 STEP2 (2) Setup a application (180+) アプリケーションの選択 実⾏コマンドの⼊⼒ STEP3 (3) Select a core type HWを選択 (AWS, Azure, Softlayerなど意識する必要なし)
- 11. Rescale Confidential11 使用する機能概要 パラメータスタディー機能の利⽤ 11 OpenFOAM による⾶⾏機の⽻の計算(11 x 4 = 44 cases) y_velocity (⾵速 4 パラメータ) x_velocity (11パラメータ) ユーザが抽出した特性値をグラフとして表⽰可能 11 x 4 = 44 ケース分の パラメータセット作成 パラメータセットを反映 させるテンプレートをア ップロード ⼀度のワークフローで複数の計算ができます 計算結果から特性値を抽出 実験計計画法を選択 (パラメータスイープ機 能) ファイルのアップロード SW/HWの設定
- 12. Rescale Confidential12 パラメータスタディー機能つかいこなしのポイント 12 パラメータリスト run1 run2 run3 result1 result2 result3 #/bin/sh VAL=$(grep “accuracy” ./log | awk ‘{print $2}’) printf "%s¥t%s¥n" ”ACCUR ACY" "${VAL}" ⼊⼒(Input) 出⼒(Output)
- 13. Rescale Confidential13 Interactiveな操作 Remote Desktop (Paraview, ensight) Jupyter notebook (Python、Shell操作) 永続クラスタ (DEBUG、ポスト処理) Beta version
- 14. Rescale Confidential14 HOW IT WORKS
- 15. Rescale Confidential15 Submit Job Upload Input Files Calc-Result API or Kick the submit node. Start the remote-desktop Input File Run Instance for Desktop Calc-Result Start desktop-service Operation from desktop クラウド BackendClient Submit Job Visualizati on w/ Remote DeskTop Object Storage (Cloud) 安価・高信頼 容量を気にしない 14 Private Cloud
- 16. Rescale Confidential16 Rescale で LAMMPS を 使う • インストール済みのLAMMPSを使う • 好きなパッケージを⼊れ、コンパイルして LAMMPS を使う(本⽇内容)
- 17. Rescale Confidential17 Rescale で LAMMPS を 使う • インストール済みのLAMMPSを使う • 好きなパッケージを⼊れ、コンパイルして LAMMPS を使う(本⽇内容)
- 18. Rescale Confidential18 Overview / Deep Dive LAMMPS on Rescale 2STEPで LAMMPS on Rescale を使いこなす STEP1 STEP2 Rescale Storage (デフォルトではAWS S3) lmp_mpi の⾃動保存 少ないコア数で ジョブ投⼊ 使いたい時に使 いたいだけ起動 Input files Output files Input files Output files 任意のパッケージで コンパイル 解析実⾏ クラスタ 起動 クラスタ 削除 クラスタ 起動 クラスタ 削除 クラスタの起動/削除, ファイルのステージングは⾃動で⾏われます
- 20. Rescale Confidential20 Rescaleを安価に使うには・・低優先度ジョブ Background • メリット) データセンタの空きを利⽤してインスタンスを安価に利⽤する⽅法 • リスク) データセンタが混んでくると強制的に落とされる Rescaleのサービスとして・・・ • (i)のマークが⾚の時は、そもそも計算が流れずキュー待ちになる (⾼リスクの状態) • 強制的に落とされた場合、HW料⾦は返⾦され JOB は⾃動的に Restart • 強制的に落とされた場合、それまでに計算されたデータは保存されていない 課題: 例えば、7⽇間の計算で6⽇⽬で落ちると、返⾦はされるが時間が無駄に・・ 価格は契約時のパートナー様によって若⼲異なります
- 21. Rescale Confidential21 低優先度ジョブの課題に対する対策 • ジョブを細切れにして、restartファイルを保存する • ただし強制終了されたらrestart ファイルごと消える Restart ファイルを使って、計算を細切れにする Calc 2Calc 1 restart 強制終了
- 22. Rescale Confidential22 低優先度ジョブの課題に対する対策 • ジョブを細切れにして、restart ファイルを保存する • ただし強制終了されたらrestart ファイルごと消える Rescart ファイルを使って、計算を細切れにする Calc 2Calc 1 restart Restart File 含めて全て消えます Browser にない機能はRescaleAPI/CLIを使ってフォローする
- 23. Rescale Confidential23 Customized your environment with Rescale API and CLI ● Designed for application developers + end users ● Handles all ○ Serialization ○ Deserialization ○ Authentication ○ Routing ○ Data Display ● Upload files ● Access coretypes, analysis software, visualization options ● Create and monitor jobs ● Two easy steps ○ Generate your API key on the platform ○ Review the API tutorial on GitHub http://rescale.github.io/api-docs REST API GET STARTED ● No GUI or API knowledge required ● Multi-threaded file transfer library integration ● Automatic authentication to/from Rescale Datastore ● Main Functions: ○ Submit jobs ○ Obtain job status ○ Synchronize output files locally ○ Retrieve metadata BENEFITS OF THE CLI
- 24. Rescale Confidential24 APIによる File Upload • curl コマンドで API をキック • REST API のため URL で操 作します • Rescaleへの認証/認可のため Token情報がいる [NOTE] API Key が必要にな るため、ジョブの共有はNG
- 26. Rescale Confidential26 STEP3: 強制終了リスクの具体的な対策案 計算を細切れにして、Restart ファイルでリスクに対応 案1 案2 API Calc 2 Calc 2 Calc 1 Calc 1 API API API API ジョブ投⼊1 ジョブ監視 Resファイル指定 ジョブ投⼊2 ジョブ監視 Rescale Storage Jobは⼀つ 計算は2つ Jobも計算 も2つ
- 27. Rescale Confidential27 メリット・デメリット 計算を細切れにして、Restart ファイルでリスクに対応 案1 案2 API Calc 2 Calc 2 Calc 1 Calc 1 API API API API ジョブ投⼊1 ジョブ監視 Resファイル指定 ジョブ投⼊2 ジョブ監視 Rescale Storage Jobは⼀つ 計算は2つ Jobも計算 も2つ • メリット: コードがシンプルですぐに実現可能 • デメリット: API Keyをジョブの中に入れないと いけない。そのためセキュリティー上、ジョブ の共有ができない • メリット: 計算ノードに API Key はいらない • APIを叩くための コードが上記に比べて多い。 インテグレーションが必要
- 28. Rescale Confidential28 STEP3: 本⽇のハンズオン 計算を細切れにして、Restart ファイルでリスクに対応 案1 API Calc 2Calc 1 Rescale Storage Jobは⼀つ 計算は2つ
- 29. Rescale Confidential29 STEP2 STEP3 run.sh ⽐較 STEP2 vs STEP3
- 31. Rescale Confidential31 STEP3 案1の注意点 • Token情報の⼊ったファイルが存在するジョブは共有しない One-JOB, Multi-calculation
- 32. Rescale Confidential32 [補⾜] jq はシェルで JSONを取り扱うとき便利 変数 str の中⾝が json形式のときどちらが⾒やすい？ $ echo $str $ echo $str | jq .
- 33. Rescale Confidential33 [補⾜] jq はシェルで JSONを取り扱うとき便利 $ echo $str | jq .storage.connectionSettings $ echo $str | jq .
- 34. PERFORMANCE
- 37. Rescale Confidential37 CASESTUDYOperation Rescale キューを⽤意して, RescaleAPI or RescaleCLIを実⾏するノードを1台⽤意するこ とで簡単にRescaleにジョブを投⼊することができる。すぐにハイブリッド環境を実現 お使いのオンプレミスHPCをすぐにハイブリッド化する 18 API Rescale CLI Create API-key (Need to create API-Key only once) Submit Node (e.g PBS) Node for Rescale API On-Premise Cluster Rescale queue $ qsub –q rescale ./myRun.sh API https
- 38. 構築例 38 Download Remote DeskTop (lerge Size data) Submit JOBs Remote DeskTop Pre/Post SolverOn-Premise (VDI) NAS On-Premise PBS Rescale API Submit JOBs Browser On-Premise Cluster
- 39. 39
- 41. Rescale Confidential41 ハンズオン STEP1: 任意のパッケージを選びビルドし、lmp_mpi を⽣成する STEP2: ⽣成した lmp_mpi を使って 計算を実施する STEP3: 低優先度ジョブを有効利⽤⽅法 (APIを使ってリスタートファイルを逐次Rescale Storage上に アップロード する)
- 42. Rescale Confidential42 Overview / Deep Dive LAMMPS on Rescale 2STEPで LAMMPS on Rescale を使いこなす STEP1 STEP2 Rescale Storage (デフォルトではAWS S3) lmp_mpi の⾃動保存 少ないコア数で ジョブ投⼊ 使いたい時に使 いたいだけ起動 Input files Output files Input files Output files 任意のパッケージで コンパイル 解析実⾏ クラスタ 起動 クラスタ 削除 クラスタ 起動 クラスタ 削除 クラスタの起動/削除, ファイルのステージングは⾃動で⾏われます
- 44. Rescale Confidential44 STEP1の開始 2STEPで LAMMPS on Rescale を使いこなす STEP1 STEP2 Rescale Storage (デフォルトではAWS S3) lmp_mpi の⾃動保存 少ないコア数で ジョブ投⼊ 使いたい時に使 いたいだけ起動 Input files Output files Input files Output files 任意のパッケージで コンパイル 解析実⾏ クラスタ 起動 クラスタ 削除 クラスタ 起動 クラスタ 削除 クラスタの起動/削除, ファイルのステージングは⾃動で⾏われます
- 46. Rescale Confidential46 1. ⼊⼒をクリックします 2. ファイルアップロードをクリックします 3. およそ1.5KBであることを確認します
- 47. Rescale Confidential47 1. ソフトウェアをクリックします 2. “Bring” と⼊⼒します 3. “Bring Your Own MPI Software” と選択します このアプリは内製アプリ等を 動かす仕組みです
- 48. Rescale Confidential48 1. Open MPI 1.6.4 on Enterprise Linuxを選択します dos2unix ./setupLAMMPS.sh ./setupLAMMPS.sh 2. コマンドを⼊⼒します 実行するシェルスクリプト内には、 CR(キャリッジリターン)が入らない ようにしてください。 Windowsの人は注意
- 49. Rescale Confidential49 2. 今回は、最も安価な “Nickel” を選びます 3. コア数として2を⼊れます 4. 最⻑ジョブ時間として, “2” を⼊れます (2時間で強制終了されます) 程優先度の横にある “i” のマークが Green の時、低優先度を選ぶと良 いでしょう。クラウドベンダーのデー タセンターに余裕がある状態です 1. ハードウェアを選択します
- 50. Rescale Confidential50 2. “実⾏ボタンをクリックします” 1. ハードウェアの概要とトータルの料⾦を確認します
- 54. Rescale Confidential54 process_output.log は標準 出力の内容が保存されてい ます 2. 標準出⼒の内容が表⽰されたことを確認します 1. process_output.logをクリックします
- 56. Rescale Confidential56 2. lmp_mpi の ”このファイルを⼊⼒フ ァイルとして使う” をクリックします 1. JOBが終了後、結果のタブに移動します 前ページ以外からここに遷移するには、 1. 画面左上 “ジョブ” 2. 対象とする ”JOB名” をクリック 3. 画面右、”結果” のタブをクリックしてください
- 57. Rescale Confidential57 STEP2: lmp_mpi によるLAMMPS実⾏
- 58. Rescale Confidential58 STEP2の開始 2STEPで LAMMPS on Rescale を使いこなす STEP1 STEP2 Rescale Storage (デフォルトではAWS S3) lmp_mpi の⾃動保存 少ないコア数で ジョブ投⼊ 使いたい時に使 いたいだけ起動 Input files Output files Input files Output files 任意のパッケージで コンパイル 解析実⾏ クラスタ 起動 クラスタ 削除 クラスタ 起動 クラスタ 削除 クラスタの起動/削除, ファイルのステージングは⾃動で⾏われます
- 59. Rescale Confidential59 1. ジョブ作成をクリックます 2. 任意のジョブ名を⼊⼒します 3. クラウドからファイルをアップロードをクリックします
- 60. Rescale Confidential60 1. lmp_mpiをチェックします (STEP1を正しく終了していることが前提です) 2. “選択したファイルを追加” をクリックします STEP1で正しくジョブが終了していたのにも かかわらず、ここに lmp_mpi がない場合は、 STEP1での最後の⼯程、 “このファイルを ⼊⼒ファイルとして使う” をクリックでき ていません
- 61. Rescale Confidential61 ファイルをアップロードをクリックし以下 をアップロードします • data.n40 • in.n40setup • in.n40run1 • run.sh
- 63. Rescale Confidential63 1. ソフトウェアをクリックします 2. “Bring” を⼊⼒します 3. “Bring Your Own MPI Software” を選択します
- 64. Rescale Confidential64 dos2unix ./run.sh ./run.sh ${RESCALE_CORES_PER_SLOT} 実行するシェルスクリプト内には、CR(キャリ ッジリターン)が入らないようにしてください。 Windowsの人は注意 1. Open MPI 1.6.4 on Enterprise Linux 6を選択します 2. 画⾯のように⼊⼒します
- 65. Rescale Confidential65 1. 今回はNickelを選びます 2. “コア数” に4を⼊れます4 3. “最⻑ジョブ実⾏時間” に 3 を⼊れます 程優先度の横にある “i” のマークが Green の時、低優先度を選ぶと良いでし ょう。クラウドベンダーのデータセンターに 余裕がある状態です 1. ハードウェアを選択します
- 66. Rescale Confidential66 2. “実⾏ボタンをクリックします” 1. ハードウェアの概要とトータルの料⾦を確認します
- 70. Rescale Confidential70 1. process_output.logをクリックします process_output.log は標準出力 の内容が保存されています 2. 標準出⼒の内容が表⽰されます
- 72. Rescale Confidential72 1. ジョブが終了後 “結果”のタブをクリックします 2. “ファイルを⾒るをクリックします” 前ページ以外からここに遷移するには、 1. 画面左上 “ジョブ” 2. 対象とする ”JOB名” をクリック 3. 画面右、”結果” のタブをクリックしてください
- 76. Rescale Confidential76 概要: STEP3 2STEPで LAMMPS on Rescale を使いこなす STEP1 STEP2 Rescale Storage (デフォルトではAWS S3) lmp_mpi の⾃動保存 少ないコア数で ジョブ投⼊ 使いたい時に使 いたいだけ起動 Input files Output files Input files Output files 任意のパッケージで コンパイル 解析実⾏ クラスタ 起動 クラスタ 削除 クラスタ 起動 クラスタ 削除 クラスタの起動/削除, ファイルのステージングは⾃動で⾏われます STEP3では ここを改善します
- 77. Rescale Confidential77 概要: STEP3 2STEPで LAMMPS on Rescale を使いこなす STEP3 Restart File Output files 解析実⾏ (Rescale Jobとしては⼀つ) クラスタ 起動 クラスタ 削除 クラスタの起動/削除, ファイルのステージングは⾃動で⾏われます lmp_mpi の⾃動保存 Input files utput files calc1 calc2 API
- 78. Rescale Confidential78 概要: STEP3 2STEPで LAMMPS on Rescale を使いこなす STEP3 Restart File Output files 解析実⾏ (Rescale Jobとしては⼀つ) クラスタ 起動 クラスタ 削除 lmp_mpi の⾃動保存 Input files utput files calc1 calc2 API STEP2との差: 低優先度ジョブが強制終了しても良いように、リスタートファイルを保存します
- 79. Rescale Confidential79 STEP3事前準備: Token (API Key) の作成 Create API Key
- 81. Rescale Confidential81 1. API Key を作成します 2. 表⽰されたキーをメモしておきます
- 82. Rescale Confidential82 STEP3: 解析実⾏ 前提 • STEP1で lmp_mpi ファイルを生成済み • API Keyを取得済み
- 83. Rescale Confidential83 1. ジョブ作成をクリックします 3. “クラウドからファイルを選択” で lmp_mpi を選択します 4. “ファイルをアップロード” をクリックし以 下をアップロードします • data.n40 • in.n40setup • in.n40run1 • run.sh • api_upload_files.sh 2. 任意のジョブ名を⼊⼒します
- 84. Rescale Confidential84 1. “ソフトウェア” をクリックします 2. “Bring” を⼊⼒します 3. “Bring Your Own MPI Software” を選択します
- 85. Rescale Confidential85 export RESCALE_API_TOKEN=“XXXXXX” dos2unix ./run.sh ./run.sh ${RESCALE_CORES_PER_SLOT} 実行するシェルスクリプト内に は、CR(キャリッジリターン)が 入らないようにしてください。 Windowsの人は注意 1. Open MPI 1.6.4 on Enterprise Linux 6を選択します 2. 画⾯のように⼊⼒します。 XXXXXXXは人に見られない ようにしてください(ジョブの共 有に気をつける)
- 86. Rescale Confidential86 程優先度の横にある “i” のマークが Green の時、低優先度を選ぶと良いでし ょう。クラウドベンダーのデータセンターに 余裕がある状態です 1. Nickel を選択します 2. “コア数” に4を⼊れます4 3. “最⻑ジョブ実⾏時間” に 3 を⼊れます 4. 実⾏ボタンをクリッ クします 1. ハードウェア選択をクリックします
- 87. Rescale Confidential87 2. “実⾏ボタンをクリックします” 1. ハードウェアの概要とトータルの料⾦を確認します
- 91. Rescale Confidential91 process_output.log は標準出力の 内容が保存されています 2. 標準出⼒の内容が表⽰されます 1. process_output.logをクリックします
- 93. Rescale Confidential93 1. 全ページの outputlogから、計算の⼀つめが終わ ったことを確認し,”ファイル” をクリックします 2. restartn40.20000があることを確認します “最新のジョブ” は空欄になっています (ジョブと関連づけられていないファイルのため)
- 94. Rescale Confidential94 1. ジョブをクリックします 2. 対象とするジョブ名をクリックします
- 95. Rescale Confidential95 1. 結果のタブをクリックします 2. 計算結果の確認をします
- 96. 96