SlideShare a Scribd company logo

HPC+AI ってよく聞くけど結局なんなの

NVIDIA Japan, profile picture
NVIDIA Japan

2022 年 4 月 26 日 (火) に開催した「GTC 2022 テクニカルフォローアップセミナー 〜新アーキテクチャ & HPC〜」にて、NVIDIA 山崎が講演した「HPC+AI ってよく聞くけど結局なんなの」のスライドです。

Technology
1 of 69
Downloaded 38 times
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
“NVIDIA GTC2022 テクニカルフォローアップセミナー” HPC + AI ってよく聞くけど結局なんなの KAZUHIRO YAMASAKI, DEEP LEARNING SOLUTION ARCHITECT, NVIDIA
AGENDA GTC 2022 におけるセッションの傾向 HPC+AI とは 個別セッションハイライト From HPC to AI: 学習を加速させるためのテクニックなど From AI to HPC: 科学技術計算への AI 適用
GTC 2022 におけるセッションの傾向
GTC 2022 毎年恒例 NVIDIA 主催の技術イベント https://www.nvidia.com/gtc/ https://www.nvidia.com/gtc/session-catalog/ https://www.nvidia.com/gtc/keynote/ https://www.nvidia.com/en-us/on-demand/
GTC 2022 におけるセッション ▪ 総セッション数: 980 ▪ うち、ハンズオン トレーニングやデモなどを除くと 755 件 ▪ 余談: 2020 年は 384 件、2018 年は 654 件 ▪ HPC 関連の (Primary Topic が “HPC – “ から始まる) セッション数は 70 件で、全体の 9.3 % ▪ “Accelerated Computing & Dev Tools - Algorithms / Numerical Techniques” のようなものを含まないため、 実質セッション数はまだ多いかも ▪ 機械学習関連は、266 件で全体の 35.2 % ▪ 広くとっているため、数字としては多めに見える？
HPC セッションでの機械学習関連比率 ▪ 70 件の HPC 関連セッション中、機械学習が何らかの形 で含まれているものは 22 件 (31.4 %) ▪ 特に以下の分野は機械学習活用が先行？ ▪ HPC - Climate / Weather / Ocean Modeling ▪ HPC - Computational Physics ▪ HPC - Computational Fluid Dynamics に関するセッ ションは、2 件ともデジタルツインに関するもの ▪ シミュレーションと統合するためのツールとして機械学習？ ▪ 各トピックの機械学習関連セッション一覧は資料末尾に Topic #sessions #ML related HPC - Astronomy / Astrophysics 2 0 HPC - Climate / Weather / Ocean Modeling 14 10 HPC - Computational Chemistry and Materials Science 5 2 HPC - Computational Fluid Dynamics 7 2 HPC - Computational Physics 5 3 HPC - Quantum Computing 7 0 HPC - Scientific Visualization 4 1 HPC - Supercomputing 26 4 実際には上記以外のトピックで、”World Simulation & Digital Twins” や “Industry Segment: Energy” にも HPC + AI 的な話題が紛れ込んでいたり……
HPC+AI とは
HPC + AI = “HPC FOR AI” OR “AI FOR HPC” 二つの方向性 ▪HPC for AI: ▪ HPC で広く使われてきた技術を、AI の分野で活用する話 ▪ ディープラーニングの大規模化に伴う分散学習周りの技術や、行列自体の高速計算手法など ▪AI for HPC: ▪ AI を利用して、HPC で必要となる計算を高速化したり、高精度化する話 ▪ 高速なシミュレータとしての AI 活用や、従来うまくモデル化できていなかった問題に対する近似モデルとしての AI 活用など
HPC FOR AI (特にディープラーニングモデルの) 学習高速化や大規模化など Training Large Models with PyTorch [S41986] Accelerating Distributed Reinforcement Learning [S41925] Accelerating Sparse Graph Neural Network Computation via Dense Tensor Core on GPUs [S41234] How DoorDash Scaled to Billions of Training Examples using Distributed Training [S42370] Accelerating Storage IO to GPUs with Magnum IO [S41347]
AI FOR HPC 高速なシミュレータとしての AI と近似モデルとしての AI • Fourier Neural Operators and Transformers for Extreme Weather and Climate Prediction [S41936] • Bringing Rain to the Subseasonal Forecasting Desert with Deep Learning Weather Prediction [S41170] • Accelerating a 3D Conditional Generative Adversarial Network for Seismic Attenuation Compensation on a Multi-GPU Node [S41095] • Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal Resolutions [S41019] • Accelerating End-to-end Deep Learning for Particle Reconstruction using CMS Open Data at CERN [S41394] • Developing Digital Twins for Weather, Climate, and Energy [S41823] • OpenFold: Democratizing Access to Predicting and Modeling Protein Structures [S41633] • Accelerating Simulation Process Using GPUs and Reliable Neural Networks [S42404] • Case Study on Developing Digital Twins for the Power Industry using Modulus and Omniverse [S41671] Developing Digital Twins for Weather, Climate, and Energy [S41823]
AI FOR HPC 異なる分類軸: モデル化の対象 • Fourier Neural Operators and Transformers for Extreme Weather and Climate Prediction [S41936] • Bringing Rain to the Subseasonal Forecasting Desert with Deep Learning Weather Prediction [S41170] • Accelerating a 3D Conditional Generative Adversarial Network for Seismic Attenuation Compensation on a Multi-GPU Node [S41095] • Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal Resolutions [S41019] • Accelerating End-to-end Deep Learning for Particle Reconstruction using CMS Open Data at CERN [S41394] • Developing Digital Twins for Weather, Climate, and Energy [S41823] • OpenFold: Democratizing Access to Predicting and Modeling Protein Structures [S41633] • Accelerating Simulation Process Using GPUs and Reliable Neural Networks [S42404] • Case Study on Developing Digital Twins for the Power Industry using Modulus and Omniverse [S41671] Developing Digital Twins for Weather, Climate, and Energy [S41823] Fully data driven Inductive bias Physics constrained Inductive bias Physics constrained Fully data driven Fully data driven Fully data driven Inductive bias Fully data driven
FROM HPC TO AI: 学習を加速させるためのテクニックなど
取り上げるセッション 分散学習系の話をメインに ▪Bridging the Gap Between Basic Neural Language Models, Transformers, and Megatron [S41966] ▪大規模言語モデルの学習高速化に関する工夫について ▪Training Large Models with PyTorch [S41986] ▪大規模モデルの学習に関する PyTorch の最新状況 ▪Accelerating Distributed Reinforcement Learning [S41925] ▪深層強化学習を分散化する際の高速化等について
取り上げるセッション 分散学習系の話をメインに ▪Bridging the Gap Between Basic Neural Language Models, Transformers, and Megatron [S41966] ▪大規模言語モデルの学習高速化に関する工夫について ▪Training Large Models with PyTorch [S41986] ▪大規模モデルの学習に関する PyTorch の最新状況 ▪Accelerating Distributed Reinforcement Learning [S41925] ▪深層強化学習を分散化する際の高速化等について
BRIDGING THE GAP BETWEEN BASIC NEURAL LANGUAGE MODELS, TRANSFORMERS, AND MEGATRON [S41966] 言語モデルの背景と最近の状況
BRIDGING THE GAP BETWEEN BASIC NEURAL LANGUAGE MODELS, TRANSFORMERS, AND MEGATRON [S41966] FYI: 言語モデル「大規模化」の背景など How to Avoid the Staggering Cost of Training State-of-the-art Large Language Models [S41904] Building Large-scale, Localized Language Models: From Data Preparation to Training and Deployment to Production [S42018]
BRIDGING THE GAP BETWEEN BASIC NEURAL LANGUAGE MODELS, TRANSFORMERS, AND MEGATRON [S41966] 大規模モデルを学習するためのアプローチについて
BRIDGING THE GAP BETWEEN BASIC NEURAL LANGUAGE MODELS, TRANSFORMERS, AND MEGATRON [S41966] 大規模モデルを学習するためのアプローチについて
取り上げるセッション 分散学習系の話をメインに ▪Bridging the Gap Between Basic Neural Language Models, Transformers, and Megatron [S41966] ▪大規模言語モデルの学習高速化に関する工夫について ▪Training Large Models with PyTorch [S41986] ▪大規模モデルの学習に関する PyTorch の最新状況 ▪Accelerating Distributed Reinforcement Learning [S41925] ▪深層強化学習を分散化する際の高速化等について
TRAINING LARGE MODELS WITH PYTORCH [S41986] PyTorch における分散学習のサポート状況
TRAINING LARGE MODELS WITH PYTORCH [S41986] データ並列の各機能
TRAINING LARGE MODELS WITH PYTORCH [S41986] PyTorch におけるパイプライン化について
TRAINING LARGE MODELS WITH PYTORCH [S41986] FYI: XLA, JAX でのモデル並列 Model Parallelism in XLA/GPU [S42006]
TRAINING LARGE MODELS WITH PYTORCH [S41986] 踏み込んだ最適化: checkpointing & offloading
TRAINING LARGE MODELS WITH PYTORCH [S41986] 踏み込んだ最適化: checkpointing & offloading
TRAINING LARGE MODELS WITH PYTORCH [S41986] 各手法に対する性能評価 The PyTorch distributed team share best practices for Large Scale Training on Google Cloud (Presented by Google Cloud) [S42584] 特にネットワーク周りの詳細について このセッションでは、同じ実験を違う角度から説明
取り上げるセッション 分散学習系の話をメインに ▪Bridging the Gap Between Basic Neural Language Models, Transformers, and Megatron [S41966] ▪大規模言語モデルの学習高速化に関する工夫について ▪Training Large Models with PyTorch [S41986] ▪大規模モデルの学習に関する PyTorch の最新状況 ▪Accelerating Distributed Reinforcement Learning [S41925] ▪深層強化学習を分散化する際の高速化等について
ACCELERATING DISTRIBUTED REINFORCEMENT LEARNING [S41925] 強化学習の難しさと、分散化の必要性
ACCELERATING DISTRIBUTED REINFORCEMENT LEARNING [S41925] RAPTOR: 効率的な分散深層強化学習プラットフォーム
FROM AI TO HPC: 科学技術計算への AI 適用
取り上げるセッション データドリブンなアプローチからシミュレーション系の話題まで ▪Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal Resolutions [S41019] ▪U-Net ベースでの降雨量および海水面温度予測 ▪Accelerating Simulation Process Using GPUs and Reliable Neural Networks [S42404] ▪Graph Neural Network (GNN) を利用した、回転および平行移動に非依存なシミュレーター ▪Accelerating a 3D Conditional Generative Adversarial Network for Seismic Attenuation Compensation on a Multi-GPU Node [S41095] ▪Pix2Pix を利用して、地質調査画像の減衰補償を試みている ▪Fourier Neural Operators and Transformers for Extreme Weather and Climate Prediction [S41936] ▪現在の気象予測に関する課題感の紹介と、Fourier Neural Operator を軸とした解像度非依存な 学習に向けた取り組み
取り上げるセッション データドリブンなアプローチからシミュレーション系の話題まで ▪Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal Resolutions [S41019] ▪U-Net ベースでの降雨量および海水面温度予測 ▪Accelerating Simulation Process Using GPUs and Reliable Neural Networks [S42404] ▪Graph Neural Network (GNN) を利用した、回転および平行移動に非依存なシミュレーター ▪Accelerating a 3D Conditional Generative Adversarial Network for Seismic Attenuation Compensation on a Multi-GPU Node [S41095] ▪Pix2Pix を利用して、地質調査画像の減衰補償を試みている ▪Fourier Neural Operators and Transformers for Extreme Weather and Climate Prediction [S41936] ▪現在の気象予測に関する課題感の紹介と、Fourier Neural Operator を軸とした解像度非依存な 学習に向けた取り組み
SCALABLE DATA-DRIVEN GLOBAL WEATHER PREDICTIONS AT HIGH SPATIAL AND TEMPORAL RESOLUTIONS [S41019] 気象予測の現状整理と AI の活用方法
SCALABLE DATA-DRIVEN GLOBAL WEATHER PREDICTIONS AT HIGH SPATIAL AND TEMPORAL RESOLUTIONS [S41019] 降雨量予測に利用した手法 (U-Net) などについて
SCALABLE DATA-DRIVEN GLOBAL WEATHER PREDICTIONS AT HIGH SPATIAL AND TEMPORAL RESOLUTIONS [S41019] 評価結果や LSTM との組み合わせについての検討
SCALABLE DATA-DRIVEN GLOBAL WEATHER PREDICTIONS AT HIGH SPATIAL AND TEMPORAL RESOLUTIONS [S41019] 海水面温度予測への応用に関する初期検討結果の紹介
SCALABLE DATA-DRIVEN GLOBAL WEATHER PREDICTIONS AT HIGH SPATIAL AND TEMPORAL RESOLUTIONS [S41019] 論文と実装
取り上げるセッション データドリブンなアプローチからシミュレーション系の話題まで ▪Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal Resolutions [S41019] ▪U-Net ベースでの降雨量および海水面温度予測 ▪Accelerating Simulation Process Using GPUs and Reliable Neural Networks [S42404] ▪Graph Neural Network (GNN) を利用した、回転および平行移動に非依存なシミュレーター ▪Accelerating a 3D Conditional Generative Adversarial Network for Seismic Attenuation Compensation on a Multi-GPU Node [S41095] ▪Pix2Pix を利用して、地質調査画像の減衰補償を試みている ▪Fourier Neural Operators and Transformers for Extreme Weather and Climate Prediction [S41936] ▪現在の気象予測に関する課題感の紹介と、Fourier Neural Operator を軸とした解像度非依存な 学習に向けた取り組み
ACCELERATING SIMULATION PROCESS USING GPUS AND RELIABLE NEURAL NETWORKS [S42404] 現状のシミュレーションにおける問題と、解決策の提案
ACCELERATING SIMULATION PROCESS USING GPUS AND RELIABLE NEURAL NETWORKS [S42404] monolish: デバイス非依存な、使いやすい API
ACCELERATING SIMULATION PROCESS USING GPUS AND RELIABLE NEURAL NETWORKS [S42404] 多様な形状の物体や、回転、平行移動を伴う状況に対するシミュレーションを実現する方法
ACCELERATING SIMULATION PROCESS USING GPUS AND RELIABLE NEURAL NETWORKS [S42404] Graph Neural Network をベースとした手法による解決
ACCELERATING SIMULATION PROCESS USING GPUS AND RELIABLE NEURAL NETWORKS [S42404] 適用範囲と評価結果
ACCELERATING SIMULATION PROCESS USING GPUS AND RELIABLE NEURAL NETWORKS [S42404] 手法詳細等
取り上げるセッション データドリブンなアプローチからシミュレーション系の話題まで ▪Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal Resolutions [S41019] ▪U-Net ベースでの降雨量および海水面温度予測 ▪Accelerating Simulation Process Using GPUs and Reliable Neural Networks [S42404] ▪Graph Neural Network (GNN) を利用した、回転および平行移動に非依存なシミュレーター ▪Accelerating a 3D Conditional Generative Adversarial Network for Seismic Attenuation Compensation on a Multi-GPU Node [S41095] ▪Pix2Pix を利用して、地質調査画像の減衰補償を試みている ▪Fourier Neural Operators and Transformers for Extreme Weather and Climate Prediction [S41936] ▪現在の気象予測に関する課題感の紹介と、Fourier Neural Operator を軸とした解像度非依存な 学習に向けた取り組み
ACCELERATING A 3D CONDITIONAL GENERATIVE ADVERSARIAL NETWORK FOR SEISMIC ATTENUATION COMPENSATION ON A MULTI-GPU NODE [S41095] 問題設定: 地質調査時の減衰補償
ACCELERATING A 3D CONDITIONAL GENERATIVE ADVERSARIAL NETWORK FOR SEISMIC ATTENUATION COMPENSATION ON A MULTI-GPU NODE [S41095] Pix2Pix を画像復元に活用
ACCELERATING A 3D CONDITIONAL GENERATIVE ADVERSARIAL NETWORK FOR SEISMIC ATTENUATION COMPENSATION ON A MULTI-GPU NODE [S41095] モデルの学習フローや計算機構成の工夫など
ACCELERATING A 3D CONDITIONAL GENERATIVE ADVERSARIAL NETWORK FOR SEISMIC ATTENUATION COMPENSATION ON A MULTI-GPU NODE [S41095] モデルの学習フローや計算機構成の工夫など
ACCELERATING A 3D CONDITIONAL GENERATIVE ADVERSARIAL NETWORK FOR SEISMIC ATTENUATION COMPENSATION ON A MULTI-GPU NODE [S41095] 出力例など
取り上げるセッション データドリブンなアプローチからシミュレーション系の話題まで ▪Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal Resolutions [S41019] ▪U-Net ベースでの降雨量および海水面温度予測 ▪Accelerating Simulation Process Using GPUs and Reliable Neural Networks [S42404] ▪Graph Neural Network (GNN) を利用した、回転および平行移動に非依存なシミュレーター ▪Accelerating a 3D Conditional Generative Adversarial Network for Seismic Attenuation Compensation on a Multi-GPU Node [S41095] ▪Pix2Pix を利用して、地質調査画像の減衰補償を試みている ▪Fourier Neural Operators and Transformers for Extreme Weather and Climate Prediction [S41936] ▪現在の気象予測に関する課題感の紹介と、Fourier Neural Operator を軸とした解像度非依存な 学習に向けた取り組み
FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND CLIMATE PREDICTION [S41936] 気候科学の現状とさらなる高速化の必要性
FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND CLIMATE PREDICTION [S41936] DestinE project とその意義
FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND CLIMATE PREDICTION [S41936] Physics-ML の応用事例と、フレームワークとしての Modulus
FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND CLIMATE PREDICTION [S41936] Modulus + Omniverse のデモ
FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND CLIMATE PREDICTION [S41936] FYI: Modulus はこの後のセッションで詳細に説明されます
FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND CLIMATE PREDICTION [S41936] FourCastNet: 気象予測のための Physic-ML モデル
FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND CLIMATE PREDICTION [S41936] 予測結果例
FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND CLIMATE PREDICTION [S41936] 予測結果例
FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND CLIMATE PREDICTION [S41936] Fourier Neural Operator: 解像度非依存なモデルの概要
SUMMARY
まとめ よく聞く HPC + AI というものは、結局なんだったのかというと…… ▪GTC のセッションを通して HPC + AI の方向性を整理 ▪HPC for AI と AI for HPC ▪後者については適用対象による分類と、データの扱い方による分類がある ▪学習高速化、大規模化の文脈では、フレームワーク等の整備が継続 ▪特に大規模学習を、より簡単に実現できるようなアプローチが順次導入されている ▪科学技術計算における AI 活用では、直接的なアプローチを超えた方法が増えてきている ▪GNN の活用や、PDE をモデルに組み込むなど
HPC+AI ってよく聞くけど結局なんなの
APPENDIX: トピックごとの機械学習関連セッション一覧
HPC 関連トピックでの機械学習利用セッション (1/4) HPC - Climate / Weather / Ocean Modeling ▪ Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal Resolutions [S41019] ▪ Can a Deep Learning Model Measure CO2 More Precisely using Satellite Data? [S41127] ▪ Bringing Rain to the Subseasonal Forecasting Desert with Deep Learning Weather Prediction [S41170] ▪ Mitigating Risk of Natural Disaster with GPU-accelerated Analytics [S41231] ▪ Innovative Startups Leveraging AI to Tackle Climate Change [S41910] ▪ Fourier Neural Operators and Transformers for Extreme Weather and Climate Prediction [S41936] ▪ Digital Twins for Understanding and Adapting to Climate Change [S41950] ▪ 最先端のデータサイエンスで切り拓くリアルタイム豪雨・洪水予測 [S42363] ▪ Big Data in Climate and Earth Sciences: Challenges and Opportunities for Machine Learning [S42389] ▪ The Future of HPC Looks a Lot Like ML (Presented by Amazon Web Services) [S42471]
HPC 関連トピックでの機械学習利用セッション (2/4) HPC - Computational Chemistry and Materials Science ▪ Inlining AI into Molecular Dynamics (and Vice Versa) [S41330] ▪ The Value of GPUs in Computational Chemistry and Materials Science in the Age of Machine Learning [S41745] HPC - Computational Fluid Dynamics ▪ Advances in Digital Twins of Granular Material Processes using Physics-based Simulations and AI [S41065] ▪ Developing Digital Twins for Energy Applications using Modulus [S41325]
HPC 関連トピックでの機械学習利用セッション (3/4) HPC - Computational Physics ▪ Using OpenACC to Accelerate Wave Propagation Simulations Combining Equation-based and Data- driven Methods [S41359] ▪ Accelerating End-to-end Deep Learning for Particle Reconstruction using CMS Open Data at CERN [S41394] ▪ Accelerating Simulation Process Using GPUs and Reliable Neural Networks [S42404] HPC - Scientific Visualization ▪ Scaling HPC Simulations with AI for Design using Physics-enhanced and Physics-informed Techniques (Presented by Amazon Web Services) [S42531]
HPC 関連トピックでの機械学習利用セッション (4/4) HPC – Supercomputing ▪ Scientific AI at Scale on the Perlmutter Supercomputer at NERSC [S41386] ▪ NLP Technology and Voice of Customer Product Introduction [S41681] ▪ HPC, AI, and the Edge [S42165] ▪ SMU uses SuperPOD to Take AI Research to the Next Level (Presented by Mark III Systems) [S42689]
HPC+AI ってよく聞くけど結局なんなの

More Related Content

PDF
Hopper アーキテクチャで、変わること、変わらないこと
NVIDIA Japan
 
PPTX
Deep Learningのための専用プロセッサ「MN-Core」の開発と活用（2022/10/19東大大学院「 融合情報学特別講義Ⅲ」）
Preferred Networks
 
PDF
DAシンポジウム2019招待講演「深層学習モデルの高速なTraining/InferenceのためのHW/SW技術」 金子紘也hare
Preferred Networks
 
PDF
NEDIA_SNIA_CXL_講演資料.pdf
Yasunori Goto
 
PDF
CUDAのアセンブリ言語基礎のまとめ　PTXとSASSの概説
Takateru Yamagishi
 
PDF
第13回 配信講義　計算科学技術特論B（2022）
RCCSRENKEI
 
PDF
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Preferred Networks
 
PDF
HPC 的に H100 は魅力的な GPU なのか？
NVIDIA Japan
 
Hopper アーキテクチャで、変わること、変わらないこと
NVIDIA Japan
 
Deep Learningのための専用プロセッサ「MN-Core」の開発と活用（2022/10/19東大大学院「 融合情報学特別講義Ⅲ」）
Preferred Networks
 
DAシンポジウム2019招待講演「深層学習モデルの高速なTraining/InferenceのためのHW/SW技術」 金子紘也hare
Preferred Networks
 
NEDIA_SNIA_CXL_講演資料.pdf
Yasunori Goto
 
CUDAのアセンブリ言語基礎のまとめ　PTXとSASSの概説
Takateru Yamagishi
 
第13回 配信講義　計算科学技術特論B（2022）
RCCSRENKEI
 
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Preferred Networks
 
HPC 的に H100 は魅力的な GPU なのか？
NVIDIA Japan
 

What's hot (20)

PDF
入門 Kubeflow ～Kubernetesで機械学習をはじめるために～ （NTT Tech Conference #4 講演資料）
NTT DATA Technology & Innovation
 
PDF
いまさら聞けない！CUDA高速化入門
Fixstars Corporation
 
PDF
DockerとPodmanの比較
Akihiro Suda
 
PDF
Magnum IO GPUDirect Storage 最新情報
NVIDIA Japan
 
PPTX
分散深層学習 @ NIPS'17
Takuya Akiba
 
PDF
TVM の紹介
Masahiro Masuda
 
PDF
続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2
Preferred Networks
 
PDF
macOSの仮想化技術について ~Virtualization-rs Rust bindings for virtualization.framework ~
NTT Communications Technology Development
 
PDF
ARM CPUにおけるSIMDを用いた高速計算入門
Fixstars Corporation
 
PDF
TensorFlow XLAは、 中で何をやっているのか？
Mr. Vengineer
 
PDF
アプリケーションの性能最適化２（CPU単体性能最適化）
RCCSRENKEI
 
PDF
Neural networks for Graph Data NeurIPS2018読み会@PFN
emakryo
 
PDF
SSII2019OS: 深層学習にかかる時間を短くしてみませんか？ ～分散学習の勧め～
SSII
 
PDF
「NVIDIA プロファイラを用いたPyTorch学習最適化手法のご紹介(修正版)」
ManaMurakami1
 
PPTX
Slurmのジョブスケジューリングと実装
Ryuichi Sakamoto
 
PDF
YugabyteDBを使ってみよう - part2 -（NewSQL/分散SQLデータベースよろず勉強会 #2 発表資料）
NTT DATA Technology & Innovation
 
PDF
不揮発メモリ(NVDIMM)とLinuxの対応動向について
Yasunori Goto
 
PDF
開発者が語る NVIDIA cuQuantum SDK
NVIDIA Japan
 
PDF
Marp Tutorial
Rui Watanabe
 
PDF
NVIDIA Modulus: Physics ML 開発のためのフレームワーク
NVIDIA Japan
 
入門 Kubeflow ～Kubernetesで機械学習をはじめるために～ （NTT Tech Conference #4 講演資料）
NTT DATA Technology & Innovation
 
いまさら聞けない！CUDA高速化入門
Fixstars Corporation
 
DockerとPodmanの比較
Akihiro Suda
 
Magnum IO GPUDirect Storage 最新情報
NVIDIA Japan
 
分散深層学習 @ NIPS'17
Takuya Akiba
 
TVM の紹介
Masahiro Masuda
 
続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2
Preferred Networks
 
macOSの仮想化技術について ~Virtualization-rs Rust bindings for virtualization.framework ~
NTT Communications Technology Development
 
ARM CPUにおけるSIMDを用いた高速計算入門
Fixstars Corporation
 
TensorFlow XLAは、 中で何をやっているのか？
Mr. Vengineer
 
アプリケーションの性能最適化２（CPU単体性能最適化）
RCCSRENKEI
 
Neural networks for Graph Data NeurIPS2018読み会@PFN
emakryo
 
SSII2019OS: 深層学習にかかる時間を短くしてみませんか？ ～分散学習の勧め～
SSII
 
「NVIDIA プロファイラを用いたPyTorch学習最適化手法のご紹介(修正版)」
ManaMurakami1
 
Slurmのジョブスケジューリングと実装
Ryuichi Sakamoto
 
YugabyteDBを使ってみよう - part2 -（NewSQL/分散SQLデータベースよろず勉強会 #2 発表資料）
NTT DATA Technology & Innovation
 
不揮発メモリ(NVDIMM)とLinuxの対応動向について
Yasunori Goto
 
開発者が語る NVIDIA cuQuantum SDK
NVIDIA Japan
 
Marp Tutorial
Rui Watanabe
 
NVIDIA Modulus: Physics ML 開発のためのフレームワーク
NVIDIA Japan
 
Ad

Similar to HPC+AI ってよく聞くけど結局なんなの (20)

PDF
GTC 2018 で発表されたディープラーニング最新情報
NVIDIA Japan
 
PDF
[Cloud OnAir] お客様事例紹介 -リクルートライフスタイルにおける デジタルトランスフォーメーションとクラウド活用- 2018年7月12日 放送
Google Cloud Platform - Japan
 
PDF
GPGPU Education at Nagaoka University of Technology: A Trial Run
智啓 出川
 
PPTX
気象予報データ(数値予報GPV)を用いた データビジュアライゼーション
Kazuhide Okamura
 
PDF
PGConf.dev 2025 参加レポート (JPUG総会併設セミナー2025 発表資料)
NTT DATA Technology & Innovation
 
PDF
技術系大学におけるGPU教育の一試行
智啓 出川
 
PPTX
SakataMoriLab GNN勉強会第一回資料
ttt_miura
 
PDF
Share pointを支えるsql server2014最新情報 tokyo_公開用
Yukio Kumazawa
 
PDF
第３回 配信講義　計算科学技術特論B（2022）
RCCSRENKEI
 
PDF
20180729 Preferred Networksの機械学習クラスタを支える技術
Preferred Networks
 
PDF
[Cloud OnAir] BigQuery へデータを読み込む 2019年3月14日 放送
Google Cloud Platform - Japan
 
PPTX
CODT2020 OpenStack Version Up and VMHA Masakari in Enterprise Cloud
Toshikazu Ichikawa
 
PPTX
OpenStack Summit Sydney Feedback (VTJ玉置) - OpenStack最新情報セミナー 2017年11月
VirtualTech Japan Inc.
 
PPTX
20181228 ncf to_azure_batch
PIXELAcorporation
 
PDF
[GTCJ2018] Optimizing Deep Learning with Chainer　PFN得居誠也
Preferred Networks
 
PDF
200702material hirokawa
RCCSRENKEI
 
PDF
IEEE/ACM SC2013報告
Ryousei Takano
 
PDF
第1回 配信講義　計算科学技術特論A （2021）
RCCSRENKEI
 
PPTX
「OpenStack最新情報セミナー」2014/10 アンケート集計結果
VirtualTech Japan Inc.
 
PPTX
GPU on OpenStack 〜GPUインターナルクラウドのベストプラクティス
VirtualTech Japan Inc.
 
GTC 2018 で発表されたディープラーニング最新情報
NVIDIA Japan
 
[Cloud OnAir] お客様事例紹介 -リクルートライフスタイルにおける デジタルトランスフォーメーションとクラウド活用- 2018年7月12日 放送
Google Cloud Platform - Japan
 
GPGPU Education at Nagaoka University of Technology: A Trial Run
智啓 出川
 
気象予報データ(数値予報GPV)を用いた データビジュアライゼーション
Kazuhide Okamura
 
PGConf.dev 2025 参加レポート (JPUG総会併設セミナー2025 発表資料)
NTT DATA Technology & Innovation
 
技術系大学におけるGPU教育の一試行
智啓 出川
 
SakataMoriLab GNN勉強会第一回資料
ttt_miura
 
Share pointを支えるsql server2014最新情報 tokyo_公開用
Yukio Kumazawa
 
第３回 配信講義　計算科学技術特論B（2022）
RCCSRENKEI
 
20180729 Preferred Networksの機械学習クラスタを支える技術
Preferred Networks
 
[Cloud OnAir] BigQuery へデータを読み込む 2019年3月14日 放送
Google Cloud Platform - Japan
 
CODT2020 OpenStack Version Up and VMHA Masakari in Enterprise Cloud
Toshikazu Ichikawa
 
OpenStack Summit Sydney Feedback (VTJ玉置) - OpenStack最新情報セミナー 2017年11月
VirtualTech Japan Inc.
 
20181228 ncf to_azure_batch
PIXELAcorporation
 
[GTCJ2018] Optimizing Deep Learning with Chainer　PFN得居誠也
Preferred Networks
 
200702material hirokawa
RCCSRENKEI
 
IEEE/ACM SC2013報告
Ryousei Takano
 
第1回 配信講義　計算科学技術特論A （2021）
RCCSRENKEI
 
「OpenStack最新情報セミナー」2014/10 アンケート集計結果
VirtualTech Japan Inc.
 
GPU on OpenStack 〜GPUインターナルクラウドのベストプラクティス
VirtualTech Japan Inc.
 
Ad

More from NVIDIA Japan (20)

PDF
NVIDIA cuQuantum SDK による量子回路シミュレーターの高速化
NVIDIA Japan
 
PDF
Physics-ML のためのフレームワーク NVIDIA Modulus 最新事情
NVIDIA Japan
 
PDF
20221021_JP5.0.2-Webinar-JP_Final.pdf
NVIDIA Japan
 
PDF
NVIDIA HPC ソフトウエア斜め読み
NVIDIA Japan
 
PDF
データ爆発時代のネットワークインフラ
NVIDIA Japan
 
PDF
GPU と PYTHON と、それから最近の NVIDIA
NVIDIA Japan
 
PDF
GTC November 2021 – テレコム関連アップデート サマリー
NVIDIA Japan
 
PDF
テレコムのビッグデータ解析 & AI サイバーセキュリティ
NVIDIA Japan
 
PDF
必見！絶対におすすめの通信業界セッション 5 つ ～秋の GTC 2020～
NVIDIA Japan
 
PDF
2020年10月29日 プロフェッショナルAI×Roboticsエンジニアへのロードマップ
NVIDIA Japan
 
PDF
2020年10月29日　Jetson活用によるAI教育
NVIDIA Japan
 
PDF
2020年10月29日　Jetson Nano 2GBで始めるAI x Robotics教育
NVIDIA Japan
 
PDF
COVID-19 研究・対策に活用可能な NVIDIA ソフトウェアと関連情報
NVIDIA Japan
 
PDF
Jetson Xavier NX クラウドネイティブをエッジに
NVIDIA Japan
 
PDF
GTC 2020 発表内容まとめ
NVIDIA Japan
 
PDF
NVIDIA Jetson導入事例ご紹介
NVIDIA Japan
 
PDF
JETSON 最新情報 & 自動外観検査事例紹介
NVIDIA Japan
 
PDF
HELLO AI WORLD - MEET JETSON NANO
NVIDIA Japan
 
PDF
Final 20200326 jetson edge comuputing digital seminar 1 final (1)
NVIDIA Japan
 
PDF
20200326 jetson edge comuputing digital seminar 1 final
NVIDIA Japan
 
NVIDIA cuQuantum SDK による量子回路シミュレーターの高速化
NVIDIA Japan
 
Physics-ML のためのフレームワーク NVIDIA Modulus 最新事情
NVIDIA Japan
 
20221021_JP5.0.2-Webinar-JP_Final.pdf
NVIDIA Japan
 
NVIDIA HPC ソフトウエア斜め読み
NVIDIA Japan
 
データ爆発時代のネットワークインフラ
NVIDIA Japan
 
GPU と PYTHON と、それから最近の NVIDIA
NVIDIA Japan
 
GTC November 2021 – テレコム関連アップデート サマリー
NVIDIA Japan
 
テレコムのビッグデータ解析 & AI サイバーセキュリティ
NVIDIA Japan
 
必見！絶対におすすめの通信業界セッション 5 つ ～秋の GTC 2020～
NVIDIA Japan
 
2020年10月29日 プロフェッショナルAI×Roboticsエンジニアへのロードマップ
NVIDIA Japan
 
2020年10月29日　Jetson活用によるAI教育
NVIDIA Japan
 
2020年10月29日　Jetson Nano 2GBで始めるAI x Robotics教育
NVIDIA Japan
 
COVID-19 研究・対策に活用可能な NVIDIA ソフトウェアと関連情報
NVIDIA Japan
 
Jetson Xavier NX クラウドネイティブをエッジに
NVIDIA Japan
 
GTC 2020 発表内容まとめ
NVIDIA Japan
 
NVIDIA Jetson導入事例ご紹介
NVIDIA Japan
 
JETSON 最新情報 & 自動外観検査事例紹介
NVIDIA Japan
 
HELLO AI WORLD - MEET JETSON NANO
NVIDIA Japan
 
Final 20200326 jetson edge comuputing digital seminar 1 final (1)
NVIDIA Japan
 
20200326 jetson edge comuputing digital seminar 1 final
NVIDIA Japan
 

HPC+AI ってよく聞くけど結局なんなの

  • 1. “NVIDIA GTC2022 テクニカルフォローアップセミナー” HPC + AI ってよく聞くけど結局なんなの KAZUHIRO YAMASAKI, DEEP LEARNING SOLUTION ARCHITECT, NVIDIA
  • 2. AGENDA GTC 2022 におけるセッションの傾向 HPC+AI とは 個別セッションハイライト From HPC to AI: 学習を加速させるためのテクニックなど From AI to HPC: 科学技術計算への AI 適用
  • 4. GTC 2022 毎年恒例 NVIDIA 主催の技術イベント https://www.nvidia.com/gtc/ https://www.nvidia.com/gtc/session-catalog/ https://www.nvidia.com/gtc/keynote/ https://www.nvidia.com/en-us/on-demand/
  • 5. GTC 2022 におけるセッション ▪ 総セッション数: 980 ▪ うち、ハンズオン トレーニングやデモなどを除くと 755 件 ▪ 余談: 2020 年は 384 件、2018 年は 654 件 ▪ HPC 関連の (Primary Topic が “HPC – “ から始まる) セッション数は 70 件で、全体の 9.3 % ▪ “Accelerated Computing & Dev Tools - Algorithms / Numerical Techniques” のようなものを含まないため、 実質セッション数はまだ多いかも ▪ 機械学習関連は、266 件で全体の 35.2 % ▪ 広くとっているため、数字としては多めに見える？
  • 6. HPC セッションでの機械学習関連比率 ▪ 70 件の HPC 関連セッション中、機械学習が何らかの形 で含まれているものは 22 件 (31.4 %) ▪ 特に以下の分野は機械学習活用が先行？ ▪ HPC - Climate / Weather / Ocean Modeling ▪ HPC - Computational Physics ▪ HPC - Computational Fluid Dynamics に関するセッ ションは、2 件ともデジタルツインに関するもの ▪ シミュレーションと統合するためのツールとして機械学習？ ▪ 各トピックの機械学習関連セッション一覧は資料末尾に Topic #sessions #ML related HPC - Astronomy / Astrophysics 2 0 HPC - Climate / Weather / Ocean Modeling 14 10 HPC - Computational Chemistry and Materials Science 5 2 HPC - Computational Fluid Dynamics 7 2 HPC - Computational Physics 5 3 HPC - Quantum Computing 7 0 HPC - Scientific Visualization 4 1 HPC - Supercomputing 26 4 実際には上記以外のトピックで、”World Simulation & Digital Twins” や “Industry Segment: Energy” にも HPC + AI 的な話題が紛れ込んでいたり……
  • 8. HPC + AI = “HPC FOR AI” OR “AI FOR HPC” 二つの方向性 ▪HPC for AI: ▪ HPC で広く使われてきた技術を、AI の分野で活用する話 ▪ ディープラーニングの大規模化に伴う分散学習周りの技術や、行列自体の高速計算手法など ▪AI for HPC: ▪ AI を利用して、HPC で必要となる計算を高速化したり、高精度化する話 ▪ 高速なシミュレータとしての AI 活用や、従来うまくモデル化できていなかった問題に対する近似モデルとしての AI 活用など
  • 9. HPC FOR AI (特にディープラーニングモデルの) 学習高速化や大規模化など Training Large Models with PyTorch [S41986] Accelerating Distributed Reinforcement Learning [S41925] Accelerating Sparse Graph Neural Network Computation via Dense Tensor Core on GPUs [S41234] How DoorDash Scaled to Billions of Training Examples using Distributed Training [S42370] Accelerating Storage IO to GPUs with Magnum IO [S41347]
  • 10. AI FOR HPC 高速なシミュレータとしての AI と近似モデルとしての AI • Fourier Neural Operators and Transformers for Extreme Weather and Climate Prediction [S41936] • Bringing Rain to the Subseasonal Forecasting Desert with Deep Learning Weather Prediction [S41170] • Accelerating a 3D Conditional Generative Adversarial Network for Seismic Attenuation Compensation on a Multi-GPU Node [S41095] • Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal Resolutions [S41019] • Accelerating End-to-end Deep Learning for Particle Reconstruction using CMS Open Data at CERN [S41394] • Developing Digital Twins for Weather, Climate, and Energy [S41823] • OpenFold: Democratizing Access to Predicting and Modeling Protein Structures [S41633] • Accelerating Simulation Process Using GPUs and Reliable Neural Networks [S42404] • Case Study on Developing Digital Twins for the Power Industry using Modulus and Omniverse [S41671] Developing Digital Twins for Weather, Climate, and Energy [S41823]
  • 11. AI FOR HPC 異なる分類軸: モデル化の対象 • Fourier Neural Operators and Transformers for Extreme Weather and Climate Prediction [S41936] • Bringing Rain to the Subseasonal Forecasting Desert with Deep Learning Weather Prediction [S41170] • Accelerating a 3D Conditional Generative Adversarial Network for Seismic Attenuation Compensation on a Multi-GPU Node [S41095] • Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal Resolutions [S41019] • Accelerating End-to-end Deep Learning for Particle Reconstruction using CMS Open Data at CERN [S41394] • Developing Digital Twins for Weather, Climate, and Energy [S41823] • OpenFold: Democratizing Access to Predicting and Modeling Protein Structures [S41633] • Accelerating Simulation Process Using GPUs and Reliable Neural Networks [S42404] • Case Study on Developing Digital Twins for the Power Industry using Modulus and Omniverse [S41671] Developing Digital Twins for Weather, Climate, and Energy [S41823] Fully data driven Inductive bias Physics constrained Inductive bias Physics constrained Fully data driven Fully data driven Fully data driven Inductive bias Fully data driven
  • 12. FROM HPC TO AI: 学習を加速させるためのテクニックなど
  • 13. 取り上げるセッション 分散学習系の話をメインに ▪Bridging the Gap Between Basic Neural Language Models, Transformers, and Megatron [S41966] ▪大規模言語モデルの学習高速化に関する工夫について ▪Training Large Models with PyTorch [S41986] ▪大規模モデルの学習に関する PyTorch の最新状況 ▪Accelerating Distributed Reinforcement Learning [S41925] ▪深層強化学習を分散化する際の高速化等について
  • 14. 取り上げるセッション 分散学習系の話をメインに ▪Bridging the Gap Between Basic Neural Language Models, Transformers, and Megatron [S41966] ▪大規模言語モデルの学習高速化に関する工夫について ▪Training Large Models with PyTorch [S41986] ▪大規模モデルの学習に関する PyTorch の最新状況 ▪Accelerating Distributed Reinforcement Learning [S41925] ▪深層強化学習を分散化する際の高速化等について
  • 15. BRIDGING THE GAP BETWEEN BASIC NEURAL LANGUAGE MODELS, TRANSFORMERS, AND MEGATRON [S41966] 言語モデルの背景と最近の状況
  • 16. BRIDGING THE GAP BETWEEN BASIC NEURAL LANGUAGE MODELS, TRANSFORMERS, AND MEGATRON [S41966] FYI: 言語モデル「大規模化」の背景など How to Avoid the Staggering Cost of Training State-of-the-art Large Language Models [S41904] Building Large-scale, Localized Language Models: From Data Preparation to Training and Deployment to Production [S42018]
  • 17. BRIDGING THE GAP BETWEEN BASIC NEURAL LANGUAGE MODELS, TRANSFORMERS, AND MEGATRON [S41966] 大規模モデルを学習するためのアプローチについて
  • 18. BRIDGING THE GAP BETWEEN BASIC NEURAL LANGUAGE MODELS, TRANSFORMERS, AND MEGATRON [S41966] 大規模モデルを学習するためのアプローチについて
  • 19. 取り上げるセッション 分散学習系の話をメインに ▪Bridging the Gap Between Basic Neural Language Models, Transformers, and Megatron [S41966] ▪大規模言語モデルの学習高速化に関する工夫について ▪Training Large Models with PyTorch [S41986] ▪大規模モデルの学習に関する PyTorch の最新状況 ▪Accelerating Distributed Reinforcement Learning [S41925] ▪深層強化学習を分散化する際の高速化等について
  • 20. TRAINING LARGE MODELS WITH PYTORCH [S41986] PyTorch における分散学習のサポート状況
  • 21. TRAINING LARGE MODELS WITH PYTORCH [S41986] データ並列の各機能
  • 22. TRAINING LARGE MODELS WITH PYTORCH [S41986] PyTorch におけるパイプライン化について
  • 23. TRAINING LARGE MODELS WITH PYTORCH [S41986] FYI: XLA, JAX でのモデル並列 Model Parallelism in XLA/GPU [S42006]
  • 24. TRAINING LARGE MODELS WITH PYTORCH [S41986] 踏み込んだ最適化: checkpointing & offloading
  • 25. TRAINING LARGE MODELS WITH PYTORCH [S41986] 踏み込んだ最適化: checkpointing & offloading
  • 26. TRAINING LARGE MODELS WITH PYTORCH [S41986] 各手法に対する性能評価 The PyTorch distributed team share best practices for Large Scale Training on Google Cloud (Presented by Google Cloud) [S42584] 特にネットワーク周りの詳細について このセッションでは、同じ実験を違う角度から説明
  • 27. 取り上げるセッション 分散学習系の話をメインに ▪Bridging the Gap Between Basic Neural Language Models, Transformers, and Megatron [S41966] ▪大規模言語モデルの学習高速化に関する工夫について ▪Training Large Models with PyTorch [S41986] ▪大規模モデルの学習に関する PyTorch の最新状況 ▪Accelerating Distributed Reinforcement Learning [S41925] ▪深層強化学習を分散化する際の高速化等について
  • 28. ACCELERATING DISTRIBUTED REINFORCEMENT LEARNING [S41925] 強化学習の難しさと、分散化の必要性
  • 29. ACCELERATING DISTRIBUTED REINFORCEMENT LEARNING [S41925] RAPTOR: 効率的な分散深層強化学習プラットフォーム
  • 30. FROM AI TO HPC: 科学技術計算への AI 適用
  • 31. 取り上げるセッション データドリブンなアプローチからシミュレーション系の話題まで ▪Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal Resolutions [S41019] ▪U-Net ベースでの降雨量および海水面温度予測 ▪Accelerating Simulation Process Using GPUs and Reliable Neural Networks [S42404] ▪Graph Neural Network (GNN) を利用した、回転および平行移動に非依存なシミュレーター ▪Accelerating a 3D Conditional Generative Adversarial Network for Seismic Attenuation Compensation on a Multi-GPU Node [S41095] ▪Pix2Pix を利用して、地質調査画像の減衰補償を試みている ▪Fourier Neural Operators and Transformers for Extreme Weather and Climate Prediction [S41936] ▪現在の気象予測に関する課題感の紹介と、Fourier Neural Operator を軸とした解像度非依存な 学習に向けた取り組み
  • 32. 取り上げるセッション データドリブンなアプローチからシミュレーション系の話題まで ▪Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal Resolutions [S41019] ▪U-Net ベースでの降雨量および海水面温度予測 ▪Accelerating Simulation Process Using GPUs and Reliable Neural Networks [S42404] ▪Graph Neural Network (GNN) を利用した、回転および平行移動に非依存なシミュレーター ▪Accelerating a 3D Conditional Generative Adversarial Network for Seismic Attenuation Compensation on a Multi-GPU Node [S41095] ▪Pix2Pix を利用して、地質調査画像の減衰補償を試みている ▪Fourier Neural Operators and Transformers for Extreme Weather and Climate Prediction [S41936] ▪現在の気象予測に関する課題感の紹介と、Fourier Neural Operator を軸とした解像度非依存な 学習に向けた取り組み
  • 33. SCALABLE DATA-DRIVEN GLOBAL WEATHER PREDICTIONS AT HIGH SPATIAL AND TEMPORAL RESOLUTIONS [S41019] 気象予測の現状整理と AI の活用方法
  • 34. SCALABLE DATA-DRIVEN GLOBAL WEATHER PREDICTIONS AT HIGH SPATIAL AND TEMPORAL RESOLUTIONS [S41019] 降雨量予測に利用した手法 (U-Net) などについて
  • 35. SCALABLE DATA-DRIVEN GLOBAL WEATHER PREDICTIONS AT HIGH SPATIAL AND TEMPORAL RESOLUTIONS [S41019] 評価結果や LSTM との組み合わせについての検討
  • 36. SCALABLE DATA-DRIVEN GLOBAL WEATHER PREDICTIONS AT HIGH SPATIAL AND TEMPORAL RESOLUTIONS [S41019] 海水面温度予測への応用に関する初期検討結果の紹介
  • 37. SCALABLE DATA-DRIVEN GLOBAL WEATHER PREDICTIONS AT HIGH SPATIAL AND TEMPORAL RESOLUTIONS [S41019] 論文と実装
  • 38. 取り上げるセッション データドリブンなアプローチからシミュレーション系の話題まで ▪Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal Resolutions [S41019] ▪U-Net ベースでの降雨量および海水面温度予測 ▪Accelerating Simulation Process Using GPUs and Reliable Neural Networks [S42404] ▪Graph Neural Network (GNN) を利用した、回転および平行移動に非依存なシミュレーター ▪Accelerating a 3D Conditional Generative Adversarial Network for Seismic Attenuation Compensation on a Multi-GPU Node [S41095] ▪Pix2Pix を利用して、地質調査画像の減衰補償を試みている ▪Fourier Neural Operators and Transformers for Extreme Weather and Climate Prediction [S41936] ▪現在の気象予測に関する課題感の紹介と、Fourier Neural Operator を軸とした解像度非依存な 学習に向けた取り組み
  • 39. ACCELERATING SIMULATION PROCESS USING GPUS AND RELIABLE NEURAL NETWORKS [S42404] 現状のシミュレーションにおける問題と、解決策の提案
  • 40. ACCELERATING SIMULATION PROCESS USING GPUS AND RELIABLE NEURAL NETWORKS [S42404] monolish: デバイス非依存な、使いやすい API
  • 41. ACCELERATING SIMULATION PROCESS USING GPUS AND RELIABLE NEURAL NETWORKS [S42404] 多様な形状の物体や、回転、平行移動を伴う状況に対するシミュレーションを実現する方法
  • 42. ACCELERATING SIMULATION PROCESS USING GPUS AND RELIABLE NEURAL NETWORKS [S42404] Graph Neural Network をベースとした手法による解決
  • 43. ACCELERATING SIMULATION PROCESS USING GPUS AND RELIABLE NEURAL NETWORKS [S42404] 適用範囲と評価結果
  • 44. ACCELERATING SIMULATION PROCESS USING GPUS AND RELIABLE NEURAL NETWORKS [S42404] 手法詳細等
  • 45. 取り上げるセッション データドリブンなアプローチからシミュレーション系の話題まで ▪Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal Resolutions [S41019] ▪U-Net ベースでの降雨量および海水面温度予測 ▪Accelerating Simulation Process Using GPUs and Reliable Neural Networks [S42404] ▪Graph Neural Network (GNN) を利用した、回転および平行移動に非依存なシミュレーター ▪Accelerating a 3D Conditional Generative Adversarial Network for Seismic Attenuation Compensation on a Multi-GPU Node [S41095] ▪Pix2Pix を利用して、地質調査画像の減衰補償を試みている ▪Fourier Neural Operators and Transformers for Extreme Weather and Climate Prediction [S41936] ▪現在の気象予測に関する課題感の紹介と、Fourier Neural Operator を軸とした解像度非依存な 学習に向けた取り組み
  • 46. ACCELERATING A 3D CONDITIONAL GENERATIVE ADVERSARIAL NETWORK FOR SEISMIC ATTENUATION COMPENSATION ON A MULTI-GPU NODE [S41095] 問題設定: 地質調査時の減衰補償
  • 47. ACCELERATING A 3D CONDITIONAL GENERATIVE ADVERSARIAL NETWORK FOR SEISMIC ATTENUATION COMPENSATION ON A MULTI-GPU NODE [S41095] Pix2Pix を画像復元に活用
  • 48. ACCELERATING A 3D CONDITIONAL GENERATIVE ADVERSARIAL NETWORK FOR SEISMIC ATTENUATION COMPENSATION ON A MULTI-GPU NODE [S41095] モデルの学習フローや計算機構成の工夫など
  • 49. ACCELERATING A 3D CONDITIONAL GENERATIVE ADVERSARIAL NETWORK FOR SEISMIC ATTENUATION COMPENSATION ON A MULTI-GPU NODE [S41095] モデルの学習フローや計算機構成の工夫など
  • 50. ACCELERATING A 3D CONDITIONAL GENERATIVE ADVERSARIAL NETWORK FOR SEISMIC ATTENUATION COMPENSATION ON A MULTI-GPU NODE [S41095] 出力例など
  • 51. 取り上げるセッション データドリブンなアプローチからシミュレーション系の話題まで ▪Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal Resolutions [S41019] ▪U-Net ベースでの降雨量および海水面温度予測 ▪Accelerating Simulation Process Using GPUs and Reliable Neural Networks [S42404] ▪Graph Neural Network (GNN) を利用した、回転および平行移動に非依存なシミュレーター ▪Accelerating a 3D Conditional Generative Adversarial Network for Seismic Attenuation Compensation on a Multi-GPU Node [S41095] ▪Pix2Pix を利用して、地質調査画像の減衰補償を試みている ▪Fourier Neural Operators and Transformers for Extreme Weather and Climate Prediction [S41936] ▪現在の気象予測に関する課題感の紹介と、Fourier Neural Operator を軸とした解像度非依存な 学習に向けた取り組み
  • 52. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND CLIMATE PREDICTION [S41936] 気候科学の現状とさらなる高速化の必要性
  • 53. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND CLIMATE PREDICTION [S41936] DestinE project とその意義
  • 54. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND CLIMATE PREDICTION [S41936] Physics-ML の応用事例と、フレームワークとしての Modulus
  • 55. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND CLIMATE PREDICTION [S41936] Modulus + Omniverse のデモ
  • 56. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND CLIMATE PREDICTION [S41936] FYI: Modulus はこの後のセッションで詳細に説明されます
  • 57. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND CLIMATE PREDICTION [S41936] FourCastNet: 気象予測のための Physic-ML モデル
  • 58. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND CLIMATE PREDICTION [S41936] 予測結果例
  • 59. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND CLIMATE PREDICTION [S41936] 予測結果例
  • 60. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME WEATHER AND CLIMATE PREDICTION [S41936] Fourier Neural Operator: 解像度非依存なモデルの概要
  • 62. まとめ よく聞く HPC + AI というものは、結局なんだったのかというと…… ▪GTC のセッションを通して HPC + AI の方向性を整理 ▪HPC for AI と AI for HPC ▪後者については適用対象による分類と、データの扱い方による分類がある ▪学習高速化、大規模化の文脈では、フレームワーク等の整備が継続 ▪特に大規模学習を、より簡単に実現できるようなアプローチが順次導入されている ▪科学技術計算における AI 活用では、直接的なアプローチを超えた方法が増えてきている ▪GNN の活用や、PDE をモデルに組み込むなど
  • 65. HPC 関連トピックでの機械学習利用セッション (1/4) HPC - Climate / Weather / Ocean Modeling ▪ Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal Resolutions [S41019] ▪ Can a Deep Learning Model Measure CO2 More Precisely using Satellite Data? [S41127] ▪ Bringing Rain to the Subseasonal Forecasting Desert with Deep Learning Weather Prediction [S41170] ▪ Mitigating Risk of Natural Disaster with GPU-accelerated Analytics [S41231] ▪ Innovative Startups Leveraging AI to Tackle Climate Change [S41910] ▪ Fourier Neural Operators and Transformers for Extreme Weather and Climate Prediction [S41936] ▪ Digital Twins for Understanding and Adapting to Climate Change [S41950] ▪ 最先端のデータサイエンスで切り拓くリアルタイム豪雨・洪水予測 [S42363] ▪ Big Data in Climate and Earth Sciences: Challenges and Opportunities for Machine Learning [S42389] ▪ The Future of HPC Looks a Lot Like ML (Presented by Amazon Web Services) [S42471]
  • 66. HPC 関連トピックでの機械学習利用セッション (2/4) HPC - Computational Chemistry and Materials Science ▪ Inlining AI into Molecular Dynamics (and Vice Versa) [S41330] ▪ The Value of GPUs in Computational Chemistry and Materials Science in the Age of Machine Learning [S41745] HPC - Computational Fluid Dynamics ▪ Advances in Digital Twins of Granular Material Processes using Physics-based Simulations and AI [S41065] ▪ Developing Digital Twins for Energy Applications using Modulus [S41325]
  • 67. HPC 関連トピックでの機械学習利用セッション (3/4) HPC - Computational Physics ▪ Using OpenACC to Accelerate Wave Propagation Simulations Combining Equation-based and Data- driven Methods [S41359] ▪ Accelerating End-to-end Deep Learning for Particle Reconstruction using CMS Open Data at CERN [S41394] ▪ Accelerating Simulation Process Using GPUs and Reliable Neural Networks [S42404] HPC - Scientific Visualization ▪ Scaling HPC Simulations with AI for Design using Physics-enhanced and Physics-informed Techniques (Presented by Amazon Web Services) [S42531]
  • 68. HPC 関連トピックでの機械学習利用セッション (4/4) HPC – Supercomputing ▪ Scientific AI at Scale on the Perlmutter Supercomputer at NERSC [S41386] ▪ NLP Technology and Voice of Customer Product Introduction [S41681] ▪ HPC, AI, and the Edge [S42165] ▪ SMU uses SuperPOD to Take AI Research to the Next Level (Presented by Mark III Systems) [S42689]