Abstract image of a woman sitting on books and studying on a laptop

Latent ODEs for Irregularly-Sampled Time Series

A
aza rashi

NeurIPS 2019 読み会 in 京都(https://connpass.com/event/159096/)のLT枠で紹介する論文です。 Abs.: 不均一な間隔の 時系列データを標準RNNでモデル化は困難。不規則な観測時間間隔をODEソルバーを使って補完し，Enc./Dec.モデルを用いてLatent ODEsを構築することで周期的な時不変ダイナミクスを復元。

Technology
1 of 8
Download to read offline
1
2
3
4
5
6
7
8
Latent ODEs for Irregularly-Sampled Time Series s.matoba NeurIPS2019読み会@京都
[まとめ] • 問題 不均一な間隔の時系列を標準のRNNでモデル化は困難 • 提案 ODEを使ったダイナミクスの補完 + Enc./Dec.モデル • 結論 周期的な時不変ダイナミクスと相性が良い Fig.1 ある1人の患者の48時間の複数観測データ
[復習] Neural ODEs @ NeurIPS2018 • 隠れ状態 ℎ(𝑡) のダイナミクスを求める。 • ODEソルバーを入力する損失関数を最適化。 • Training時のODEソルバーを通したreverse-mode differentiationの問題は adjoint sensitivity method (Pontryagin)を用いて勾配計算。 • 随伴感度 𝑎(𝑡) = 𝜕𝐿 𝜕𝑧(𝑡) を使用した、メモリ効率が良い𝜃に関する勾配計算。 ， vector-Jacobian積 ResNetだとBackpropagation
ODE-RNN • 観測時間の間の(隠れ状態)補完方法 • Standard RNN • RNN-Decay and GRU-D 固定点に単調収束するダイナミクスに強制している • ODE-RNN • 観測時間の間： • 観測時間： ODEソルバーでフレキシブルなダイナミクスを可能に。 𝜏: decay rate (観測した時間) ただし、自己回帰モデルは観測値が疎らな場合パフォーマンス低下
Latent ODEs (Enc./Dec.モデル) • 不規則な時間データ𝑥𝑖から近似事後分布𝑞(𝑧0|𝑥0, … , 𝑥 𝑁)を求める • 初期潜在状態𝑧0から時系列モデルを生成 • ELBOを最大化することで、Enc./Dec.共同でTraining ODE-RNN
Latent ODEs using Poisson processes • 不規則な観測率をモデル化 • Poissonポイント過程の対数尤度： • Latent ODE に 観測時間に対応するPoisson過程を追加することで拡張 • 𝜆(𝑡)を𝑧(𝑡)の関数としてパラメータ化 • 条件付き周辺尤度 を最大化する代わりに 同時周辺尤度 を最大化 (正直、あまり興味ない…)
[結果] Toy dataset で時不変周期の復元性を確認 • [Training]： 赤い領域の点を調整、青い領域の点を再構築。 • [Test] ：赤い領域の20点モデルを調整、より大きな時間で生成ODE解く。 Latent ODE with ODE-RNNは、データから周期的Dynamicsを復元！ Train Test Train Test
[結果] (Physionet) ICU患者の死亡率の予測 片側t検定のトレーニング結果 ・[Training]： (Ours)が平均誤差・誤差分散ともに良い ・[Test]：AUCは思ったほど差が出なかった… (死亡するんだったら単調収束に向かう？) 歩く・座る・寝るなどのアクティビティ分類 では、Latent ODE(ODE enc)がもっとも良い

More Related Content

PPTX
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
Deep Learning JP
 
PPTX
これからの Vision & Language ～ Acadexit した4つの理由
Yoshitaka Ushiku
 
PPTX
How Much Position Information Do Convolutional Neural Networks Encode?
Kazuyuki Miyazawa
 
PPTX
[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...
Deep Learning JP
 
PDF
Skip Connection まとめ（Neural Network）
Yamato OKAMOTO
 
PDF
EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monoc...
Kazuyuki Miyazawa
 
PDF
深層生成モデルと世界モデル
Masahiro Suzuki
 
PDF
ドメイン適応の原理と応用
Yoshitaka Ushiku
 
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
Deep Learning JP
 
これからの Vision & Language ～ Acadexit した4つの理由
Yoshitaka Ushiku
 
How Much Position Information Do Convolutional Neural Networks Encode?
Kazuyuki Miyazawa
 
[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...
Deep Learning JP
 
Skip Connection まとめ（Neural Network）
Yamato OKAMOTO
 
EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monoc...
Kazuyuki Miyazawa
 
深層生成モデルと世界モデル
Masahiro Suzuki
 
ドメイン適応の原理と応用
Yoshitaka Ushiku
 

What's hot (20)

PDF
深層生成モデルと世界モデル（2020/11/20版）
Masahiro Suzuki
 
PPTX
【DL輪読会】Is Conditional Generative Modeling All You Need For Decision-Making?
Deep Learning JP
 
PPTX
[DL輪読会]Neural Ordinary Differential Equations
Deep Learning JP
 
PPTX
[DL輪読会]When Does Label Smoothing Help?
Deep Learning JP
 
PDF
Transformer メタサーベイ
cvpaper. challenge
 
PDF
[DL輪読会]Generative Models of Visually Grounded Imagination
Deep Learning JP
 
PDF
実装レベルで学ぶVQVAE
ぱんいち すみもと
 
PDF
研究効率化Tips Ver.2
cvpaper. challenge
 
PDF
生成モデルの Deep Learning
Seiya Tokui
 
PDF
【メタサーベイ】Neural Fields
cvpaper. challenge
 
PDF
Domain Adaptation 発展と動向まとめ（サーベイ資料）
Yamato OKAMOTO
 
PDF
Transformerを多層にする際の勾配消失問題と解決法について
Sho Takase
 
PDF
Disentanglement Survey:Can You Explain How Much Are Generative models Disenta...
Hideki Tsunashima
 
PDF
【論文読み会】Self-Attention Generative Adversarial Networks
ARISE analytics
 
PDF
【メタサーベイ】Video Transformer
cvpaper. challenge
 
PPTX
[DL輪読会]Temporal DifferenceVariationalAuto-Encoder
Deep Learning JP
 
PDF
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
Deep Learning JP
 
PDF
画像生成・生成モデル メタサーベイ
cvpaper. challenge
 
PDF
[DL輪読会]Glow: Generative Flow with Invertible 1×1 Convolutions
Deep Learning JP
 
PDF
分散学習のあれこれ～データパラレルからモデルパラレルまで～
Hideki Tsunashima
 
深層生成モデルと世界モデル（2020/11/20版）
Masahiro Suzuki
 
【DL輪読会】Is Conditional Generative Modeling All You Need For Decision-Making?
Deep Learning JP
 
[DL輪読会]Neural Ordinary Differential Equations
Deep Learning JP
 
[DL輪読会]When Does Label Smoothing Help?
Deep Learning JP
 
Transformer メタサーベイ
cvpaper. challenge
 
[DL輪読会]Generative Models of Visually Grounded Imagination
Deep Learning JP
 
実装レベルで学ぶVQVAE
ぱんいち すみもと
 
研究効率化Tips Ver.2
cvpaper. challenge
 
生成モデルの Deep Learning
Seiya Tokui
 
【メタサーベイ】Neural Fields
cvpaper. challenge
 
Domain Adaptation 発展と動向まとめ（サーベイ資料）
Yamato OKAMOTO
 
Transformerを多層にする際の勾配消失問題と解決法について
Sho Takase
 
Disentanglement Survey:Can You Explain How Much Are Generative models Disenta...
Hideki Tsunashima
 
【論文読み会】Self-Attention Generative Adversarial Networks
ARISE analytics
 
【メタサーベイ】Video Transformer
cvpaper. challenge
 
[DL輪読会]Temporal DifferenceVariationalAuto-Encoder
Deep Learning JP
 
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
Deep Learning JP
 
画像生成・生成モデル メタサーベイ
cvpaper. challenge
 
[DL輪読会]Glow: Generative Flow with Invertible 1×1 Convolutions
Deep Learning JP
 
分散学習のあれこれ～データパラレルからモデルパラレルまで～
Hideki Tsunashima
 
Ad

Similar to Latent ODEs for Irregularly-Sampled Time Series (20)

PPTX
【DL輪読会】時系列予測 Transfomers の精度向上手法
Deep Learning JP
 
PPTX
ディープラーニングによる時系列データの異常検知
Core Concept Technologies
 
PDF
LSTM (Long short-term memory) 概要
Kenji Urai
 
PDF
[DL輪読会]Imputing Missing Events in Continuous-Time Event Streams (ICML 2019)
Deep Learning JP
 
PPTX
RNN.pptx
FumiyaOnishi
 
PDF
Scikit-learn and TensorFlow Chap-14 RNN (v1.1)
孝好 飯塚
 
PDF
Multivariate Time series analysis via interpretable RNNs
ohken
 
PDF
TensorflowとKerasによる深層学習のプログラム実装実践講座
Ruo Ando
 
PDF
ICASSP2017読み会 (Deep Learning III) [電通大 中鹿先生]
Shinnosuke Takamichi
 
PDF
HiPPO/S4解説
Morpho, Inc.
 
PDF
NeurIPS'21参加報告 tanimoto_public
Akira Tanimoto
 
PDF
[DL輪読会]Z-Forcing: Training Stochastic Recurrent Networks (NIPS2017)
Deep Learning JP
 
PDF
Deep and confident prediction for time series at uber
Ogushi Masaya
 
PDF
現在のDNNにおける未解決問題
Daisuke Okanohara
 
PDF
Dst_prediction_202203_TECH_in_Kyoto.pdf
HirotoshiUchino1
 
PDF
Sigfin Neural Fractional SDE NET
Kei Nakagawa
 
PDF
[第2版]Python機械学習プログラミング 第16章
Haruki Eguchi
 
PDF
[DL輪読会]Estimating Predictive Uncertainty via Prior Networks
Deep Learning JP
 
PDF
深層学習レポートDay3（小川成）
ssuser441cb9
 
PPTX
深層学習とTensorFlow入門
tak9029
 
【DL輪読会】時系列予測 Transfomers の精度向上手法
Deep Learning JP
 
ディープラーニングによる時系列データの異常検知
Core Concept Technologies
 
LSTM (Long short-term memory) 概要
Kenji Urai
 
[DL輪読会]Imputing Missing Events in Continuous-Time Event Streams (ICML 2019)
Deep Learning JP
 
RNN.pptx
FumiyaOnishi
 
Scikit-learn and TensorFlow Chap-14 RNN (v1.1)
孝好 飯塚
 
Multivariate Time series analysis via interpretable RNNs
ohken
 
TensorflowとKerasによる深層学習のプログラム実装実践講座
Ruo Ando
 
ICASSP2017読み会 (Deep Learning III) [電通大 中鹿先生]
Shinnosuke Takamichi
 
HiPPO/S4解説
Morpho, Inc.
 
NeurIPS'21参加報告 tanimoto_public
Akira Tanimoto
 
[DL輪読会]Z-Forcing: Training Stochastic Recurrent Networks (NIPS2017)
Deep Learning JP
 
Deep and confident prediction for time series at uber
Ogushi Masaya
 
現在のDNNにおける未解決問題
Daisuke Okanohara
 
Dst_prediction_202203_TECH_in_Kyoto.pdf
HirotoshiUchino1
 
Sigfin Neural Fractional SDE NET
Kei Nakagawa
 
[第2版]Python機械学習プログラミング 第16章
Haruki Eguchi
 
[DL輪読会]Estimating Predictive Uncertainty via Prior Networks
Deep Learning JP
 
深層学習レポートDay3（小川成）
ssuser441cb9
 
深層学習とTensorFlow入門
tak9029
 
Ad

Latent ODEs for Irregularly-Sampled Time Series

  • 1. Latent ODEs for Irregularly-Sampled Time Series s.matoba NeurIPS2019読み会@京都
  • 2. [まとめ] • 問題 不均一な間隔の時系列を標準のRNNでモデル化は困難 • 提案 ODEを使ったダイナミクスの補完 + Enc./Dec.モデル • 結論 周期的な時不変ダイナミクスと相性が良い Fig.1 ある1人の患者の48時間の複数観測データ
  • 3. [復習] Neural ODEs @ NeurIPS2018 • 隠れ状態 ℎ(𝑡) のダイナミクスを求める。 • ODEソルバーを入力する損失関数を最適化。 • Training時のODEソルバーを通したreverse-mode differentiationの問題は adjoint sensitivity method (Pontryagin)を用いて勾配計算。 • 随伴感度 𝑎(𝑡) = 𝜕𝐿 𝜕𝑧(𝑡) を使用した、メモリ効率が良い𝜃に関する勾配計算。 ， vector-Jacobian積 ResNetだとBackpropagation
  • 4. ODE-RNN • 観測時間の間の(隠れ状態)補完方法 • Standard RNN • RNN-Decay and GRU-D 固定点に単調収束するダイナミクスに強制している • ODE-RNN • 観測時間の間： • 観測時間： ODEソルバーでフレキシブルなダイナミクスを可能に。 𝜏: decay rate (観測した時間) ただし、自己回帰モデルは観測値が疎らな場合パフォーマンス低下
  • 5. Latent ODEs (Enc./Dec.モデル) • 不規則な時間データ𝑥𝑖から近似事後分布𝑞(𝑧0|𝑥0, … , 𝑥 𝑁)を求める • 初期潜在状態𝑧0から時系列モデルを生成 • ELBOを最大化することで、Enc./Dec.共同でTraining ODE-RNN
  • 6. Latent ODEs using Poisson processes • 不規則な観測率をモデル化 • Poissonポイント過程の対数尤度： • Latent ODE に 観測時間に対応するPoisson過程を追加することで拡張 • 𝜆(𝑡)を𝑧(𝑡)の関数としてパラメータ化 • 条件付き周辺尤度 を最大化する代わりに 同時周辺尤度 を最大化 (正直、あまり興味ない…)
  • 7. [結果] Toy dataset で時不変周期の復元性を確認 • [Training]： 赤い領域の点を調整、青い領域の点を再構築。 • [Test] ：赤い領域の20点モデルを調整、より大きな時間で生成ODE解く。 Latent ODE with ODE-RNNは、データから周期的Dynamicsを復元！ Train Test Train Test
  • 8. [結果] (Physionet) ICU患者の死亡率の予測 片側t検定のトレーニング結果 ・[Training]： (Ours)が平均誤差・誤差分散ともに良い ・[Test]：AUCは思ったほど差が出なかった… (死亡するんだったら単調収束に向かう？) 歩く・座る・寝るなどのアクティビティ分類 では、Latent ODE(ODE enc)がもっとも良い