RでWAIC
- 1. はじめに . . . WAIC . . . . . . . . . . . . R で WAIC @motivic Japan.R 2013 2013 年 12 月 7 日 @motivic R で WAIC 参考 .
- 2. はじめに . . . WAIC . . . . . . . . . . 目次 . 1 はじめに 自己紹介 今年を振り返る . 2 WAIC 正則モデル・特異モデル WAIC の理論的妥当性 WAIC の計算式 WAIC の計算例 R による計算の課題 . 3 参考 参考 HP @motivic R で WAIC 参考 .
- 3. はじめに . . . WAIC . . . . . . . . . . 自己紹介 twitter ID：@motivic 職業：研究室警備員 きょーみ： 代数統計 (代数幾何) 情報幾何 トポロジカルデータ解析 医療統計 を用いた 疫学 因果推論 統計ゆるふわ勢 @motivic R で WAIC 参考 .
- 4. はじめに . . . WAIC . . . . . . . . . . 年末なので今年を振り返る 2013 年のおもひで： 8 月：Tokyo.R デビュー 「21 世紀の手法対決」(MIC と HSIC の性能比較) @motivic R で WAIC 参考 .
- 5. はじめに . . . WAIC . . . . . . . . . . 年末なので今年を振り返る 2013 年のおもひで： 8 月：Tokyo.R デビュー 「21 世紀の手法対決」(MIC と HSIC の性能比較) 6 月：代数統計を学ぶためノルウェーに @motivic R で WAIC 参考 .
- 6. はじめに . . . WAIC . . . . . . . . . . 年末なので今年を振り返る 2013 年のおもひで： 8 月：Tokyo.R デビュー 「21 世紀の手法対決」(MIC と HSIC の性能比較) 6 月：代数統計を学ぶためノルウェーに ノルウェーでの一コマ： 俺「どんな日本人を知ってる？」 イタリア人「Hidetoshi Nakata @motivic R で WAIC 参考 .
- 7. はじめに . . . WAIC . . . . . . . . . . 年末なので今年を振り返る 2013 年のおもひで： 8 月：Tokyo.R デビュー 「21 世紀の手法対決」(MIC と HSIC の性能比較) 6 月：代数統計を学ぶためノルウェーに ノルウェーでの一コマ： 俺「どんな日本人を知ってる？」 イタリア人「Hidetoshi Nakata と Sumio Watanabe‡ 」 ‡ WAIC/WBIC という情報量規準を作った先生 @motivic R で WAIC 参考 .
- 8. はじめに . . . WAIC . . . . . . . . . . つまり WAIC は中田くらいスゴイ！ ？ @motivic R で WAIC 参考 .
- 9. はじめに . . . 参考 . WAIC . . . . . . . . . . 正則モデルと特異モデルの例 特異モデル †‡ 混合正規分布 隠れマルコフモデル 正則モデル 正規分布 線形回帰 . . . ベイジアンネットワーク ボルツマンマシン, NN ARMA . . . データサイエンティストが よく (?) 使うモデル！ † 正則条件 (Fisher 情報行列の正則性や identifiability など) を満たさないモデル ‡ 特異モデルかわいいよ、特異モデル (*´Д`*) @motivic R で WAIC
- 10. はじめに . . . 参考 . WAIC . . . . . . . . . . 正則モデルと特異モデルの情報量規準 正則モデル AIC BIC TIC GIC EIC RIC HQC . . . 特異モデル 2009 年まで情報量規準 が存在しなかった @motivic R で WAIC
- 11. はじめに . . . 参考 . WAIC . . . . . . . . . . 正則モデルと特異モデルの情報量規準 正則モデル AIC BIC TIC GIC EIC RIC HQC . . . 特異モデル WAIC† (2009) WBIC‡ (2013) † Widely Applicable Information Criterion または Watanabe-Akaike Information Criterion ‡ Widely applicable Bayesian Information Criterion @motivic R で WAIC
- 12. はじめに . . . 参考 . WAIC . . . . . . . . . . WAIC の理論的妥当性 広中の特異点解消定理 代数幾何 ゼータ関数 超関数 経験過程 @motivic R で WAIC
- 13. はじめに . . . 参考 . WAIC . . . . . . . . . . WAIC の理論的妥当性 広中の特異点解消定理 代数幾何 ゼータ関数 超関数 経験過程 LT じゃ無理！ @motivic R で WAIC
- 14. はじめに . . . 参考 . WAIC . . . . . . . . . . WAIC の計算式 . WAIC . X1 , ..., Xn を独立な確率変数, p (x |θ) をモデル, φ(θ) をパラメータ θ の事前分布としたとき、Z を正規化定数とすると、 T ∫ n n 1 ∏ 1∑ := − log p (Xi |θ) p (Xj |θ)φ(θ)d θ Z n i =1 V . WAIC j =1 n n ∑ 1 ∫ ∏ := (log p (Xi |θ))2 p (Xj |θ)φ(θ)d θ Z i =1 j =1 ∫ 2 n 1 ∏ log p (Xi |θ) p (Xj |θ)φ(θ)d θ − Z j =1 := T + V n @motivic R で WAIC
- 15. はじめに . . . WAIC . . . . . . . . . . WAIC のプログラム 渡辺先生の HP に WAIC の計算例のコードがある @motivic R で WAIC 参考 .
- 16. はじめに . . . WAIC . . . . . . . . . . WAIC のプログラム 渡辺先生の HP に WAIC の計算例のコードがある ただし MATLAB… @motivic R で WAIC 参考 .
- 17. はじめに . . . 参考 . WAIC . . . . . . . . . . WAIC のプログラム 渡辺先生の HP に WAIC の計算例のコードがある ただし MATLAB… ご家庭に はない！ @motivic R で WAIC
- 18. はじめに . . . WAIC . . . . . . . . . . WAIC のプログラム ご家庭にある R で混合分布の WAIC を計算させるため、 MATLAB のコードを R に翻訳して計算してみました この翻訳した R のコードは 12/13 の R advent calendar に載 せる予定です @motivic R で WAIC 参考 .
- 19. はじめに . . . 参考 . WAIC . . . . . . . . . . R で WAIC の計算ができた！ WAIC と汎化誤差 (GE) の期待値と分散がほぼ同じであること がこのグラフから分かります 0.03 value 0.02 variable 0.01 WAIC GE 0.00 −0.01 0 10 20 30 40 trial @motivic R で WAIC 50
- 20. はじめに . . . WAIC . . . . . . . . . . WAIC と DIC の比較 DIC より WAIC のほうが良いことが分かります @motivic R で WAIC 参考 .
- 21. はじめに . . . WAIC . . . . . . . . . . 課題 このプログラムだと計算が遅い 現在 RStan で高速な WAIC の計算を試してます 詳細は R advent calendar で！ @motivic R で WAIC 参考 .
- 22. はじめに . . . WAIC . . . . . . . . . . 参考 HP 東工大の渡辺先生の HP http://watanabewww.math.dis.titech.ac.jp/users/swatanab/waic2011.html R、RStan による WAIC の計算コード http://motivic.hateblo.jp/entry/2013/12/13/195527 http://motivic.hateblo.jp/entry/2013/12/15/232856 @motivic R で WAIC 参考 .