Submit Search
多項式あてはめで眺めるベイズ推定~今日からきみもベイジアン~
Download as PPTX, PDF
56 likes
12,041 views
T
tanutarou
多項式あてはめを例に、最小二乗法からガウスノイズモデル、ベイズ推定へと拡張していきながらベイズ推定の説明をする。実験はEdwardで行った。
Data & Analytics
Read more
1 of 34
Download now
Downloaded 83 times
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
Most read
18
19
Most read
20
21
22
23
Most read
24
25
26
27
28
29
30
31
32
33
34
More Related Content
PDF
数学で解き明かす深層学習の原理
Taiji Suzuki
PDF
計算論的学習理論入門 -PAC学習とかVC次元とか-
sleepy_yoshi
PPTX
変分ベイズ法の説明
Haruka Ozaki
PDF
PRML学習者から入る深層生成モデル入門
tmtm otm
PPTX
ベイズ統計学の概論的紹介
Naoki Hayashi
PDF
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII
PDF
論文紹介「A Perspective View and Survey of Meta-Learning」
Kota Matsui
PDF
自己教師学習(Self-Supervised Learning)
cvpaper. challenge
数学で解き明かす深層学習の原理
Taiji Suzuki
計算論的学習理論入門 -PAC学習とかVC次元とか-
sleepy_yoshi
変分ベイズ法の説明
Haruka Ozaki
PRML学習者から入る深層生成モデル入門
tmtm otm
ベイズ統計学の概論的紹介
Naoki Hayashi
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII
論文紹介「A Perspective View and Survey of Meta-Learning」
Kota Matsui
自己教師学習(Self-Supervised Learning)
cvpaper. challenge
What's hot
(20)
PPTX
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
PDF
POMDP下での強化学習の基礎と応用
Yasunori Ozaki
PPTX
猫でも分かるVariational AutoEncoder
Sho Tatsuno
PDF
LDA入門
正志 坪坂
PDF
バンディットアルゴリズム入門と実践
智之 村上
PDF
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
PDF
Fisher線形判別分析とFisher Weight Maps
Takao Yamanaka
PDF
潜在ディリクレ配分法
y-uti
PDF
深層生成モデルと世界モデル(2020/11/20版)
Masahiro Suzuki
PDF
多様な強化学習の概念と課題認識
佑 甲野
PDF
強化学習その1
nishio
PDF
3分でわかる多項分布とディリクレ分布
Junya Saito
PDF
パターン認識と機械学習入門
Momoko Hayamizu
PPTX
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
PDF
ベイズ統計入門
Miyoshi Yuya
PPTX
深層学習の数理
Taiji Suzuki
PDF
強化学習その2
nishio
PPTX
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
PPTX
PRML読み会第一章
Takushi Miki
PDF
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
Kenyu Uehara
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
POMDP下での強化学習の基礎と応用
Yasunori Ozaki
猫でも分かるVariational AutoEncoder
Sho Tatsuno
LDA入門
正志 坪坂
バンディットアルゴリズム入門と実践
智之 村上
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
Fisher線形判別分析とFisher Weight Maps
Takao Yamanaka
潜在ディリクレ配分法
y-uti
深層生成モデルと世界モデル(2020/11/20版)
Masahiro Suzuki
多様な強化学習の概念と課題認識
佑 甲野
強化学習その1
nishio
3分でわかる多項分布とディリクレ分布
Junya Saito
パターン認識と機械学習入門
Momoko Hayamizu
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
ベイズ統計入門
Miyoshi Yuya
深層学習の数理
Taiji Suzuki
強化学習その2
nishio
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
PRML読み会第一章
Takushi Miki
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
Kenyu Uehara
Ad
Viewers also liked
(20)
PDF
[DLHacks LT] PytorchのDataLoader -torchtextのソースコードを読んでみた-
Deep Learning JP
PPTX
20171024NL研報告スライド
Masatoshi TSUCHIYA
PDF
PoisoningAttackSVM (ICMLreading2012)
Hidekazu Oiwa
PPTX
[DL輪読会]Learning by Association - A versatile semi-supervised training method ...
Deep Learning JP
PDF
深層学習の判断根拠を理解するための 研究とその意義 @PRMU 2017熊本
Takahiro Kubo
PDF
もしその単語がなかったら
Hiroshi Nakagawa
PDF
Prophet入門【R編】Facebookの時系列予測ツール
hoxo_m
PPTX
20170819 CV勉強会 CVPR 2017
issaymk2
PDF
On the Dynamics of Machine Learning Algorithms and Behavioral Game Theory
Rikiya Takahashi
PDF
Stochastic Variational Inference
Kaede Hayashi
PDF
CVPR2016読み会 Sparsifying Neural Network Connections for Face Recognition
Koichi Takahashi
PDF
LCA and RMQ ~簡潔もあるよ!~
Yuma Inoue
PPTX
Greed is Good: 劣モジュラ関数最大化とその発展
Yuichi Yoshida
PDF
sublabel accurate convex relaxation of vectorial multilabel energies
Fujimoto Keisuke
PDF
DeepLearningTutorial
Takayoshi Yamashita
PDF
プログラミングコンテストでのデータ構造 2 ~動的木編~
Takuya Akiba
PDF
Dragon: A Distributed Object Storage at Yahoo! JAPAN (WebDB Forum 2017)
Yahoo!デベロッパーネットワーク
PDF
ディープラーニングの産業応用とそれを支える技術
Shohei Hido
PDF
PRML輪読#14
matsuolab
PDF
ウェーブレット木の世界
Preferred Networks
[DLHacks LT] PytorchのDataLoader -torchtextのソースコードを読んでみた-
Deep Learning JP
20171024NL研報告スライド
Masatoshi TSUCHIYA
PoisoningAttackSVM (ICMLreading2012)
Hidekazu Oiwa
[DL輪読会]Learning by Association - A versatile semi-supervised training method ...
Deep Learning JP
深層学習の判断根拠を理解するための 研究とその意義 @PRMU 2017熊本
Takahiro Kubo
もしその単語がなかったら
Hiroshi Nakagawa
Prophet入門【R編】Facebookの時系列予測ツール
hoxo_m
20170819 CV勉強会 CVPR 2017
issaymk2
On the Dynamics of Machine Learning Algorithms and Behavioral Game Theory
Rikiya Takahashi
Stochastic Variational Inference
Kaede Hayashi
CVPR2016読み会 Sparsifying Neural Network Connections for Face Recognition
Koichi Takahashi
LCA and RMQ ~簡潔もあるよ!~
Yuma Inoue
Greed is Good: 劣モジュラ関数最大化とその発展
Yuichi Yoshida
sublabel accurate convex relaxation of vectorial multilabel energies
Fujimoto Keisuke
DeepLearningTutorial
Takayoshi Yamashita
プログラミングコンテストでのデータ構造 2 ~動的木編~
Takuya Akiba
Dragon: A Distributed Object Storage at Yahoo! JAPAN (WebDB Forum 2017)
Yahoo!デベロッパーネットワーク
ディープラーニングの産業応用とそれを支える技術
Shohei Hido
PRML輪読#14
matsuolab
ウェーブレット木の世界
Preferred Networks
Ad
Similar to 多項式あてはめで眺めるベイズ推定~今日からきみもベイジアン~
(20)
PDF
Casual learning machine learning with_excel_no3
KazuhiroSato8
PDF
いいからベイズ推定してみる
Makoto Hirakawa
PDF
Rでベイズをやってみよう!(コワい本1章)@BCM勉強会
Shushi Namba
PDF
PRML第3章_3.3-3.4
Takashi Tamura
PDF
20190512 bayes hands-on
Yoichi Tokita
PDF
単純ベイズ法による異常検知 #ml-professional
Ai Makabi
PPTX
PRML 1.2.3 ベイズ確率
KokiTakamiya
PDF
演習II.第1章 ベイズ推論の考え方 Part 2.スライド
Wataru Shito
PDF
PRML輪読#3
matsuolab
PDF
自動微分変分ベイズ法の紹介
Taku Yoshioka
PDF
20170630 Cognitive Interaction Design @ Kyoto Institute of Technology
Kazushi Ikeda
PDF
3.4
show you
PDF
PRML 上 1.2.4 ~ 1.2.6
禎晃 山崎
PDF
0726
RIKEN Center for Integrative Medical Science Center (IMS-RCAI)
PPTX
要因計画データに対するベイズ推定アプローチ
Takashi Yamane
PDF
PRML セミナー
sakaguchi050403
PDF
bayesian inference
Asako Yanuki
PPTX
[論文解説]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
Ryutaro Yamauchi
PDF
演習II.第1章 ベイズ推論の考え方 Part 2.講義ノート
Wataru Shito
PDF
ユニバーサルなベイズ測度について
Joe Suzuki
Casual learning machine learning with_excel_no3
KazuhiroSato8
いいからベイズ推定してみる
Makoto Hirakawa
Rでベイズをやってみよう!(コワい本1章)@BCM勉強会
Shushi Namba
PRML第3章_3.3-3.4
Takashi Tamura
20190512 bayes hands-on
Yoichi Tokita
単純ベイズ法による異常検知 #ml-professional
Ai Makabi
PRML 1.2.3 ベイズ確率
KokiTakamiya
演習II.第1章 ベイズ推論の考え方 Part 2.スライド
Wataru Shito
PRML輪読#3
matsuolab
自動微分変分ベイズ法の紹介
Taku Yoshioka
20170630 Cognitive Interaction Design @ Kyoto Institute of Technology
Kazushi Ikeda
3.4
show you
PRML 上 1.2.4 ~ 1.2.6
禎晃 山崎
0726
RIKEN Center for Integrative Medical Science Center (IMS-RCAI)
要因計画データに対するベイズ推定アプローチ
Takashi Yamane
PRML セミナー
sakaguchi050403
bayesian inference
Asako Yanuki
[論文解説]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
Ryutaro Yamauchi
演習II.第1章 ベイズ推論の考え方 Part 2.講義ノート
Wataru Shito
ユニバーサルなベイズ測度について
Joe Suzuki
Recently uploaded
(9)
PDF
【QYResearch】人形ロボット産業の市場構造と今後の発展方向に関する分析レポート
QY Research株式会社
PDF
グローバルロープウェイ用スチールワイヤーロープ市場2025:主要企業のシェア、売上動向、競争戦略
yhresearch
PDF
世界半導体用酸化ハフニウム市場のサプライチェーン解析:上流、下流、収益モデル分析2025-2031
2418867459
PDF
商用ウェブカメラ市場:世界の産業現状、競合分析、シェア、規模、動向2025-2031年の予測
snow326214
PDF
液体クラトム抽出物供給側分析:世界の生産能力・販売量・平均価格動向(2025-2031)
yhresearch
PDF
限外ろ過膜調査レポート:市場規模、シェア、産業分析データ、最新動向2025-2031 YH Research
2418867459
PDF
口腔内スキャナー市場:世界の産業現状、競合分析、シェア、規模、動向2025-2031年の予測
snow326214
PDF
XCMSを用いた質量分析データ処理_BioCAsia2021_yamamoto.pdf
h_yama2396
PDF
Qlik TECH TALK セミナー:What's New In Qlik ~ 2025年7月リリース最新機能のご紹介
QlikPresalesJapan
【QYResearch】人形ロボット産業の市場構造と今後の発展方向に関する分析レポート
QY Research株式会社
グローバルロープウェイ用スチールワイヤーロープ市場2025:主要企業のシェア、売上動向、競争戦略
yhresearch
世界半導体用酸化ハフニウム市場のサプライチェーン解析:上流、下流、収益モデル分析2025-2031
2418867459
商用ウェブカメラ市場:世界の産業現状、競合分析、シェア、規模、動向2025-2031年の予測
snow326214
液体クラトム抽出物供給側分析:世界の生産能力・販売量・平均価格動向(2025-2031)
yhresearch
限外ろ過膜調査レポート:市場規模、シェア、産業分析データ、最新動向2025-2031 YH Research
2418867459
口腔内スキャナー市場:世界の産業現状、競合分析、シェア、規模、動向2025-2031年の予測
snow326214
XCMSを用いた質量分析データ処理_BioCAsia2021_yamamoto.pdf
h_yama2396
Qlik TECH TALK セミナー:What's New In Qlik ~ 2025年7月リリース最新機能のご紹介
QlikPresalesJapan
多項式あてはめで眺めるベイズ推定~今日からきみもベイジアン~
1.
多項式あてはめで眺めるベイズ推定 ~今日からきみもベイジアン~
2.
自己紹介 ・情報系 M2 ・研究:グラフィカルモデルの推定手法 ・twitter :
@tanutarou730 ・mastodon : tanutarou@mathtod.online ・ベイズ見習い
3.
はじめに 今日の内容は個人的な主観や誤りが含まれている可能性が あるので、盲信するのはやめてください 質問があればtwitter経由や、 以下のslackチャンネルに疑問を書いてください(推奨) #statistics
4.
多項式あてはめ 今日は多項式あてはめを例にベイズ推定を説明 データ:N個 (ti, xi) モデル: パラメータ:ai,
b [1] https://www.r-bloggers.com/fitting-polynomial-regression-in-r/ データにフィットする ような多項式を求める 目的:
5.
決定的手法と確率的手法 決定的手法:確率使わずにモデルを表現 確率的手法:確率を使ってモデルを表現 注:ベイズ的手法は確率的手法に含まれる 決定的手法 確率的手法 ベイズ的手法 最小二乗法
ガウスノイズモデル ベイズ線形回帰モデル ニューラルネットワーク 確率的ニューラルネット ワーク ベイジアンニューラル ネットワーク SVM ロジスティック回帰 ベイズロジスティック回 帰 Adaboost ランダムフォレスト ガウス過程回帰 k-means法 関連ベクトルマシン
6.
今日の流れ 今日はこの拡張を順番に行っていき、ベイズ推定と は何かについてみていく Edwardによる実装 (Jupyter notebook): https://gist.github.com/tanutarou/309cd8c0c725224d96526f25c20d3262 最小二乗法
ガウスノイズモデル ベイズ線形回帰モデル 決定的手法 確率的手法 ベイズ的手法
7.
最小二乗法 データ点とモデルの予測値との差の平方和の最小化 微分してイコールゼロで極値を求めることで解析的に解ける 予測値 M=1(直線)のとき 1
8.
最小二乗法の結果 多項式の次数Mは3が良さそう。 これで満足?(´・ω・`) 過学習!
9.
ガウスノイズモデル データにフィットする ような確率分布を求める 確率的なモデルで多項式を表現してみる データ:N個 (ti, xi) モデル: パラメータ: [1]
https://www.r-bloggers.com/fitting-polynomial-regression-in-r/ 目的:
10.
最尤推定 モデル: データ:N個 (ti, xi) 今このモデルからデータが(独立に)得られたと仮定する。 今持っているデータが得られる確率は? 同時確率: 今得られているデータが最も高い確率で得られるようにしよう! 最尤推定
11.
最尤推定 a, b, σについて微分してイコールゼロとおけばいい 尤度の最大化が、2乗誤差の最小化と等しい 最小二乗法はノイズに正規分布を仮定した尤度最大化
12.
ガウスノイズモデルによる推定結果 結果として確率分布が得られる
13.
確率的なモデルにして何がうれしい? ・正規分布の分散σも推定できるようになった ・ノイズの分布がガウス分布でない場合も最尤推定という統 一的な枠組みで推定できるようになった(柔軟なモデル設計) ・データに関する不確かさがわかる。データの分散。
14.
いよいよベイズ ほんとにこの分布でうれしいのだろうか?
15.
いよいよベイズ 縮尺を下げると・・・ これで不確かさをちゃんと表現できているのか?
16.
頻度主義とベイズ主義 頻度主義:データを生成している真の分布は1つと仮定 ベイズ主義:パラメータも確率分布を持つと考える ベイズ主義はデータが定数だとする表が 世の中に出回っている気がする(個人的に納得できない)。 頻度主義 ベイズ主義 母数 (パラメータ) 定数 確率変数 データ
確率変数 確率変数
17.
ベイズ的アプローチ ・頻度主義 ・ベイズ主義 定数 定数 定数 確率分布! 確率分布! 確率分布!
18.
事後確率分布 パラメータを確率変数とすると、事後確率分布を考えられる! ベイズの定理: 何を意味しているか? データが与えられたときに、データを生成した分布の パラメータがθである確率 Θ:パラメータ 尤度 事前分布 エビデンス
19.
ベイズ主義の推定方法 ・MAP推定(最大事後確率推定) ・ベイズ推定 パラメータの事後分布で尤度の期待値をとって推定を行う
20.
MAP推定を実際にやってみる モデル aの事前分布: bの事前分布: 予測分布: 今回、各正規分布の標準偏差はσa=σb=1, σ=√2と仮定
21.
MAP推定を実際にやってみる ・事後確率分布を計算しよう! この計算は一般に非常に難しい 解析的に求められるケースは非常に限られている(共役分布)。 これが理由で、ベイズ的アプローチは式が求められても特定 のケース以外は計算が困難とされていた・・(?)
22.
MCMCによるベイジアンの革命 MCMC(マルコフ連鎖モンテカルロ法): 計算パワーによるゴリ押しで、どんな分布を使っても事後確 率分布からのサンプリングを得られるようになった。 その他にも変分ベイズで計算時間の問題を解決するのが現在 の主流に見える
23.
実際のサンプリング結果 a1の事前分布: bの事前分布: a1の事後確率分布: bの事後確率分布: 3次の多項式(M=3)によるあてはめ
24.
MAP推定の結果 3次の多項式(M=3)によるあてはめ それほど最尤推定と比較して大きな変化はない
25.
MAP推定(過学習の抑制) 15次の多項式(M=15)のとき 事前分布によりMAP推定のほうが過学習を抑制できてそう(?) 最尤推定 MAP推定
26.
ベイズ推定の結果 まず事前分布からパラメータをサンプリングした結果を見て みる(学習していない状態) 当然、とてもフィッティングしているように見えない。
27.
ベイズ推定の結果 事後分布からのサンプリング結果。 フィッティングした。なにやらデータのないところの確率が 低そう・・
28.
ベイズ推定の結果 縮尺を下げてみると・・・ フィッティングして、なおかつデータのないところの不確か さが表現できている!
29.
結果の比較 最小二乗法 ガウスノイズモデル MAP推定 ベイズ推定
30.
結局ベイズ主義は何がいいのか ・事前分布によって事前知識を柔軟に取り入れることが出来 る(さらなるモデルの柔軟な設計, 過学習の抑制)とくに、デー タが少ない場合に有効。 ・ベイズ推定では、不確かな部分(モデルの自信のない部分) をデータが教えてくれる。次にどこのデータを手に入れるべ きかがわかる(ベイズ最適化?)。 ・ベイズ推定は、事後分布のすべての情報を使うので信頼の おける推定が出来る(点推定ではない)。 ・ベイズ更新ができる(事後確率分布をまた事前分布にして学 習, データが与えられるたびに更新できる)
31.
ベイズ的アプローチのデメリット ・計算コストが高い ・事前分布の選び方の問題 最尤推定はベイズ推定の特殊な場合とみなせるので、基本的 には最尤推定に対して出来ることに関しての欠点はない(?)
32.
ライブラリの充実 今日行ったようなプログラムは、ライブラリを使えば推定部 分は15L程度で出来る 最近Edwardは、Tensorflowに取り込まれることが決まった python R
33.
ベイズの学び方 ベイズ推定とグラフィカルモデル(玉木先生) 関連する部分を読む わからない ときは・・・ #statistics 先生
34.
まとめ ・こんなに素晴らしいベイズ推定を手段の一つとして持た ない理由はないです。学びましょう。 ・一人で学ぶとどうしても、わかった気になってしまいま す。そうならないようにstatisticsチャットで素朴な質問を投 げあいましょう。
Download