PRML復々習レーン#3 前回までのあらすじ
- 1. PRML復々習レーン#3 前回までのあらすじ 2012-07-16 Yoshihiko Suhara @sleepy_yoshi v.1.1
- 2. 前回のおさらい • 復々習レーンの復習を15分程度でやります – 得られた結論にポイントを絞る ポイントだよ – 「よーするに」な内容 • 目的 – 前回の復習 – 不参加の方に流れを伝えるため – 自分自身の勉強のため 2
- 3. 前回の範囲 • 2.3 ガウス分布 – 2.3.1 条件付きガウス分布 – 2.3.2 周辺ガウス分布 – 2.3.3 ガウス変数に対するベイズの定理 – 2.3.4 ガウス分布の最尤推定 – 2.3.5 逐次推定 – 2.3.6 ガウス分布に対するベイズ推論 – 2.3.7 スチューデントのt分布 – 2.3.8 周期変数 – 2.3.9 混合ガウス分布 • 2.4 指数型分布族 – 2.4.1 最尤推定と十分推定量 – 2.4.2 共役事前分布 ここまで – 2.4.3 無情報事前分布 3
- 4. 2.3 ガウス分布 4
- 5. ポイントだよ 2.3 ガウス分布 ガウス分布は全ての基本 平均パラメータ𝝁，共分散パラメータ𝚺 (精度𝚲 = 𝚺 −1 )の ガウス分布の確率密度関数は以下のとおり 1 1 1 𝑇 𝚺 −1 • 𝒩 𝑥 𝜇, Σ = 𝐷 1 exp − 𝒙− 𝝁 𝒙− 𝝁 2 2𝜋 2 𝚺2 • 注意点 – 単峰性であること 𝐷+1 𝐷 – パラメータ数は + 𝐷個であるため，計算が困難 2 • 共分散行列に制限を設ける (a: 一般，b: 対角, c: 等分散) 5
- 6. ポイントだよ 2.3.1 条件付きガウス分布 𝑝 𝒙 𝑎 , 𝒙 𝑏 がガウス分布のとき， 条件付き分布𝑝 𝒙 𝒂 |𝒙 𝑏 もガウス分布 コレ 6
- 7. ポイントだよ 2.3.2 周辺ガウス分布 𝑝 𝒙 𝑎 , 𝒙 𝑏 がガウス分布のとき， 周辺分布𝑝 𝒙 𝒂 = 𝑝 𝒙 𝑎 , 𝒙 𝑏 d𝒙 𝑏 もガウス分布 コレ 7
- 8. 2.3.3 ガウス分布に対するベイズ推定 ポイントだよ 𝒙の周辺ガウス分布𝑝(𝒙)と条件付きガウス分布𝑝(𝒚|𝒙)が 以下で与えられたとき 𝒚の周辺分布と𝒙の条件付き分布は以下で表現できる • 𝒙の周辺ガウス分布𝑝(𝒙)と条件付きガウス分布𝑝(𝒚|𝒙) – 𝑝 𝒙 = 𝒩 𝒙 𝝁, 𝚲−1 – 𝑝 𝒚|𝒙 = 𝒩 𝒚 𝑨𝒙 + 𝒃, 𝑳−1 • 𝒚の周辺分布と𝒙の条件付き分布 – 𝑝 𝒚 = 𝒩 𝒚 𝑨𝝁 + 𝒃, 𝑳−1 + 𝑨𝚲−1 𝑨 𝑇 – 𝑝 𝒙 𝒚 = 𝒩 𝒙 𝚺 𝑨 𝑇 𝑳 𝒚 − 𝒃 + 𝑨𝝁 , 𝚺 – ただし 𝚺 = 𝚲 + 𝑨 𝑇 𝑳𝑨 −1 • 同時確率 𝑝 𝒛 = 𝑝 𝒙 𝑝 𝒚 𝒙 = 𝑝 𝒚 𝑝 𝒙 𝒚 8
- 9. 2.3.4 ガウス分布の最尤推定 ポイントだよ 平均と分散の最尤推定量は以下のとおり なお分散の最尤推定量 ≠ 不偏推定量 • 十分統計量 𝑁 𝑁 – 𝑛=1 𝒙𝑛と 𝑛=1 𝒙𝑛 𝒙𝑇 𝑛 • 最尤推定量 1 𝑁 – 平均: 𝝁ML = 𝑛=1 𝒙𝑛 𝑁 1 𝑁 𝑇 – 分散: 𝚺 𝑀𝐿 = 𝑛=1 𝒙 𝑛 − 𝝁ML 𝒙 𝑛 − 𝝁ML 𝑁 9
- 10. ポイントだよ 2.3.5 逐次推定 データを逐次的に用いて分布のパラメータを推定する 場合にはRobbins-Monroアルゴリズムを利用できる • Robbins-Monroアルゴリズム – 𝑓 𝜃 ∗ = 0の根𝜃 ∗ を求めるアルゴリズム 𝜃 𝑁 = 𝜃 𝑁−1 − 𝑎 𝑁−1 𝑧 𝜃 𝑁−1 • 最尤推定解は対数尤度関数の停留点 – 最尤推定解を求めることは，回帰関数の根を求めることに相当 – 他にも3.1.3の確率的勾配法でも利用 10
- 11. 2.3.6 ガウス分布に対するベイズ推論 ポイントだよ ガウス分布における各パラメータの事後分布と 共役事前分布は以下の通り 事後分布 1変量 多変量 平均パラメータ（分散既知） ガウス分布 ガウス分布 精度パラメータ（平均既知） ガンマ分布 ウィシャート分布 分散パラメータ（平均既知） 逆ガンマ分布 逆ウィシャート分布 平均，精度パラメータ ガウス―ガンマ分布 ガウス―ウィシャート分布 • パラメータの事後分布∝尤度×事前分布 • ベイズ推定で求めるのはパラメータの分布 11
- 12. 2.3.7 スチューデントのt分布 ポイントだよ t分布は，平均は同じで精度が異なるような ガウス分布を無限個足し合わせたもの • t分布の頑健性 t分布 t分布 vs. ガウス分布 • 最尤推定解は解析的には求まらない (⇒ EM法) 12
- 13. ポイントだよ 2.3.8 周期変数 周期性を持つ確率変数を扱う場合には 極座標とフォン・ミーゼス分布を用いる • フォン・ミーゼス分布 1 𝑝 𝜃 𝜃0 , 𝑚 = exp 𝑚 cos 𝜃 − 𝜃0 2𝜋𝐼0 (𝑚) Richard von Mises (1883-1953) 赤の単位円で条件づけられた 2次元ガウス分布という解釈 Fritz Von13 Erich 極座標 直交座標 (1929-1997)
- 14. ポイントだよ 2.3.9 混合ガウス分布 単一のガウス分布では表現が難しい場合には 混合ガウス分布を用いる 𝐾 • 混合ガウス分布: 𝑝 𝒙 = 𝑘=1 𝜋 𝑘 𝒩 𝒙 𝝁 𝑘, 𝚺 𝑘 • 対数尤度関数 – 解析的には最尤解を求められることができないため，EMアル ゴリズムを用いる 14
- 15. 2.4 指数型分布族 15
- 16. ポイントだよ 2.4 指数型分布族 これまでの話題を一般化するため， 指数型分布族という単位で考える • 指数型分布族の例 – ベルヌーイ分布，多項分布，正規分布，ポアソン 分布など • 指数型分布族の一般形 𝑝 𝒙 𝜼 = ℎ 𝒙 𝑔 𝜼 exp 𝜼 𝑇 𝒖 𝒙 16
- 17. 2.4.1 最尤推定量と十分統計量 ポイントだよ 指数型分布族の関数形から 最尤推定量と十分統計量を求めることができる • 以下の式を解けば最尤推定量を得ることができる 𝑁 1 −𝛻 ln 𝑔 𝜼 𝑀𝐿 = 𝒖 𝒙𝑛 𝑁 𝑛=1 十分統計量 17
- 18. さぁ今日も一日 つづく がんばるぞ 18