PRML 6.4-6.5
10 likes3,570 views
「パターン認識と機械学習(PRML)」読書会（第８回） (http://sites.google.com/site/ikomadokushokai/prml/prml08)発表資料
![[復習]ラプラス近似
• 確率分布 のモードを としたときに、確
率分布を と近似する方
法
–
• これは を においてテイラー展開して、
2次近似を行っていることに相当する。
• モードは適当な数値解析手法を用いて求め
ることが多い
2009/10/24 PRML勉強会第8回 3](https://image.slidesharecdn.com/prml645-091024231740-phpapp02/85/PRML-6-4-6-5-3-320.jpg)
PRML 6.4-6.5
- 1. PRML勉強会(第8回) 坪坂 正志 Twitter @tsubosaka Mail: m{dot}tsubosaka@gmail.com 2009/10/24 PRML勉強会第8回 1
- 2. 概要 • 6.4.5 ガウス過程による分類 – ロジスティックシグモイド関数を利用 – 解析的に解くのは難しい • ラプラス近似(6.4.6 今回解説) • 変分推論 • EP法 • 6.4.6 ラプラス近似 – 3回目(4.4,5.7) – あともう一回出ます(7.2.3) 2009/10/24 PRML勉強会第8回 2
- 3. [復習]ラプラス近似 • 確率分布 のモードを としたときに、確 率分布を と近似する方 法 – • これは を においてテイラー展開して、 2次近似を行っていることに相当する。 • モードは適当な数値解析手法を用いて求め ることが多い 2009/10/24 PRML勉強会第8回 3
- 4. ロジスティック回帰(4.3.2) • ２クラス • 入力変数 • 特徴ベクトル • 帰属確率 2009/10/24 PRML勉強会第8回 4
- 5. ガウス過程への拡張 • ２クラス • 入力変数 • 特徴ベクトル • 帰属確率 2009/10/24 PRML勉強会第8回 5
- 6. 事前分布 • 図6.11 ロジスティック変換 ガウス過程からの 変換結果 サンプル 2009/10/24 PRML勉強会第8回 6
- 7. 予測分布 • 訓練集合 • 観測値 • テスト入力 • 目標変数値 予測分布 を計算する 2009/10/24 PRML勉強会第8回 7
- 8. 予測分布の計算 • 予測分布は式(6.76)で与えられる • をガウス分布による近似を求め てやれば式(4.153)の近似公式をつかって予 測分布を求めることができる 2009/10/24 PRML勉強会第8回 8
- 9. の近似のアプローチ • 変分推論 (Chapter 10.1) – ロジスティックシグモイド関数の局所的な変分近 似(10.144)を利用 • EP法(expectation propagation method) (Chapter 10.7) – 真の事後分布が単峰性を持つため良い結果とな る • ラプラス近似(6.4.6) – 今から解説する方法 2009/10/24 PRML勉強会第8回 9
- 10. 同時分布 • ベクトル の同時分布は で与えられる • 共分散項はノイズ項を含まないが正定値性 のため とする 2009/10/24 PRML勉強会第8回 10
- 11. の計算 • を使うと 2009/10/24 PRML勉強会第8回 11
- 12. の計算(conn) • ガウス過程における回帰の結果(6.66,6.67)から なので の値は をラプ ラス近似してやれば2つのガウス分布のたたみ こみで計算できる 2009/10/24 PRML勉強会第8回 12
- 13. の計算 • ベイズ公式から • 事前分布はガウス過程によって与えられ、 データについての項は独立性を仮定すると 2009/10/24 PRML勉強会第8回 13
- 14. の計算 • テイラー展開により の対数を展開 すると となり、この分布のモードを求める必要があ る 2009/10/24 PRML勉強会第8回 14
- 15. の計算 • この値を0とおいて、直接モードの計算はでき ない • ニュートンーラフソン法を用いる 2009/10/24 PRML勉強会第8回 15
- 16. ニュートンーラフソン法 • 2階微分の値 • は を要素に持つ対角 行列 • 逐次更新式 • ヘッセ行列が正定値より、 は大域的最適 解に収束する 2009/10/24 PRML勉強会第8回 16
- 17. 演習6.24 ヘッセ行列の正定値性 • 2つの正定値行列の和が正定値になることを 示せばよい • 行列Aが正定値 <=> • 行列A,Bが正定値ならば 2009/10/24 PRML勉強会第8回 17
- 18. 演習6.25 逐次更新式の導出 • 式(4.92)より 2009/10/24 PRML勉強会第8回 18
- 19. 事後分布の近似 • 事後分布のモード が求まれば事後分布 のガウス分布による近似は • ここで である、また の値は以降 を用いて 評価を行う 2009/10/24 PRML勉強会第8回 19
- 20. の計算 • 上の式は2つのガウス分布のたたみこみであ るため、(2.115)を用いると 2009/10/24 PRML勉強会第8回 20
- 21. 決定面の決定 • 近似式(4.153)を使って を計算すると決定面は であることが分かる 2009/10/24 PRML勉強会第8回 21
- 22. カーネルパラメータの学習 • 共分散関数のパラメータ を決定する – ガウスカーネルならば • 最尤推定を用いて行う (6.89) を最大化 2009/10/24 PRML勉強会第8回 22
- 23. カーネルパラメータの学習 • (6.89)の積分は解析的に求まらないので、ラ プラス近似を用いる • 上記の式の に関する勾配を求めることによ り、非線形最適化アルゴリズムを用いて、最 適な の値を決定する。 2009/10/24 PRML勉強会第8回 23
- 24. 6.4.7 ニューラルネットワークとの関係 • ベイズニューラルネット – パラメータ の事前分布と、ネットワーク関数 によって 出力の分布が決まる 隠れ層の数 => ∞ 出力の分布がガウ ス過程に近づく 2009/10/24 PRML勉強会第8回 24
- 25. 参考文献 • Rasmussen and Williams: Gaussian Processes for Machine Learning, MIT Press, 2006 • 赤穂昭太郎: カーネル多変量解析 非線形 データ解析の新しい展開, 岩波書店, 2008 2009/10/24 PRML勉強会第8回 25
- 26. ご静聴ありがとうございました 2009/10/24 PRML勉強会第8回 26