Prml 4.3.6
- 1. PRML 復々習レーン 4.3.6 正準連結関数 @urapon_1 2012/9/23
- 2. 誤差関数の微分 ガウス分布の対数尤度関数の勾配 N ∇ ln p (t∣w , β)=β∑ n=1 {t n−w ϕ( x n )}ϕ( x n ) T T (3.13) ロジスティック回帰誤差関数の勾配 N ∇ E (w)=∑n=1 ( y n −t n)ϕn (4.91) 多クラスロジスティック回帰誤差関数の勾配 N ∇ w E (w 1,. .. ,w K )=∑ n=1 ( y nj −t nj )ϕn j (4.109) → 誤差と特徴ベクトルϕn の積
- 3. 正準連結関数 正準連結関数 (canonical link function) として知られている 関数を活性化関数に選び、指数型分布族の中から目的変数に 対する条件付き確率分布を選択する。 誤差と特徴ベクトル ϕn の積の形式で誤差関数の勾配を表現できる
- 4. 目的変数 t の分布 目的変数 t の分布が指数型分布族であると仮定する 1 t p (t∣η , s)= h s s () g ( η)exp ηt s { } (4.118) t 上式と (2.195) 式より、 g (η)∫ { ( ) ( )} ( ) h t s exp η t s d t s =1 となり、 =x s と置き直して、 (2.226) と同様の導出をすると、 d y≡E (t∣η)=−s ln g (η) (4.119) dη
- 5. 対数尤度関数 パラメータ η の対数尤度関数 N N ln p (t∣η , s)=∑n=1 ln p(t n∣η , s)=∑n=1 { ln g (ηn)+ s } ηn t n +Const (4.121) → これを w について微分する
- 6. w について微分すると N ∇ w ln p (t∣η, s)=∑n=1 { d d ηn ln g (ηn)+ } t n d ηn dy n s d y n da n ∇ an N 1 d ηn dy n =∑n=1 {t n− y n} ∇ an s d y n da n N 1 =∑ n=1 {t n− y n } ψ' ( y n ) f ' (a n )ϕn (4.122) s ただし、 d y n=−s ln g (ηn) (4.119) d ηn ηn=ψn( y ) y n= f (a n) a n=w T ϕn
- 7. 連結関数の選択による簡略化 (4.123) 式で与えられるような連結関数を用いれば、 (4.122) 式は簡略化される。 −1 f ( y )=ψ( y) (4.123) 簡略化された誤差関数の勾配は 1 N ∇ E (w)= ∑n=1 ( y n−t n )ϕn (4.124) s → 誤差 y n−t n と特徴ベクトルϕ n の積