PRML 2.3.9-2.4.1

.

.
指数型分布族とかの周辺

marugari
PRML 復々習レーン

2012/06/17

marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 1 / 16

.
参考文献
.

Monte Carlo Statistical Methods
Robert, C. and Casella, G. (2010)

最尤推定 is 最適化
ベイズ推定 is 積分
ベイジアンに宗旨替えしたくなる
良書.

.


混合ガウス分布

間欠泉のデータ
噴出の持続時間が長いと次回までの間隔も長く
なる.
噴出の時間が短いと次回までの間隔も短くなる.
.
2 つのガウス分布を使えば精度よくフィ
. ットできる.


.
.
{πi }1≤i≤K が確率の公理を満たすとする. このとき,

∑
K
f (x) = πi ϕ(x|µi , Σi ),
i=1

を混合ガウス分布という. {πi }1≤i≤K は混合係数,
ϕ(x|µi , Σi ) は混合要素と呼ばれる.
.


p(k) を k 番目の混合要素に対する事前確率とすれば,

∑
K
f (x) = ϕ(x|µi , Σi )p(i).
i=1

事後分布 p(k|x) は負担率と呼ばれ

p(k|x) ∝ ϕ(x|µk , Σk )p(k),

となる.


.
パラメータ推定
.
対数尤度関数は

∑
N ∑
K
log πi ϕ(x|µi , Σi ).
j=1 i=1

関数が複雑なので, 繰り返し的な最適化手法または
. アルゴリズムを用いる.
EM
だいたい至る所で 0 を取る分布を外れ値に割り当てる
ことで尤度関数をいくらでも大きくできる. 目的関数
にも工夫が必要.


指数型分布族

.
指数型分布族
.
確率分布 p で
{ }
p(x|η) = h(x)g(η) exp η ⊤ u(x) ,

という関数形を持つものを指数型分布族と呼ぶ.
.


.
指数型分布族の例
.
ポアソン分布
正規分布
テキストで分布関数が書き下されるようなものは殆ど
このクラスに属している.
.
.
指数型分布族でない例
.
切断正規分布
まともには解けないので何らかの工夫が必要.
.


最尤推定と十分統計量
指数分布族の確率分布について最尤推定を考える. 適
当にサンプリングされた標本が得られているとき, 最
適化の 1 階条件は
∫
{ }
∇g(η) h(x) exp η ⊤ u(x) dx
∫
{ }
+ g(η) h(x) exp η ⊤ u(x) u(x)dx = 0.

これを変形すれば
∇g(η)
− = E [u(X)] .
g(η)

.
尤度関数
.
独立同分布のデータ {xi }1≤i≤N が得られたとき, 尤度
関数は

p ({xi }1≤i≤N )
{N } {⟨ N ⟩}
∏ ∑
= h(xi ) g(η)N exp u(xi ), η .
i=1 i=1

対数をとると
⟨ ⟩
∑
N ∑
N
N log g(η) + u(xi ), η + log h(xi ).
. i=1 i=1


.
訂正:
尤度関数自体はアフィンじゃなかったです
.
対数尤度関数は
基準化の係数 g(η)
η についてアフィンな関数
の和になっている.
しかも計算量はサンプル数に対して線形にしか増加し
ない.
.


.
尤度最大化
.
対数尤度最大化の 1 階条件は

1 ∑
N
−∇ log g(η) = u(xi ).
N i=1
∑N
つまり最尤パラメータを求めるには i=1 u(xi ) だけ
∑N
で良い. この i=1 u(xi ) を十分統計量と呼ぶ.
アフィン関数の微分には η が現れないので表現が非常
に簡単になっている.
.


.
ベルヌーイ分布の場合
.
確率変数は独立という設定なので, 成功の順番を記録
する必要はない. 成功回数だけでパラメータを推定で
きる.
.
.
正規分布の場合
.
正規分布は平均と分散で特徴付けられるので, 1 次と 2
次のモーメントを保持しておけば良い.
.


おわり


PRML 2.3.9-2.4.1

More Related Content

What's hot (19)

Similar to PRML 2.3.9-2.4.1 (20)

Recently uploaded (10)

PRML 2.3.9-2.4.1