20111107 cvim(shirasy)

第3巻第6章大規模確率場と確率的画像処理の深化と展開 2011.11.07

CV勉強会＠関東（第17回）
1．はじめに
2．画像生成モデルと大規模確率場

shirasy

1

第3巻第6章大規模確率場と確率的画像処理の深化と展開

1. はじめに

2. 画像生成モデルと大規模確率場

3. ノイズ生成モデルとベイズ推定

4. 確率伝搬法

5. 情報統計力学と統計的性能評価

6. 統計的機械学習理論を用いた確率的画像処理

7. おわりに

2

1. はじめに

確率的画像処理

仮定：生成モデルは、空間的にある種の統計的性質を持つ
確率モデルである

画像生成モデル and 確率モデルの統計量を計算

生成される画像はランダムネスを伴う複雑に混在する画像が生成
• 仮定した統計的性質が強く反映される部分
• 必ずしもそう言えない部分

3

1. はじめに

確率的画像処理
ランダムネスを伴う統計的性質を系統的に制御する鍵
問題点：
計算の複雑さ
解決アプローチ：
確率伝搬法

人工知能/画像生成モデル
情報統計力学
物理モデル

4

1. はじめに

本章では・・・

＜前半＞原信号をデータから推定する問題

確率的画像処理について説明
用途例：
ノイズ除去
・データ：ノイズ（観測信号）
・原信号：元の画像
① 元の画像の統計的性質とランダムネスを伴うノイズ確率
を用いて表す
② データが与えられた時、そのデータを生成した画像に元々、
どのような画像であったかを表す確率を導く
ベイズ推定を実施 5

1. はじめに


ベイズ推定
① 事前確率
元の画像の統計的性質を表す確率

② 事後確率
データが与えられた時、そのデータを生成した画像に元々、
どのような画像であったかを表す確率

6

1. はじめに


＜後半＞
確率的画像処理の最近動向
統計的機械学習理論
① 接近法(1)
② 接近法(2)：応用例

7


用語の定義

v 個の画素が正方格子上に並べられている場合を想定
v = { ,2,L , v }
1

輝度値：画素の点の光の強度を表す

暗 0, 1, 2, ・・・・・・・・・・・・・・ Q −1 明
例） Q = 2 （2階調画像）の場合
Q = 0：黒
Q =1：白

8


用語の定義
1 2 3 4

5 6 7 8

9 10 11 12

輝度値の集合
Q=0
画素の集合
v = { ,2, L ,12}
1
9


用語の定義
1 2
{1,2} {2,3} 3 {3,4} 4
{1,5} {2,6} {3,7} {4,8}
5 6 7 8
{5,6} {6,7} {7,8}
{5,9} {6,10} {7,11} {8,12}
9 10 11 12
{9,10} {10,11} {11,12}

隣接画素対の集合
{ ,2}, {2,3}, {3,4}, {5,6}, {6,7}, {7,8}, {9,10}, { ,11}, { ,12},
1 10 11
ε = 
{ ,5}, {2,6}, {3,7}, {4,8}, {5,9}, {6,10}, {7,11}, {8,12}
1 
10


用語の定義
1 2
{1,2} {2,3} 3 {3,4} 4
{1,5} {2,6} {3,7} {4,8}
5 6 7 8
{5,6} {6,7} {7,8}
{5,9} {6,10} {7,11} {8,12}
9 10 11 12
グラフ {9,10} {10,11} {11,12}
{v, ε }
画素の集合
v = { ,2,L ,12}
1
隣接画素対の集合
{ ,2}, {2,3}, {3,4}, {5,6}, {6,7}, {7,8}, {9,10}, { ,11}, { ,12},
1 10 11
ε = 
{ ,5}, {2,6}, {3,7}, {4,8}, {5,9}, {6,10}, {7,11}, {8,12}
11
1 


用語の定義
1 2 3 4

5 6 7 8

9 10 11 12

i 番目の画素の輝度値を xi と定義
(
x = x1,x2 ,L ,x v )
T
画像 x の定義
状態ベクトル状態変数 12


用語の定義
画像処理において、確率を導入する場合・・・
それぞれの画素での輝度値に対して、“確率変数”を対応

画素の総数と同じ次元を持つ結合確率を使って表現

各画素 i の輝度値に対する確率変数
X i ∈ {0,1,L, Q − 1}
画像全体の確率ベクトル（確率変数のベクトル）

(
X = X 1 , X 2 ,L, X v )
画像 x の確率
Pr{X = x} 13


ノイズ除去

ユーザがノイズ除去において最終的に得たい画像の性質を
確率 Pr{X = x} を使い、どのように表現するか？
例えば・・・
一枚の紙の上に、黒い点が一つのっている場面

紙

ゴミと見なして手で払いのけようとする
ノイズ除去：この操作をアルゴリズム化14


ノイズ除去
下記を仮定した操作
「局所的にある一つの画素に着目し、その近傍画素と輝度値が
できるだけ似た値になる画像がノイズが加えられる以前の画像」
確率を使う場合・・・
上記の操作を
・「選択する場合」
・「選択しない場合」
が自動的・適応的に可能であるようにデザイン可能
 1
Pr{X = x} = Pr{X = x α } ∝ ∏ exp − α
{i , j }∈ε
(xi − x j )2 (α > 0) (1)

 2 
α ：正の実数値であり、その値が大きい程空間的に滑らかな性質を画像の
性質を反映した確率
ε：すべての最近接画素対 {i, j} の集合 15


{v, ε } 上で定義される確率 Pr{X = x} のグラフ表現
元の画像の
1 2
{1,2} {2,3} 3 {3,4} 4 i i 番目の画素
{1,5} {2,6} {3,7} {4,8}
i j
5 6 7 8 {i, j}
{5,6} {6,7} {7,8}  1 2
= exp − α (xi − x j ) 
{5,9} {6,10} {7,11} {8,12}  2 

9 10 11 12
{9,10} {10,11} {11,12}

{ ,2}, {2,3}, {3,4}, {5,6}, {6,7}, {7,8}, {9,10}, { ,11}, { ,12},
1 10 11
ε =  (2)
{ ,5}, {2,6}, {3,7}, {4,8}, {5,9}, {6,10}, {7,11}, {8,12}
1  16


Pr{X = x} は何を表すのか？
例1:
階調数 Q=2 =0 =1
画素の集合 v = { ,2}
1
隣接画素対の集合 ε = {{ ,2}}
1
状態ベクトル x= (x1,x2 )T (0,0)T (1,0)T (0,1)T (1,1)T
{ } { } {
Pr X = (1,1) = Pr X = (0,0 ) > Pr X = (1,0) = Pr X = (0,1)
T T T
} { T
} (3)

1 2 = 1 2 > 1 2 = 1 2

 1 2
exp − α ( x1 − x2 ) 
 2 
17



{ } { } { } {
Pr X = (1,1) = Pr X = (0,0 ) > Pr X = (1,0) = Pr X = (0,1)
T T T T
} (3)

1 2 = 1 2 > 1 2 = 1 2

隣接画素対 { ,2} について画素2の状態を x2 = 1 に固定した時、
1
式(4)を基準に画素1の状態の決定を考える

x1 = arg max Pr{X 1 = x1 , X 2 = 1}
*
(4)
x1 = 0 ,1

この場合、画素1の状態は x1 = 1 と選択
*

隣の画素の状態が決まれば、自分の画素の状態が決定
18

例2: 階調数 Q=2
画素の集合 v = { ,2,L ,9}
1
{ ,2}, {2,3}, {4,5}, {5,6}, {7,8}, {8,9},
1
隣接画素対の集合 ε = 
{1,4}, {2,5}, {3,6}, {4,7}, {5,8}, {6,9} 

x = ( x1,x2 ,L ,x9 )
T
状態ベクトル

1 2 3 1 2 3
{1,2} {2,3} {1,2} {2,3}
{1,4} {2,5} {3,6} {1,4} {2,5} {3,6}
4 5 6 4 5 6
{4,5} {5,6} {4,5} {5,6}
{4,7} {5,8} {6,9} {4,7} {5,8} {6,9}

7 8 9 7 8 9 19
{7,8} {8,9} {7,8} {8,9}

画素5に着目した場合を考える
画素5以外の画素 i の輝度値がすべて1・・・ xi = 1(∀i ∈ γ {5})
である時、画素5の輝度値 x5 = 0 と x5 = 1 を比較

Pr{X = x} の値が大きくなるのは、 x5 = 1 の時
1 2 3 1 2 3
{1,2} {2,3} {1,2} {2,3}
{1,4} {2,5} {3,6} {1,4} {2,5} {3,6}
4
{4,5}
5
{5,6}
6 ＞ 4
{4,5}
5
{5,6}
6

{4,7} {5,8} {6,9} {4,7} {5,8} {6,9}

7 8 9 7 8 9 20
{7,8} {8,9} {7,8} {8,9}


マルコフ連鎖モンテカルロ法

画素の数が多い場合を考える
ε { }
に属する i, j の中で xi = x j を満たす {i, j} の本数が多い
画像 x ほど出やすくなる。

式(1)の確率 Pr{X = x} に従う画像を生成方法の1つ
≒ 確率 Pr{X = x} に従う乱数ベクトル x を生成する方法

 1 2
Pr{X = x} = Pr{X = x α } ∝ ∏ exp − α (xi − x j ) (α > 0 ) (1)
{i , j }∈ε  2 

21


基本操作の繰り返し回数が多いほど
ベクトル x の初期状態とは独立な
2値画像の画像生成時の操作画像が生成
(1)初期値としてのベクトル x を設定
(2)図6.5の基本操作を繰り返し実行
(a)画像 x のある一つの画素 i に着目
(b)その画素の値が白黒反転された画像 x′ を生成
(c)同時に区間 [0,1] における一様乱数 U [0,1] を生成
(d)式(7)を満たせば、 x′ を新たな x として採用

Pr{X = x′}
> U [0,1] (7)
Pr{X = x}+ Pr{X = x′}
(e)この操作を i = 1,2, L , v に対して実施
22



図6.5 マルコフ連鎖モンテカルロ法の計算手順
23
引用元：八木・斎藤編「コンピュータビジョン最先端ガイド3」 P.141



図6.6 マルコフ連鎖モンテカルロ法により生成された画像

α の小さい時、本来は確率の低いはずの画像が生成

24



「α の小さい時、本来は確率の低いはずの画像が生成」される理由

xi ≠ x j を満たす最近接画素対 {i, j}の本数 K (x ) を導入
K (x ) = ∑ (x − x ) ∑ε(1 − δ )
2
i j = xi , x j
(8)
{i , j }∈ε { }
i, j ∈

画像 x は K ( x ) が小さい程、確率 Pr{X = x} の高い画像
と言うことが可能だが・・・、以下の場合、状況が変わる。

{ }
A = x K ( x ) / ε ≤ 0.1 の時、 A と A の確率
25



{ }
A = x K ( x ) / ε ≤ 0.1 の時、 A と A の確率
Pr{A} ≡ ∑ε Pr{}X = x} (9) Pr{A } ≡ ∑ε Pr{}X = x} (10)
{x K ( )
x / ≤ 0.1 {x K ( )
x / > 0.1

(a) α がある程度以上に大きい時
Pr{A} > Pr A (11) {}
− xi = x j ({i, j}∈ ε ) を満たす画素が多い
(b) α がある程度より小さい時不等号の向きが逆転
Pr{A} < Pr{A} (12)
− xi = x j ({i, j}∈ ε ) を満たさない画素が多い
事象 A の標本点の個数 A が少ないため、総和で
{}
26
みたときに確率 Pr A が小さくなる



不等式(11)から不等式(12)への切り替わりの α の値はどこか？

「 α の小さい時の性質」と「ゆらぎ」が大きくなると
「 α の大きい時の性質」を併せ持つ予想される

図6.6 マルコフ連鎖モンテカルロ法により生成された画像

27


「最近傍接画素対の輝度値の相関に対するゆらぎ」
共分散：
Cov[X i , X j ] ≡ ∑ ∑ L ∑ ( xi − µi )(x j − µ j )Pr{X = x} (∀{i, j}∈ ε )(13)
1 1 1

x1 = 0 x2 = 0 x v =0
期待値：
1 1 1
µi ≡ ∑ ∑ L ∑ xi Pr{X = x} (14)
x1 = 0 x2 = 0 x v =0
α = 1.7627 L

図6.7 v → +∞ における式(13)の共分散 28


ベイズ推定による画像処理の発想の基本
全体として似ているとは言い難いが部分的なパターンを
取り出してみると、そこに類似性が見出される

この類似性を画像処理に利用

図6.8 通常の自然画像を2階調化した画像と α = 1.75の時の生成画像の類似性
29

Pr{X = x} の意味
ν {5} の画素の状態が固定されている時、
「画素5」の状態に対する確率：条件付き確率を用い、式(15)と表現

Pr{X 5 = x5 X k = xk ; ∀k ∈ν {5}} (15)

1 2 3

4 5 6

7 8 9

30

Pr{X = x} の意味

ベイズの公式を用い式(15)を展開
Pr{X = x}
Pr{X 5 = x5 X k = xk ; ∀k ∈ν {5}} = (16)
Pr{X k = xk ; ∀k ∈ν {5}}

式(16)の分母は周辺化から得ることが可能
1
Pr{X k = xk ; ∀k ∈ν {5}} = ∑ Pr{X = x} (17)
x5 = 0

31

Pr{X = x} の意味

式(16)および式(17)に式(1)を代入
 1 2
Pr{X 5 = x5 X k = xk ; ∀k ∈ν {5}} ∝ ∏ exp − α (x5 − x j )  (18)
j∈∂ 5  2 
∂i ：画素 i の全ての最近接画素の集合 1 2 3

∂i ≡ { j {i, j}∈ ε } 4 5 6
∂5 = {2,4,6,8}
7 8 9

32

Pr{X = x} の意味

マルコフ確率場
着目画素以外の画素の状態を固定した時、着目画素の状態は、
その最近接画素の状態のみによって決定されることを表す

Pr{X 5 = x5 X k = xk ; ∀k ∈ν {5}} = Pr{X 5 = x5 X k = xk ; ∀k ∈ ∂5} (20)

この性質を持つ確率場 X : マルコフ確率場

マルコフ確率場は、Λ ⊂ ν に対して一般に次の等式として
まとめられる
Pr{X l = xl , ∀l ∈ Λ X k = xk ; ∀k ∈ν Λ}
(21)
{ ( )
= Pr X l = xl ; ∀l ∈ Λ X k = xk , ∀k ∈ U K=1 ∂l Λ, ∀l ∈ Λ
k }
33

Pr{X = x} の意味
式(22)を用い、式(18)（1つの画素に着目）を一般の正方格子
からなるグラフ ν , ε (
に対して書き下せる )
Pr{X i = xi X k = xk ; ∀k ∈ν {}} = Pr{X i = xi X k ; ∀k ∈ ∂i}
i
 1 2
∝ ∏ exp − α ( xi − xk )  (25)
j∈∂i  2 
再掲
 1 2
Pr{X 5 = x5 X k = xk ; ∀k ∈ν {5}} ∝ ∏ exp − α (x5 − x j )  (18)
j∈∂ 5  2 
∂i ：画素 i の全ての最近接画素の集合 1 2 3

∂i ≡ { j {i, j}∈ ε } 4 5 6
∂5 = {2,4,6,8}
7 8 9
34

20111107 cvim(shirasy)

More Related Content

What's hot (20)

Viewers also liked (20)

Similar to 20111107 cvim(shirasy) (8)

More from Yoichi Shirasawa (18)

20111107 cvim(shirasy)