Denoising Diffusion Probabilistic Modelsの重要な式の解説

Denoising Diﬀusion Probabilistic Models
重要式解説
正田備也
masada@rikkyo.ac.jp
September 13, 2020
1 / 14

q(x2|x0) =
∫
q(x2|x1)q(x1|x0)dx1 =
d∏
j=1
∫
q(x2,j|x1,j)q(x1,j|x0,j)dx1,j
=
d∏
j=1
∫
1
√
(2π)2β2β1
exp
(
−
(x2,j −
√
1 − β2x1,j)2
2β2
−
(x1,j −
√
1 − β1x0,j)2
2β1
)
dx1,j (1)
exp(·) 中身注目。
(x2,j −
√
1 − β2x1,j)2
2β2
+
(x1,j −
√
1 − β1x0,j)2
2β1
=
(β1 + β2 − β1β2)x2
1,j − 2(β1
√
1 − β2x2,j + β2
√
1 − β1x0,j)x1,j + β1x2
2,j + β2(1 − β1)x2
0,j
2β1β2
=
β1 + β2 − β1β2
2β1β2
{(
x1,j −
β1
√
1 − β2x2,j + β2
√
1 − β1x0,j
β1 + β2 − β1β2
)2
−
β2
1(1 − β2)x2
2,j + β2
2(1 − β1)x2
0,j + 2β1β2
√
(1 − β2)(1 − β1)x2,jx0,j
(β1 + β2 − β1β2)2
+
β1x2
2,j + β2x2
0,j
β1 + β2 − β1β2
}
3 / 14

=
β1 + β2 − β1β2
2β1β2
{(
x1,j −
β1
√
1 − β2x2,j + β2
√
1 − β1x0,j
β1 + β2 − β1β2
)2
+
β1β2(x2
2,j − 2
√
(1 − β2)(1 − β1)x2,jx0,j + x2
0,j)
(β1 + β2 − β1β2)2
}
=
β1 + β2 − β1β2
2β1β2
(
x1,j −
β1
√
1 − β2x2,j + β2
√
1 − β1x0,j
β1 + β2 − β1β2
)2
+
(x2
2,j − 2
√
(1 − β2)(1 − β1)x2,jx0,j + x2
0,j)
2(β1 + β2 − β1β2)
(2)
∫
exp
(
−
β1 + β2 − β1β2
2β1β2
(
x1,j −
β1
√
1 − β2x2,j + β2
√
1 − β1x0,j
β1 + β2 − β1β2
)2)
dx1,j =
√
2πβ1β2
β1 + β2 − β1β2
(3)
4 / 14

∫
=
1
√
(2π)2β2β1
√
2πβ1β2
β1 + β2 − β1β2
exp
(
−
(x2
2,j − 2
√
(1 − β2)(1 − β1)x2,jx0,j + x2
0,j)
2(β1 + β2 − β1β2)
)
=
1
√
2π(β1 + β2 − β1β2)
exp
(
−
(x2
2,j − 2
√
(1 − β2)(1 − β1)x2,jx0,j + x2
0,j)
2(β1 + β2 − β1β2)
)
(4)
以上、
q(x2,j|x0,j) ∼ N(
√
(1 − β2)(1 − β1)x0,j, β1 + β2 − β1β2) (5)
分。、αt = 1 − βt ¯αt =
∏t
s=1 αs 、
q(x2,j|x0,j) ∼ N(
√
¯α2x0,j, 1 − ¯α2) (6)
。 j = 1, . . . , d 、
q(x2|x0) ∼ N(
√
¯α2x0, (1 − ¯α2)I) (7)
5 / 14

q(x3|x0) =
∫
q(x3|x2)q(x2|x0)dx2 =
d∏
j=1
∫
=
d∏
j=1
∫
1
√
(2π)2β3(1 − ¯α2)
exp
(
−
(x3,j −
√
1 − β3x2,j)2
2β3
−
(x2,j −
√
¯α2x0,j)2
2(1 − ¯α2)
)
dx2,j (8)
q(x2|x0) 求式、β2 β3 、β1 1 − ¯α2 置換。、
q(x3,j|x0,j) ∼ N(
√
(1 − β3)¯α2x0,j, 1 − ¯α2 + β3 ¯α2) (9)
分。(1 − β3)¯α2 = α3 ¯α2 = ¯α3 1 − ¯α2 + β3 ¯α2 = 1 − α3 ¯α2 = 1 − ¯α3 、
q(x3,j|x0,j) ∼ N(
√
¯α3x0,j, 1 − ¯α3) (10)
以下同様考
q(xt|x0) ∼ N(
√
¯αtx0, (1 − ¯αt)I) (11)
（、論文式 (4) 通。）
6 / 14

q(xt−1|xt, x0) ∝ q(xt|xt−1)q(xt−1|x0) =
d∏
j=1
q(xt,j|xt−1,j)q(xt−1,j|x0,j)
=
d∏
j=1
1
√
(2π)2βt(1 − ¯αt−1)
exp
(
−
(xt,j −
√
1 − βtxt−1,j)2
2βt
−
(xt−1,j −
√
¯αt−1x0,j)2
2(1 − ¯αt−1)
)
(12)
(xt,j −
√
1 − βtxt−1,j)2
2βt
+
(xt−1,j −
√
¯αt−1x0,j)2
2(1 − ¯αt−1)
=
1 − ¯αt−1 + βt − (1 − ¯αt−1)βt
2(1 − ¯αt−1)βt
(
xt−1,j −
(1 − ¯αt−1)
√
1 − βtxt,j + βt
√
¯αt−1x0,j
1 − ¯αt−1 + βt − (1 − ¯αt−1)βt
)2
+ const.
=
1 − ¯αt
2(1 − ¯αt−1)βt
(
xt−1,j −
(1 − ¯αt−1)
√
αtxt,j + βt
√
¯αt−1x0,j
1 − ¯αt
)2
+ const. (13)
8 / 14

q(xt−1,j|xt,j, x0,j) ∼ N
((1 − ¯αt−1)
√
αtxt,j + βt
√
¯αt−1x0,j
1 − ¯αt
,
(1 − ¯αt−1)βt
1 − ¯αt
)
(14)
j = 1, . . . , d 、
q(xt−1|xt, x0) ∼ N
((1 − ¯αt−1)
√
αtxt + βt
√
¯αt−1x0
1 − ¯αt
,
(1 − ¯αt−1)βt
1 − ¯αt
I
)
(15)
（、論文式 (6) 式 (7) 通。）
9 / 14

p(xt−1|xt) =
∏d
j=1
1√
2πσt
exp
(
−
(xt−1,j −µj (xt,t))2
2σ2
t
)
。
ln
p(xt−1|xt)
q(xt−1|xt, x0)
= −
d∑
j=1
(xt−1,j − µj(xt, t))2
2σ2
t
+
d∑
j=1
(xt−1,j −
(1−¯αt−1)
√
αtxt,j +βt
√
¯αt−1x0,j
1−¯αt
)2
2(1−¯αt−1)βt
1−¯αt
+ const. (19)
論文 σ2
t = (1−¯αt−1)βt
1−¯αt
仮定、
ln
p(xt−1|xt)
q(xt−1|xt, x0)
=
1
2σ2
t
d∑
j=1
[
2xt−1,j
(
µj(xt, t) −
(1 − ¯αt−1)
√
αtxt,j + βt
√
¯αt−1x0,j
1 − ¯αt
)
− µj(xt, t)2
+
(
(1 − ¯αt−1)
√
αtxt,j + βt
√
¯αt−1x0,j
1 − ¯αt
)2]
+ const. (20)
13 / 14

∫
q(xt−1|xt, x0) ln
p(xt−1|xt)
q(xt−1|xt, x0)
dxt−1
=
1
2σ2
t
d∑
j=1
[
2
(1 − ¯αt−1)
√
αtxt,j + βt
√
¯αt−1x0,j
1 − ¯αt
(
µj(xt, t) −
(1 − ¯αt−1)
√
αtxt,j + βt
√
¯αt−1x0,j
1 − ¯αt
)
− µj(xt, t)2
+
(
(1 − ¯αt−1)
√
αtxt,j + βt
√
¯αt−1x0,j
1 − ¯αt
)2]
+ const.
= −
1
2σ2
t
d∑
j=1
(
µj(xt, t)2
−
(1 − ¯αt−1)
√
αtxt,j + βt
√
¯αt−1x0,j
1 − ¯αt
)2
+ const. (21)
（、論文式 (8) 符号逆。論文 negative log evidence upper
bound 求、解説 log evidence lower bound 求、符号
逆。）
14 / 14

Denoising Diffusion Probabilistic Modelsの重要な式の解説

More Related Content

What's hot (20)

More from Tomonari Masada (20)

Denoising Diffusion Probabilistic Modelsの重要な式の解説