Computational Information Geometry for Machine Learning

ÓÑÔÙØ Ø ÓÒ Ð ÁÒ ÓÖÑ Ø ÓÒ ÓÑ ØÖÝ
ÓÖ Å Ò Ä ÖÒ Ò
Ö Ò Æ Ð× Ò
ÓÐ ÈÓÐÝØ Ò ÕÙ
ËÓÒÝ ÓÑÔÙØ Ö Ë Ò Ä ÓÖ ØÓÖ ×¸ ÁÒ
¹Ñ Ð Ö Ò ºÆ Ð× Ò ÑºÓÖ
ÅÄËË ¾¼½
¾¼½ Ö Ò Æ Ð× Ò ½»½

ÓÑÔÙØ Ø ÓÒ Ð ÁÒ ÓÖÑ Ø ÓÒ ÓÑ ØÖÝ ´ Á µ ÖÓÙÒ
ÓÑÔÙØ Ø ÓÒ Ð ÁÒ ÓÖÑ Ø ÓÒ ÓÑ ØÖÝ ´ Á µ Ö Ð × × ÑÐ ××ÐÝ ÓÒ
×Ø Ø ×Ø × Ò ÔÖÓ Ð ØÝ ´ËÌ Ì ² ÈÊµ¸
Ò ÓÖÑ Ø ÓÒ Ø ÓÖÝ ´ÁÌµ¸
Ö ÒØ Ð ÓÑ ØÖÝ ´ ¸ Ò ÐÙ Ò ÑÙÐØ Ð Ò Ö Ð Ö Ó Ø Ò×ÓÖ×µ¸
ÓÑÔÙØ Ø ÓÒ
×¸ Û Ö ÓÑÔÙØ Ö × ÒØ ×Ø× Ò ÔÖÓ Ö ÑÑ Ö× ÀÓÛ Ó Û ÓÑÔÙØ
Ö Ò ÐÝ ´Ñ Û ² Û × Ù× Ó Ù Ð Ø ×ºººµ
Å ÒÝ ÔÔÐ Ø ÓÒ Ð × ÓÑÔÙØ Ø ÓÒ Ð ×Ø Ø ×Ø ×¸ Ñ Ò Ð ÖÒ Ò ´ÅÄµ¸
Ò ÓÖÑ Ø ÓÒ Ö ØÖ Ú Ð× ´ÁÊ×µ¸ ÓÑÔÙØ Ö Ú × ÓÒ ´ Îµ¸ Ñ Ð Ñ Ò ¸ Ö Ö
× Ò Ð ÔÖÓ ×× Ò ¸ Ø º
→ Å Ø Ó Ó Ò ÓÖÑ Ø ÓÒ ÓÑ ØÖÝ ¾ ´¾¼¼¼µ¸ ÔÖÓÒ Ö Ñ ÛÓÖ
¾¼½ Ö Ò Æ Ð× Ò ½ºÁÒØÖÓ Ù Ø ÓÒ ¾»½

¾¼½ Ö Ò Æ Ð× Ò ½ºÁÒØÖÓ Ù Ø ÓÒ ¿»½

ÅÓØÚ ØÓÒ×Ë ØØÒ Ó Ð×
¾¼½ Ö Ò Æ Ð× Ò ½ºÁÒØÖÓ Ù Ø ÓÒ »½

ÓÑÔÙØ Ø ÓÒ Ð ÁÒ ÓÖÑ Ø ÓÒ ÓÑ ØÖÝ Å Ò Ó Ð×
½º ÙÒ Ö×Ø Ò ×Ø Ò × Ò ÖÓÙÔ Ø Ñ Ü ÓÑ Ø ÐÐÝ ÒØÓ Ð ×× × Ò
Ù Ð Ò Ö Ñ Ø ¹ Ð ÓÖ Ø Ñ× ´ÙÒ Ý Ò ÓÖÑ Ö Ð ÓÖ Ø Ñ×µ
Ö Ñ Ò Ú Ö Ò × BF ¸ × ×Þ Ö f ¹ Ú Ö Ò × If ¸ ÔÖÓÔ Ö × ÓÖ Ò ÖÙÐ ×¸
Ø º
→ × ÓÖ ÔÖÓÔ ÖØ × Û Ø Ü Ù×Ø Ú ØÝ ¸
¾º ÙÒ Ö×Ø Ò Ö Ð Ø ÓÒ× Ô× ØÛ Ò ×Ø Ò × Ò ÓÑ ØÖ ×¸
¿º ÙÒ Ö×Ø Ò Ò Ö Ð Þ ÒØÖÓÔ ×¸ ÖÓ××¹ ÒØÖÓÔ ×¸ Ñ Ü ÑÙÑ ÒØÖÓÔÝ
ÔÖÓ Ð ØÝ ×ØÖ ÙØ ÓÒ×¸ Ò Ø Ö Ò Ù ÓÑ ØÖ × ´ ÝÓÒ
Ë ÒÒÓÒ» ÓÐØÞÑ ÒÒ» ×µº
º ÔÖÓÚ ´ ÓÓÖ Ò Ø ¹ Ö µ ÒØÖ Ò× ÓÑÔÙØ Ò Ù× Ò Ø
Ð Ò Ù » ÓÖ Ò × Ó ÓÑ ØÖÝ ´ ÓÖ ÓÑÔÙØ Ø ÓÒ Ð ×Ø Ø ×Ø ×¸ Ñ Ò
Ð ÖÒ Ò Ò ÔÖ Ø Ú Ò ÐÝØ ×µ

Ó Ð ½º ×× Ñ Ð Ö Ø × ´ ×Ø Ò ×µ Ò Ñ Ø ¹ Ð ÓÖ Ø Ñ×
ÙÒ Ý Ð ÓÖ Ø Ñ× ÒØÓ Ñ Ø ¹ Ð ÓÖ Ø Ñ× ÛÓÖ Ò ÓÒ Ð ×× × Ó ×Ø Ò ×
´Ñ ØÖ ×¸ Ú Ö Ò ×µ
Ô Ö Ñ Ø Ö ×Ø Ñ Ø ÓÒ ´Û Ø ÓÓ Ò ××¹Ó ¹ Øµ¸
ÒØ Ö¹ × ÐÙ×Ø Ö Ò ´Û Ø Ö Ñ Ò ×Ø Ò ×µ¸
Ð ÖÒ Ò ´ ÓÓ×Ø Ò Û Ø ×ÙÖÖÓ Ø ÐÓ×× ÙÒ Ø ÓÒ×µ¸
ÓÖ ×Ø Ò ´Û Ø ÔÖÓÔ Ö × ÓÖ ÙÒ Ø ÓÒ×µ¸
Ø º
ÔÖÓÔÓ× Ò Û ÔÖ Ò ÔÐ Ð ×× × Ó ×Ø Ò ×
ØÓØ Ð Ö Ñ Ò Ú Ö Ò × ½ ¸ ØÓØ Ð Â Ò× Ò Ú Ö Ò × ½ ¸ ÓÒ ÓÖÑ Ð
Ú Ö Ò × ¸ Ø º
ÙÒ Ö×Ø Ò Ü ÓÑ Ø ÐÐÝ ÔÖÓÔ ÖØ × Ò Ö Ð Ø ÓÒ× Ô× ØÛ Ò ×Ø Ò ×
´ÓÖ ÑÙÐØ ¹ ÒØ ØÝ Ú Ö× ØÝ Ò Ü ×µ Ò × Ö ÓÖ Ø Ö
Ü Ù×Ø Ú Ö Ø Ö Þ Ø ÓÒ×º

ØØÔ »»ÛÛÛº×ÓÒÝ ×Ðº Óº Ô»Ô Ö×ÓÒ»Ò Ð× Ò» Ö Ò Æ Ð× Ò¹ ×Ø Ò ×¹ ×ºÔ

Ó Ð ¾º ×Ø Ò × Ò ÓÑ ØÖ ×
ÆÓØ ½¹ØÓ¹½ ´ Ù× × Ñ ÓÑ ØÖÝ Ò Ö Ð Þ ÓÖ Ö ÒØ ×Ø Ò ×µº
ÓÑ ØÖÝ Ñ Ø ¹ÑÓ Ð
Ñ Ò ´ ×ÓÑ ØÖ ÐÐÝµ ÓÑ ØÖÝ ÒØÓ ÒÓØ Ö ÓÑ ØÖÝ ÑÓ Ð
ÒØ ÖÔÖ Ø ÒØÓ ÒÓØ Ö Ð Ö Ö ÑÓ Ðº
ÍÒ ÖÐÝ Ò ÓÑ ØÖ × Ó ×Ø Ò ×» Ú Ö Ò ×
Ê Ñ ÒÒ Ò ÓÑ ØÖÝ Û Ø Ñ ØÖ ×Ø Ò × ´Û Ø Ø Ñ ØÖ Ä Ú ¹ Ú Ø
ÓÒÒ Ø ÓÒµ¸
Ù ÐÐÝ ÓÙÔÐ Ò Ö ÒØ Ð ÓÑ ØÖÝ ´±α¹ ÓÑ ØÖÝµ Ò ÒÓÒ¹Ñ ØÖ
×Ø Ò × ´ º Ú Ö Ò ×µ¸
ÑÓÒÓØÓÒ Ñ Ò × ÒØÓ (ρ, τ)¹×ØÖÙ ØÙÖ ´ ÜØ Ò Ò lα¹ Ñ Ò µ¸
Ø º
ÓÑ ØÖ × Ó ÔÖÓ Ð ØÝ ×ØÖ ÙØ ÓÒ×»ÔÓ× Ø Ú Ñ ×ÙÖ × Ò ×Ø Ò ×
ÀÓÛ ØÓ Ò ×Ø Ø ×Ø Ð Ñ Ò ÓÐ ×

Ó Ð ¿º ÒØÖÓÔ ×¸ ÖÓ××¹ ÒØÖÓÔ ×¸ Ö Ð Ø Ú ÒØÖÓÔ × Ò
Å Ü ÒØ ×ØÖ ÙØ ÓÒ×
ÒØÖÓÔ × H(P) ´Ë ÒÒÓÒ¹ ÓÐØÞÑ ÒÒ¹ ×µ¸ ÖÓ××¹ ÒØÖÓÔ × H×(P : Q)
Ò Ö Ð Ø Ú ÒØÖÓÔ × ÃÄº ÃÄ(P : Q) = H×(P : Q) − H(P) Û Ø
H(P) = H×(P : P)º
Ò Ö Ð Þ ÒØÖÓÔ × ´×Ó ÐÐ ÓÖÑ ÐÓ Ö Ø Ñ× µ¸ Ø ÓÒ ÔØ Ó
× ÓÖØ ×ØÖ ÙØ ÓÒ×¸
Ñ Ü ÑÙÑ ÒØÖÓÔÝ ÔÖ Ò ÔÐ Ò ÕÙ Ð Ö ÙÑ ×ØÖ ÙØ ÓÒ×
´ ÓÐØÞÑ ÒÒ¹ ×¸ Ì× ÐÐ ×³× ÚÝ Ø Ð ×ØÖ ÙØ ÓÒ×¸ Ø ºµ
ÒØÖÓÔ ×¸ Ò ÓÖÑ Ø ÓÒ ´ Ò ¹ ÒØÖÓÔÝµ Ò ÓÑÔÐ Ü ØÝ ´ÃÓÐÑÓ ÓÖÓÚ¸
ÒÓÒ¹ ÓÑÔÙØ Ð ØÝµ

Ó Ð º ÓÑ ØÖ ÓÑÔÙØ Ò ÓÖ ÒØÖ Ò× ÓÑÔÙØ Ò
ÈÖÓÔÓ× Ô Ö Ñ ÓÖ Ø × Ò ÖÓÑ ØÙÑ ´ × µ
ÔÖÓ ×× Ò ØÓ ÓÑ ØÖ ÔÓ ÒØÙÑ ´ÒÓÒ¹ × µ ÓÓÖ Ò Ø ¹ Ö
ÓÑÔÙØ Ò
Ø ÙÒ × ÔÖÓ ×× Ò ÓÓÖ Ò Ø ¹ Ö ¸
Ù× ÓÖ Ò × Ó Ø ÓÑ ØÖ Ð Ò Ù ÓÖ Ù Ð Ò » ÜÔÐ Ò Ò
Ð ÓÖ Ø Ñ×
ÔÓ ÒØ×¸ Ó × ×¸ ÐÐ×¸ ÓÖØ Ó ÓÒ Ð ØÝ¸ ÔÖÓ Ø ÓÒ¸ ÈÝØ ÓÖ ×¸ Ø¸
×Ù Ñ Ò ÓÐ ¸ Ø º
Ò ÐÝØ Ò ×ÝÒØ Ø ÓÑ ØÖ × ´ ÐÓ× ¹ ÓÖÑ ÓÖ
Ü Ø ÓÑ ØÖ Ö Ø Ö Þ Ø ÓÒµº
Ü ÑÔÐ ÌÛÓ Ô× Ù Ó¹× Ñ ÒØ× ÐÛ Ý× ÒØ Ö× Ø Ò ÓÑÑÓÒ ÔÓ ÒØººº
Ø Ø Ñ Ý ÒÓØ Ò ÐÓ× ¹ ÓÖÑº
ÒÚ Ö Ò ´ Ò ×Ø Ø ×Ø Ð ÒÚ Ö Ò µ Ò ÓÑ ØÖÝ
ÖÓÙÔ Ó ÒÚ Ö Ò ¸ ÒÚ Ö Ò Ò ×Ù Ò Ý¸ ×Ø Ø ×Ø Ð ÒÚ Ö Ò ¸ Ø º
ÓÑ ØÖ Þ Ò ÔÖÓ Ð ØÝ ×Ô × Ý Ð × ×Ø Ø ×Ø Ð Ñ Ò ÓÐ ×
¾¼½ Ö Ò Æ Ð× Ò ½ºÁÒØÖÓ Ù Ø ÓÒ ½¼»½

È ÖØ Á ÓÑ ØÖÝ Ó×Ø Ø×Ø Ð Ñ Ò ÓÐ ×
¾¼½ Ö Ò Æ Ð× Ò ½ºÁÒØÖÓ Ù Ø ÓÒ ½½»½

ÇÙØÐ Ò Ó È ÖØ Á
½º × Ö Ò ÓÖÑ Ø ÓÒ ´ Ö Ñ Ö¹Ê Ó ÐÓÛ Ö ÓÙÒ µ ² ×Ù Ò Ý ´½ ¾¾µ
¾º ËØÖÙ ØÙÖ × ÖÓÑ Ö ÒØ Ð ÓÑ ØÖÝ Ó ÔÓÔÙÐ Ø ÓÒ ×Ô × ´ÀÓØ ÐÐ Ò ¸
½ ¿¼¸ Ê Ó¸ ½ ¸ Ñ Ö ¹ ÒØ×ÓÚ ½ ¼³×µ
¿º Å Ü ÑÙÑ ÒØÖÓÔÝ ÔÖ Ò ÔÐ ´ ÜÔÓÒ ÒØ Ð Ñ Ð ×µ ´½ ¸ Â ÝÒ ×µ
º ÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ× ´ Ò ÈÝØ ÓÖ ×³ Ø ÓÖ Ñµ
¾¼½ Ö Ò Æ Ð× Ò ½ºÁÒØÖÓ Ù Ø ÓÒ ½¾»½

Áº ËØ Ø×Ø Ð ÁÒ ÓÖÑ ØÓÒ
× Ö ÁÒ ÓÖÑ ØÓÒI(θ)
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ ½¿»½

ÇÐ Ý× ¹ µ × Ö Ø Ò ÓÒØ ÒÙÓÙ× Ö Ò ÓÑ Ú Ö Ð ×
× Ö Ø ÊÎ ÔÖÓ Ð ØÝ Ñ ×× ÙÒ Ø ÓÒ ´ÔÑ µ X ∼ p¸ × Ö Ø ×ÙÔÔÓÖØ
Xº
E[X] =
x∈X
p(x)x = X
×ØÖ ÙØ ÓÒ× ÖÒÓÙÐÐ ¸ ÒÓÑ Ð¸ ÑÙÐØ ÒÓÑ Ð¸ ÈÓ ××ÓÒ¸ Ø º¹∞¸
ÓÒØ ÒÙÓÙ× ÊÎ ÔÖÓ Ð ØÝ Ò× ØÝ ÙÒ Ø ÓÒ ´Ô µ X ∼ p¸ ÓÒØ ÒÙÓÙ×
×ÙÔÔÓÖØ Xº
E[X] =
x∈X
p(x)x x = X
×ØÖ ÙØ ÓÒ× ÜÔÓÒ ÒØ Ð¸ ÒÓÖÑ Ð¸ ÐÓ ÒÓÖÑ Ð¸ ÑÑ ¸ Ø ¸ Ö Ð Ø¸
Ï × ÖØ¸ Ø º¹∞¸
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹½ºÈÖÓ Ð ØÝ Ñ ×ÙÖ × ½ »½

ÖÓÑ Ø × Ø× ØÓ ÑÔ Ö Ð ´ × Ö Ø µ ×ØÖ ÙØ ÓÒ×
Ú Ò X = {x½, ..., xn} Ó × ÖÚ Ø ÓÒ×ººº
ººº Ù Ð Ø ÑÔ Ö Ð ×ØÖ ÙØ ÓÒ
pe(X) =
½
n
n
i=½
δ(X − X(i))
Fe(x) =
½
n
n
i=½
½[xi ≤x] ´ µ
pi
e =
½
n
#{x = i} ´ Ö ÕÙ Ò Ýµ
ËÙÔÔÓÖØ X × ÙÒ ÒÓÛÒ ÔÖ ÓÖ ÒÓØ ÑÙÐØ ÒÓÑ Ð ×ØÖ ÙØ ÓÒ ÒÓÖ Ò Ø
Ñ ÜØÙÖ
Ë ÑÔÐ Ñ Ò ¯μ = ½
n i xi = X pe = i∈??? pi
eiº
×Ø Ñ Ø ÓÒ X ∼ D(θ) Ý Ø Ñ Ø Ó Ó ÑÓÑ ÒØ×
X pe = E[X] = X

ÇÐ Ý× × Ö Ø Ò ÓÒØ ÒÙÓÙ× Ö Ò ÓÑ Ú Ö Ð ×
× Ö Ø ÊÎº Ë ÒÒÓÒ ÒØÖÓÔÝ
H(X) =
x∈X
p(x) ÐÓ
½
p(x)
≥ ¼
ÐÛ Ý× ÔÓ× Ø Ú ´ÒÓØ ÓÒ Ó ÙÒ ÖØ ÒØÝ Ñ Ü ÙÒ ÖØ ÒØÝ ÓÖ ÙÒ ÓÖÑ
×ØÖ ÙØ ÓÒ H(U) = ÐÓ nµ
ÓÒØ ÒÙÓÙ× ÊÎº Ö ÒØ Ð ÒØÖÓÔÝ
H(X) =
x∈X
p(x) ÐÓ
½
p(x)
x
Ò Ò Ø Ú ´Ô Ý× Ð ÒØ ÖÔÖ Ø Ø ÓÒ µ ººº
ÓÖ Ü ÑÔÐ ¸ ÓÖ ÑÙÐØ Ú Ö Ø ÒÓÖÑ Ð× ´ÅÎÆ×µ N(μ, Σ)
H(X) =
½
¾
ÐÓ (¾πe)d
|Σ|

Å ÜØÙÖ × ÑÔÐ Ò Ü ÑÔÐ Ó Ù×× Ò Å ÜØÙÖ ÅÓ Ð
´ ÅÅµ
ÌÓ × ÑÔÐ Ú Ö Ø x ÖÓÑ ÅÅ
ÓÓ× ÓÑÔÓÒ ÒØ l ÓÖ Ò ØÓ Ø Û Ø ×ØÖ ÙØ ÓÒ w½, ..., wk ¸
Ö Û Ú Ö Ø x ÓÖ Ò ØÓ N(μl , Σl )º
→ Ë ÑÔÐ Ò × ÓÙ ÐÝ ×ØÓ ×Ø ÔÖÓ ××
Ø ÖÓÛ × Û Ø k × ØÓ ÓÓ× Ø ÓÑÔÓÒ ÒØ
l ∼ ÅÙÐØ ÒÓÑ Ð(w½, ..., wk )
´ÅÙÐØ ÒÓÑ Ð × ÒÓÖÑ Ð Þ ×ØÓ Ö Ñ Û Ø ÓÙØ ÚÓ Ò×µ
Ø Ò Ö Û Ø Ö Ò ÓÑ Ú Ö Ø x ÖÓÑ Ø l¹Ø ÓÑÔÓÒ ÒØ
x ∼ ÆÓÖÑ Ð(μl , Σl )
x = μ + Cz Û Ø ÓÐ × Ý Σ = CCT Ò z = [z½ ... zd ]T ×Ø Ò Ö
ÒÓÖÑ Ð Ö Ò ÓÑ Ú Ö Ø zi = −¾ÐÓ U½ Ó×(¾πU¾)
º

ËØ Ø ×Ø Ð Ñ ÜØÙÖ × × Ö Ø ¸ ÓÒØ ÒÙÓÙ× ÓÖ Ñ Ü
Ò Ø Ñ ÜØÙÖ ÑÓ Ð× ´k ∈ Nµ Ú ÔÑ »Ô
m(x) =
k
i=½
wi pi (x)
´ÒÓØ ×ÙÑ Ó ÊÎ×¸ M = i wi Xi Ø Ø Ú ÓÒÚÓÐÙØ ÓÒ Ð Ò× Ø ×µ
Ñ ÜØÙÖ × Ó Ù×× Ò× ´ÙÒ Ú Ö× Ð Ö ÔÖ × ÒØ Ø ÓÒ ÓÖ ×ÑÓÓØ Ò× Ø ×µ
ÑÙÐØ ÒÓÑ Ð ×ØÖ ÙØ ÓÒ × Ñ ÜØÙÖ
´ Ò Ð×Ó Ò ÜÔÓÒ ÒØ Ð Ñ ÐÝ Ò Ò ÓÖÑ Ø ÓÒ ÓÑ ØÖÝºººµ
Ï Ø ÓÙØ Ø Ñ ÜØÙÖ Ó ×Ø Ò Ö Ù×× Ò Û Ø ÒÓÑ Ð
×ØÖ ÙØ ÓÒ → Æ Ø Ö × Ö Ø ÒÓÖ ÓÒØ ÒÙÓÙ×

Å ×ÙÖ Ø ÓÖÝ ´ Ü ÓÑ ×Ý×Ø Ñ Ó ÃÓÐÑÓ ÓÖÓÚ¸ ½ ¿¿µ
ÙÒ Ý × Ö Ø Ò ÓÒØ ÒÙÓÙ× ÊÎ× × ÔÖÓ Ð ØÝ Ñ ×ÙÖ × ´ÔÑµ μ, ν¸ Ø º
Ò Ò Ð ÊÎ× Ø Ø Ö Ò Ø Ö ÓÒØ ÒÙÓÙ× ÒÓÖ × Ö Ø ´ º¸ Ñ ÜØÙÖ
Ó ÈÓ ××ÓÒ Û Ø Ù×× Òµ
ÓÖ ÔÖÓ Ð ØÝ Ñ ×ÙÖ ×¸ ÔÑ ×»Ô × Ö Ê ÓÒ¹Æ Ó ÝÑ Ö Ú Ø Ú ×
ÜÔ Ø Ø ÓÒ ÒÓØ Ø ÓÒ × ÙÒ ×
E[X] =
x∈X
xp(x) ν(x)
ÌÛÓ Ù×Ù Ð × Ñ ×ÙÖ ×
ÓÙÒØ Ò Ñ ×ÙÖ νC ´ → µ
Ä × Ù Ñ ×ÙÖ νL

Å ×ÙÖ Ø ÓÖÝ ÈÖÓ Ð ØÝ ×Ô ´Ö ÐÐ Ò Ø ÖÑ ÒÓÐÓ Ýµ
X × Ø¸ Ø × ÑÔÐ ×Ô
σ¹ Ð Ö F ÓÚ Ö X ×Ù × Ø× Ó X ÐÓ× ÙÒ Ö ÓÙÒØ Ð Ñ ÒÝ
ÒØ Ö× Ø ÓÒ×¸ ÙÒ ÓÒ×¸ Ò ÓÑÔÐ Ñ ÒØ×º
(X, F) Ñ ×ÙÖ Ð ×Ô
Ñ ×ÙÖ μ : F → R ∪ {±∞} Û Ø
μ(E) ≥ ¼, ∀E ∈ F¸ μ(∅) = ¼
μ (∪i≥½Ei ) = i≥½ μ(Ei ) ÓÖ Ô ÖÛ × × Ó ÒØ × ÕÙ Ò {Ei ∈ F}i
(X, F, μ)¸ ´ÔÓ× Ø Ú µ Ñ ×ÙÖ ×Ô
(X, F, μ) Û Ø μ(X) = ½¸ ÔÖÓ Ð ØÝ ×Ô ¸ F ∈ F Ö Ú ÒØ×
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹½ºÈÖÓ Ð ØÝ Ñ ×ÙÖ × ¾¼»½

Å ×ÙÖ Ð ÙÒ Ø ÓÒ× Ò Ö Ò ÓÑ Ú Ö Ð ×
Å ×ÙÖ Ð ÙÒ Ø ÓÒ f : X → Y ØÛ Ò ØÛÓ Ñ ×ÙÖ Ð ×Ô × (X, F)
Ò (Y, G)
∀G ∈ G, f −½(G) ∈ F
Ê Ò ÓÑ Ú Ö Ð X Ñ ×ÙÖ Ð ÙÒ Ø ÓÒ X : X → Rº Ì Ö ÓÖ
{x ∈ X | a < X(x) < b} ∈ F
ÐÐ × ÑÔÐ ×Ø Ø × Û Ø X Ø Ò Ú ÐÙ × ØÛ Ò a Ò b × Ò Ú ÒØ ´ µ
ÓÒØ ÒÙÓÙ× ÊÎ Ñ ×ÙÖ × ÓÒ ÓÖ Ð σ¹ Ð Ö
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹½ºÈÖÓ Ð ØÝ Ñ ×ÙÖ × ¾½»½

ÓÑ Ò Ò Ò Ê ÓÒ¹Æ Ó ÝÑ Ö Ú Ø Ú ×
Ñ ×ÙÖ μ × ÓÑ Ò Ø Ý Ñ ×ÙÖ ν ´μ νµ º
ν(E) = ¼ ⇒ μ(E) = ¼
μ ν σ¹ Ò Ø ´X ÓÙÒØ Ð ÙÒ ÓÒ Ó Ñ ×ÙÖ Ð × Ø× Û Ø Ò Ø
Ñ ×ÙÖ µ Ø Ò μ Ñ Ø× Ò× ØÝ f ÛÖØ ØÓ ν¸ Ø Ê ÓÒ¹Æ Ó ÝÑ
Ö Ú Ø Ú
f
Ò.
=
μ
ν
∀ ν − Ñ ×ÙÖ Ð E, μ(E)
Ò.
=
e∈E
f ν(e)
P ν¸ Ë ÒÒÓÒ ÒØÖÓÔÝ H(P) = − p(x) ÐÓ p(x) ν(x)º
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹½ºÈÖÓ Ð ØÝ Ñ ×ÙÖ × ¾¾»½

ËØ Ø ×Ø Ð ×Ø Ñ Ø ÓÒ Ô Ö Ñ ØÖ ×Ø Ñ Ø ÓÒ ˆθ
Ú Ò º X = {x½, ..., xn} ∼ pθ¼ (x) ´ Ò Ý Æ ØÙÖ µ¸ ×Ø Ñ Ø θ Ò
Ñ ÐÝ {pθ(x)}θ
→ ÖÓÑ Ó × ÖÚ Ø ÓÒ × Ø× ØÓ Ö Ò ÓÑ Ú ØÓÖ×
Å Ü ÑÙÑ Ä Ð ÓÓ ÈÖ Ò ÔÐ ´ÅÄ µ
ˆθn = Ö Ñ Üθ
i
pθ(xi ) = Ö Ñ Üθl(X; θ) =
i
ÐÓ pθ(xi )
ÓÒ× ×Ø Ò Ý Ð Ñn→∞
ˆθn = θ¼
× ÓÖ ÙÒ Ø ÓÒ s(θ, x) = ∇θ ÐÓ pθ(x) Û Ø ∇θ = (∂i = ∂
∂θi )i º × ÓÖ
Ò Ø × Ø × Ò× Ø Ú ØÝ Ó Ø ÐÓ ¹Ð Ð ÓÓ ÙÖÚ º
ÓÖ ×ØÖ ØÐÝ ÓÒ Ú ÐÓ ¹Ð Ð ÓÓ ¸ ÙÒ ÕÙ ˆθ ×Ù Ø Ø s(ˆθ, x) = ¼
´ÅÎÆ×¸ Ø ¸ ÈÓ ××ÓÒ¸ Ö Ð Ø¸ Ø µº
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹½ºÈÖÓ Ð ØÝ Ñ ×ÙÖ × ¾¿»½

× Ö Ò ÓÖÑ Ø ÓÒ I(θ) Î Ö Ò Ó Ø × ÓÖ
ÑÓÙÒØ Ó Ò ÓÖÑ Ø ÓÒ Ø Ø Ò Ó × ÖÚ Ð Ö Ò ÓÑ Ú Ö Ð X ÖÖ ×
ÓÙØ Ò ÙÒ ÒÓÛÒ Ô Ö Ñ Ø Ö θ
Ö×Ø ÑÓÑ ÒØ Ó × ÓÖ ¼¸ ÒÓØ × Ö Ñ Ò Ø Ú
E
∂
∂θ
ÐÓ p(X; θ) | θ = E
∂
∂θ p(X; θ)
p(X; θ)
| θ =
∂
∂θ p(x; θ)
p(x; θ)
p(x; θ) x
=
∂
∂θ
p(x; θ) x =
∂
∂θ
f (x; θ) x
=
∂
∂θ
½ = ¼.
Ë ÓÒ ÑÓÑ ÒØ Ó × ÓÖ ´Û Ø ∂i l(x; θ) = ∂
∂θi
l(x; θ)µ
I(θ) = E
∂
∂θ
ÐÓ f (X; θ)
¾
θ =
∂
∂θ
ÐÓ f (x; θ)
¾
f (x; θ) x > ¼
ÅÙÐØ ¹Ô Ö Ñ Ø Ö Ii,j (θ) = Eθ[∂i l(x; θ)∂j l(x; θ)] , I(θ) ¼¸ ÈË´Ëµ
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹¾º ÁÅ ¾ »½

× Ö Ò ÓÖÑ Ø ÓÒ Ò Ö Ñ Ö¹Ê Ó ÐÓÛ Ö ÓÙÒ
ÀÓÛ ÓÓ × Ò ×Ø Ñ ØÓÖ ÓÛ ØÓ Ñ ×ÙÖ ÓÓ Ò ××
Å Ò ËÕÙ Ö ÖÖÓÖ ´ÅË µ ÅË (θ)
Õ
= E[ ˆθ − θ¼
¾] ´ ÓÒ× ×Ø Ò Ý
ÅË → ¼µ
Ö Ñ Ö¹Ê Ó ÐÓÛ Ö ÓÙÒ ÓÖ Ò ÙÒ × ×Ø Ñ ØÓÖ ˆθ
V[ˆθ] I−½(θ¼)
Ò Ý ÙÒ × ×Ø Ñ ØÓÖ Ñ Ø Ò Ø Ê ÐÓÛ Ö ÓÙÒ
×ÝÑÔØÓØ ÒÓÖÑ Ð ØÝ Ó ˆθ ´ÓÒ Ö Ò ÓÑ Ú ØÓÖ×µ
ˆθ ∼ N θ¼,
½
n
I−½(θ¼)

× Ö ÁÒ ÓÖÑ Ø ÓÒ Å ØÖ Ü ´ ÁÅµ
I(θ) = [Ii,j(θ)]i,j, Ii,j(θ) = Eθ[∂i l(x; θ)∂j l(x; θ)]
ÓÖ ÑÙÐØ ÒÓÑ Ð× (p½, ..., pd )
I(θ) =
⎡
⎢
⎢
⎢
⎣
p½(½ − p½) −p½p¾ ... −p½pk
−p½p¾ p¾(½ − p¾) ... −p¾pk
ººº
ººº
−p½pk −p¾pk ... pk(½ − pk)
⎤
⎥
⎥
⎥
⎦
ÓÖ ÑÙÐØ Ú Ö Ø ÒÓÖÑ Ð× ´ÅÎÆ×µ N(μ, Σ)
Ii,j(θ) =
∂μ
∂θi
Σ−½ ∂μ
∂θj
+
½
¾
ØÖ Σ−½ ∂Σ
∂θi
Σ−½ ∂Σ
∂θj
Ñ ØÖ Ü ØÖ ØÖº

Ê Ô Ö Ñ Ø Ö Þ Ø ÓÒ Ó Ø × Ö Ò ÓÖÑ Ø ÓÒ Ñ ØÖ Ü
Ä Ø θ = θ(η) Ò η ØÛÓ ½¹ØÓ¹½ Ô Ö Ñ Ø Ö Þ Ø ÓÒ×
J = [Ji,j ]i,j Â Ó Ò Ñ ØÖ Ü Ji,j = ∂θi
∂ηj
º
Iη(η) = J × Iθ(θ(η)) × J
× Ö Ò ÓÖÑ Ø ÓÒ Ñ ØÖ Ü Ô Ò × ÓÒ Ø Ô Ö Ñ Ø Ö Þ Ø ÓÒ Ó Ø
Ô Ö Ñ Ø Ö ×Ô ´ ÓÚ Ö ÒØµ

ËØ Ø ×Ø × ÁÒ ÓÖÑ Ø ÓÒ Ò ×Ù Ò Ý
×Ù Ò Ý P(x|t, θ) = P(x|t)
⇒ ÐÐ Ò ÓÖÑ Ø ÓÒ ÓÙØ θ × ÓÒØ Ò Ò× t
Is(X)(θ) ≤ IX (θ) ÓÖ ×Ø Ø ×Ø s¸ Û Ø ÕÙ Ð ØÝ º s × ×Ù ÒØ
× Ö¹Æ ÝÑ Ò³× ØÓÖ Þ Ø ÓÒ Ö Ø Ö ÓÒ t(x) × ×Ù ÒØ Ø Ò Û Ú
Ø ÓÐÐÓÛ Ò ÒÓÒ Ð ØÓÖ Þ Ø ÓÒ
p(x; θ) = g(t(x); θ)h(x)
Üº t(x) = ( i xi , i x¾
i ) ×Ù ÒØ ÓÖ ÙÒ Ú Ö Ø ÒÓÖÑ Ð×º
ÐÐ Ò ÓÖÑ Ø ÓÒ ÓÙØ θ Ò ØÛÓ ÕÙ ÒØ Ø × Ø Ö Ù Ø ÓÒ Û Ø ÓÙØ ÐÓ×× Ó
×Ø Ø ×Ø Ð Ò ÓÖÑ Ø ÓÒ
× ÑÔÐ Ñ Ò ¯μ = ½
n i xi ¸ × ÑÔÐ Ú Ö Ò
¯v = ½
n i (xi − ¯μ)¾ = ½
n i x¾
i − ¯μ¾ =
½
n
i
x¾
i − (
½
n
i
xi )¾
ÒÓØ ÐÐ ×Ø Ø ×Ø × ÖÖÝ Ò ÓÖÑ Ø ÓÒ ÓÒ θ Ò ÐÐ ÖÝ ×Ø Ø ×Ø ×¸ ×Ø Ø ×Ø ×
Ø Ø Ó × ÒÓØ Ô Ò ÓÒ Ø Ô Ö Ñ Ø Ö θº
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹¿ºËÙ Ò Ý ¾ »½

X X t(X)
iid.
Inverse probability/Inference
Parameters: λ Statistics
(data reduction)
Loss of information
for recovering λ
suﬃ
cient
insuﬃcient
random vector
random sample
x1, ..., xn
t(x1, ..., xn)
random variable
Ï Ö ÒØ Ö ×Ø Ò Ò Ø ¹ Ñ Ò× ÓÒ Ð ×Ù ÒØ ×Ø Ø ×Ø ×ººº ´×Ø Ø ×Ø Ð
ÐÓ××Ð ×× Ø Ö Ù Ø ÓÒµ
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹¿ºËÙ Ò Ý ¾ »½

ÜÔÓÒ ÒØ Ð Ñ Ð × Ò Ò Ø ×Ù Ò Ý
Probability measure
Parametric Non-parametric
Exponential families Non-exponential families
Uniform Cauchy L´evy skew α-stable
Univariate Multivariate
uniparameter multi-parameter
Dirichlet Weibull
GaussianRayleigh
Bernoulli
Binomial
Exponential
Poisson
Gamma ΓBeta β
Bi-parameter
Multinomial
Û Ö ÜÔÓÒ ÒØ Ð ×ØÖ ÙØ ÓÒ ÐÓÒ × ØÓ Ø ÜÔÓÒ ÒØ Ð Ñ Ð × ØÓÓº
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ º ÜÔÓÒ ÒØ Ð Ñ Ð × ¿¼»½

ÜÔÓÒ ÒØ Ð Ñ Ð × Ñ Ð × Ó Ô Ö Ñ ØÖ ×ØÖ ÙØ ÓÒ×
ÒÓÒ Ð ÓÑÔÓ× Ø ÓÒ ´t(x) ×Ù ÒØ ×Ø Ø ×Ø ×¸ k(x)
ÙÜ Ð ÖÝ ÖÖ Ö Ø ÖÑµ
p(x; θ) = ÜÔ( t(x), θ − F(θ) + k(x))
ÐÓ ¹Ä ÔÐ ØÖ Ò× ÓÖÑ F(θ) = ÐÓ ÜÔ( t(x), θ + k(x)) x
Ñ ÒÝ ×ØÖ ÙØ ÓÒ× p(x; λ) ´ÒÓÖÑ Ð¸ ÑÑ ¸ Ø ¸ ÑÙÐØ ÒÓÑ Ð¸ ÈÓ ××ÓÒµ
Ö ÜÔÓÒ ÒØ Ð Ñ Ð × Û Ø θ(λ)
F × ×ØÖ ØÐÝ ÓÒÚ Ü ÓÒ ÓÒÚ Ü Ò ØÙÖ Ð Ô Ö Ñ Ø Ö ×Ô
Θ = {θ ∈ RD | F(θ) < ∞}
Ù Ð Ô Ö Ñ Ø Ö Þ Ø ÓÒ× θ(λ) ÓÖ η(λ) = ∇F(θ(λ)) = E[t(X)]
× Ö Ò ÓÖÑ Ø ÓÒ Ñ ØÖ Ü I(θ) = ∇¾F(θ) ¼ ´À ×× Ò Ó ×ØÖ ØÐÝ
ÓÒÚ Ü ÙÒ Ø ÓÒµ
ÅÄ ˆη = ½
n i t(xi ) = ∇F(θ) ´ ÓÒ Ø ÓÒ ÓÒ Ü ×Ø Ò µ
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ º ÜÔÓÒ ÒØ Ð Ñ Ð × ¿½»½

ÓÒÚ Ü Ù Ð ØÝ Ä Ò Ö ¹ Ò Ð ØÖ Ò× ÓÖÑ Ø ÓÒ ¾½¸ ½
ÓÖ ×ØÖ ØÐÝ ÓÒÚ Ü Ò Ö ÒØ Ð ÙÒ Ø ÓÒ F : X → R¸ Ò Ø
ÓÒÚ Ü ÓÒ Ù Ø
F∗
(y) = ×ÙÔ
x∈X
{ y, x − F(x)
lF (y;x);
}
Å Ü ÑÙÑ Ó Ø Ò ÓÖ y = ∇F(x)
∇xlF (y; x) = y − ∇F(x) = ¼ ⇒ y = ∇F(x)
Å Ü ÑÙÑ ÙÒ ÕÙ ÖÓÑ ÓÒÚ Ü ØÝ Ó F ´∇¾F ¼µ
∇¾
xlF (y; x) = −∇¾F(x) ≺ ¼
ÓÒÚ Ü ÓÒ Ù Ø × Û Ø ÓÑ Ò×
(F, X) ⇔ (F∗
, Y), Y = {∇F(x) | x ∈ X}
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ ºÄ Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ ¿¾»½

Ä Ò Ö Ù Ð ØÝ ÓÑ ØÖ ÒØ ÖÔÖ Ø Ø ÓÒ
ÓÒ× Ö Ø Ô Ö Ô Ó F × ÓÒÚ Ü Ó Ø
ÓÒÚ Ü ÙÐÐ ´Ú ÖØ Ü¸ V ¹Ö ÔÖ × ÒØ Ø ÓÒµ¸ Ú Ö×Ù×
Ð ¹×Ô ´ Ð ×Ô ¸ H¹Ö ÔÖ × ÒØ Ø ÓÒµº
O
F
z
x
P : (x, F(x))
(0, F(xP ) − xP F (xP ) = −F∗
(yP ))
HP : z = (x − xP )F (xP ) + F(xP )
Q
xP
zP = F(xP )
HQ : z = (x − xQ)F (p) + F(xQ)
Dual coordinate systems:
P =
⎧
⎨
⎩
xP
HP : yP = F (xP )
0
HP +
Ä Ò Ö ØÖ Ò× ÓÖÑ Ð×Ó ÐÐ ×ÐÓÔ ØÖ Ò× ÓÖÑº
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ ºÄ Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ ¿¿»½

Ä Ò Ö Ù Ð ØÝ ² ÒÓÒ Ð Ú Ö Ò
ÓÒÚ Ü ÓÒ Ù Ø × Ú ÙÒ Ø ÓÒ Ð ÒÚ Ö× Ö ÒØ× ∇F−½ = ∇F∗
∇F∗ Ñ Ý Ö ÕÙ Ö ÒÙÑ Ö Ð ÔÔÖÓÜ Ñ Ø ÓÒ
´ÒÓØ ÐÛ Ý× Ú Ð Ð Ò Ò ÐÝØ Ð ÐÓ× ¹ ÓÖÑµ
ÁÒÚÓÐÙØ ÓÒ (F∗)∗ = F Û Ø ∇F∗ = (∇F)−½º
ÓÒÚ Ü ÓÒ Ù Ø F∗ ÜÔÖ ×× Ù× Ò (∇F)−½
F∗
(y) = x, y − F(x), x = ∇y F∗
(y)
F∗
(y) = (∇F)−½(y), y − F((∇F)−½(y))
Ò Ð¹ ÓÙÒ Ò ÕÙ Ð ØÝ Ø Ø ÖØ Ó Ø ÒÓÒ Ð Ú Ö Ò
F(x) + F∗
(y) ≥ x, y
AF (x : y) = AF∗ (y : x) = F(x) + F∗
(y) − x, y ≥ ¼
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ ºÄ Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ ¿ »½

È Ö Ñ Ø Ö× Ó ÜÔÓÒ ÒØ Ð Ñ Ð ×
D ÓÖ Ö Ó Ø ÜÔÓÒ ÒØ Ð Ñ ÐÝ
d ÙÒ ¹ ´d = ½µ ÓÖ ÑÙÐØ ¹Ú Ö Ø Ñ ÐÝ
Å ÒÝ Ô Ö Ñ Ø Ö Þ Ø ÓÒ× Ö ÔÓ×× Ð ÙØ ÓÒÐÝ ØÛÓ Ö ÒÓÒ Ð Ò ØÙÖ Ð
Ô Ö Ñ Ø Ö× Ò ÜÔ Ø Ø ÓÒ Ô Ö Ñ Ø Ö×º
λ ∈ Λ
η ∈ Hθ ∈ Θ
Exponential family
dual parameterization
η = ∇θF(θ) θ = ∇ηF∗
(η)
Legendre transform
(Θ, F) ↔ (H, F∗
)
Natural parameters Expectation parameters
Original parameters

ÒÓÒ Ð ÓÑÔÓ× Ø ÓÒ Ó ÜÔÓÒ ÒØ Ð Ñ Ð ×
·, · ÒÒ Ö ÔÖÓ Ù Ø ÓÒ Ú ØÓÖ× ´× Ð Ö ÔÖÓ Ù Øµ¸ Ñ ØÖ × ´Ê ÌÖ(AB∗)µ
t(x) ×Ù ÒØ ×Ø Ø ×Ø ×¸ k(x) ÙÜ Ð ÖÝ ÖÖ Ö Ø ÖÑ
p(x; θ) = ÜÔ( t(x), θ − F(θ) + k(x))
ÆÓØ ÙÒ ÕÙ ÓÑÔÓ× Ø ÓÒ Ù×
Ò ØÙÖ Ð Ô Ö Ñ Ø Ö Ò ×Ù ÒØ ×Ø Ø ×Ø t (x) = At(x) Ò θ = A−½θ
´ ÓÖ |A| = ¼ Ò ØÖ Ò× ÓÖÑ Ø ÓÒµ
ÓÒ×Ø ÒØ Ò F (θ) = F(θ) + c Ò k (x) = k(x) − c
Ä Ø Ù× Ú ×ÓÑ ÓÑÔÓ× Ø ÓÒ Ü ÑÔÐ ×ººº

ËØ Ø ×Ø Ð Ñ ÜØÙÖ × Ê ÝÐ ÅÅ× ¾
ÁÒØÖ Î × ÙÐ Ö ÍÐØÖ ËÓÙÒ ´ÁÎÍËµ Ñ Ò
Ê ÝÐ ×ØÖ ÙØ ÓÒ
p(x; λ) = x
λ¾ e− x¾
¾λ¾
x ∈ R+
d = ½ ´ÙÒ Ú Ö Ø µ
D = ½ ´ÓÖ Ö ½µ
θ = − ½
¾λ¾
Θ = (−∞, ¼)
F(θ) = − ÐÓ (−¾θ)
t(x) = x¾
k(x) = ÐÓ x
´Ï ÙÐÐ k = ¾µ
ÓÖÓÒ ÖÝ ÔÐ ÕÙ × ÖÓØ Ø ××Ù ×¸ Ð Ø ××Ù ×¸ Ð Ô Ø ××Ù ×
Ê ÝÐ Å ÜØÙÖ ÅÓ Ð× ´ÊÅÅ×µ
ÓÖ × Ñ ÒØ Ø ÓÒ Ò Ð ×× Ø ÓÒ Ø × ×

ËØ Ø ×Ø Ð Ñ ÜØÙÖ × Ù×× Ò ÅÅ× ½¾¸ ¾ ¸ ½¿
Ù×× Ò Ñ ÜØÙÖ ÑÓ Ð× ´ ÅÅ×µ ÑÓ Ð ÐÓÛ Ö ÕÙ Ò Ýº
ÓÐÓÖ Ñ ÒØ ÖÔÖ Ø × ÜÝÊ ÔÓ ÒØ × Øº
Ù×× Ò ×ØÖ ÙØ ÓÒ p(x; μ, Σ)
½
(¾π)
d
¾
√
|Σ|
e− ½
¾ DΣ−½ (x−μ,x−μ)
ËÕÙ Ö Å Ð ÒÓ × ×Ø Ò
DQ(x, y) = (x − y)T Q(x − y)
x ∈ Rd
d ´ÑÙÐØ Ú Ö Ø µ
D = d(d+¿)
¾ ´ÓÖ Öµ
θ = (Σ−½μ, ½
¾Σ−½) = (θv , θM)
Θ = R × Sd
++
F(θ) = ½θT
v θ−½
M θv − ½
¾ ÐÓ |θM| +
d
¾ ÐÓ π
t(x) = (x, −xxT )
k(x) = ¼

ÅÄ Ó ÜÔÓÒ ÒØ Ð Ñ Ð × ÌÛÓ ÓÓÖ Ò Ø ×Ý×Ø Ñ×
η = E[t(x)] = ∇F(θ), θ = (∇F)−½(η) = ∇F∗
(η)
ˆη = 1
n i t(xi) = ¯t
minθ F(θ) − θ, ¯t
Convex optimization Trivial solution
natural parameter: θ-coordinates expectation parameter: η-coordinates
∇F(·)
∇F−1
(·) = ∇F∗
(·)
ÐÓ× ¹ ÓÖÑ Ò ÜÔ Ø Ø ÓÒ Ô Ö Ñ Ø Ö ÓÓÖ Ò Ø ×Ý×Ø Ñ η
ˆη = ½
n i t(xi )
ÓÒÚ Ü ÓÔØ Ñ Þ Ø ÓÒ Ò Ø Ò ØÙÖ Ð Ô Ö Ñ Ø Ö ÓÓÖ Ò Ø ×Ý×Ø Ñ θº
Ñ Üθ l(θ; x½, ..., xn) = ½
n i ( t(xi ), θ − F(θ)) ≡ Ñ Òθ F(θ) − θ, ¯t ´Ø Ø
×¸ ∇F(ˆθ) = ¯tµ

ÜÔÓÒ ÒØ Ð Ñ Ð × ÍÒ Ú Ö× Ð Ñ Ð ×
ÍÒ Ú Ö× Ð Ö ÔÖ × ÒØ Ø ÓÒ× Ó ×ÑÓÓØ Ò× Ø ×
Ñ ÜØÙÖ × Ó ÜÔÓÒ ÒØ Ð Ñ Ð × ÔÔÖÓÜ Ñ Ø ÒÝ ×ÑÓÓØ Ò× ØÝ
´Ñ ÜØÙÖ × Ó Ù×× Ò×µ
× Ò Ð ÜÔÓÒ ÒØ Ð Ñ ÐÝ ´ÔÓ×× ÐÝ ÑÙÐØ ÑÓ Ðµ ÔÔÖÓÜ Ñ Ø × Ð×Ó ÒÝ
×ÑÓÓØ Ò× ØÝ Ë Ñ Ð Ö ØÓ ÔÔÖÓÜ Ñ Ø ÓÒ× Ó ÙÒ Ø ÓÒ× Ý ÔÓÐÝÒÓÑ Ð×º
Ï Ò ÓÓ× Ø ×Ù ÒØ ×Ø Ø ×Ø × Ò (½, x, x¾, x¿, ...) Ò
(ÐÓ x, ÐÓ ¾ x, ÐÓ ¿ x, ...)º ÙØ Ø Ò F(θ) ÒÓØ Ò ÐÓ× ÓÖÑ
F(θ) =
x
ÜÔ θ t(x) + k(x) ν(x)
´ ÓÑÑÓÒ ÔÖÓ Ð Ñ Ñ Ø Ò ÔÖ Ø ÒÓØ ØÓ Ú ÐÓ× ¹ ÓÖÑ ÜÔÖ ×× ÓÒ Ó
F¸ Á× Ò Ò ÈÓØØ× ÑÓ Ð×¸ Ø ºµ
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ ºÄ Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ ¼»½

ÓÐØÞÑ ÒÒ¹ × ×ØÖ ÙØ ÓÒ Ò ×Ø Ø ×Ø Ð Ô Ý× ×
Ä Ø E(X; θ) Ò Ò Ö Ý ÙÒ Ø ÓÒº
p(X; θ) =
½
Z(θ)
ÜÔ(−E(X; θ))
Z(θ) ÒÓÖÑ Ð Þ Ø ÓÒ ØÓÖ ´ º Ô ÖØ Ø ÓÒ ÙÒ Ø ÓÒµ
Z(θ) =
x
ÜÔ(−E(X; θ)) ν(x)
F(θ) = ÐÓ Z(θ)
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ ºÄ Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ ½»½

Ì Ó × ÖÚ ÔÓ ÒØ ˆP Ò Ò ÓÖÑ Ø ÓÒ ÓÑ ØÖÝ
{Pθ}θ Ô Ö Ñ ØÖ ´ ÜÔÓÒ ÒØ Ð Ñ ÐÝµ ÑÓ Ð¸ ÒØ Ð
Î Û Pθ × ÔÓ ÒØ ÓÒ Ñ Ò ÓÐ ´ Ù Ð ÓÓÖ Ò Ø × θ Ò ηµ
Ç × ÖÚ ÔÓ ÒØ ˆP Û Ø η¹ ÓÓÖ Ò Ø t(x) = ½
n i t(xi ) ´ÅÄ µ
P
{Pθ = p(x|θ)}θ
ˆP(η = ˆη = 1
n i t(xi))
observed point
Space of probability distributions
Ï × ÐÐ × Ð Ø Ö Ø Ø ˆP × m¹ÔÖÓ Ø ÓÒ Ó Ø ÑÔ Ö Ð ×ØÖ ÙØ ÓÒ ÓÒ Ø
e¹ Øººº
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ ºÄ Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ ¾»½

ÅÄ Ó ÜÔÓÒ ÒØ Ð Ñ Ð × ¾¼
ˆη = t(x) ÙØ Û ÛÓÙÐ Ð ˆθ = (∇F−½)(ˆη)
Ú ÐÙ Ó Ø Ñ Ü ÑÙÑ Ð Ð ÓÓ
l(θ; x½, ..., xn) = F∗
(ˆη) + k(x)
k(x) = ½
n
n
i=½ k(xi )
F∗ × Ò ¹ ÒØÖÓÔÝ
Ï Ò F(θ) ÒÓØ Ò ÐÓ× ¹ ÓÖÑ ÓÒØÖ ×Ø Ú Ú Ö Ò ´Å Å µ¸ × ÓÖ
Ñ Ø Ò ´ × Ö Ú Ö Ò µ¸ Ø º
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ ºÄ Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ ¿»½

ÁÁº ÓÑ ØÖ ×ØÖÙ ØÙÖ × Ó
ÔÖÓ ÐØÝ Ñ Ò ÓÐ ×
(M, g)
(M, g, ∇, ∇∗) ⇔ (M, g, T)
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ × »½

ÈÓÔÙÐ Ø ÓÒ ×Ô ² È Ö Ñ Ø Ö ×Ô
Àº ÀÓØ ÐÐ Ò ½ ´½ ¿¼µ¸ º Êº Ê Ó ´½ µ
P = {p(x|θ) | θ ∈ Θ} Ô Ö Ñ ØÖ Ñ ÐÝ Ó ×ØÖ ÙØ ÓÒ×¸ Ø
ÔÓÔÙÐ Ø ÓÒ ×Ô ¸
Θ¸ Ø Ô Ö Ñ Ø Ö ×Ô Ó Ñ Ò× ÓÒ D
ÑÑ Ö× ÓÒ i(θ) = p(x|θ) ÖÓÑ Ø Ô Ö Ñ Ø Ö ×Ô ØÓ Ø ÔÓÔÙÐ Ø ÓÒ
×Ô
i ÓÒ ¹ØÓ¹ÓÒ ´ÑÓ Ð ÒØ Ð ØÝµ
i Ó Ö Ò Ñ(Θ) = D
∂p(x|θ)
∂θ½
, ...,
∂p(x|θ)
∂θD
ººº Ö Ð Ò ÖÐÝ Ò Ô Ò ÒØ
ÓÑ ØÖ ×ØÖÙ ØÙÖ × Ó ËÈ Ñ ØÖ × Û Ò Û ÓÒ× Ö Ø Ô ÖØ ÙÐ Ö
×Ô {N(¼, Σ) | Σ ¼}
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½

× Ö Ò ÓÖÑ Ø ÓÒ Ñ ØÖ Ü ´ ÁÅµ
ÐÓ ¹Ð Ð ÓÓ l(θ|x) = ÐÓ p(x|θ)¸ ∂i = ∂
∂θi
º
Å ØÖ Ø Ò×ÓÖ¸ D × D Ñ ØÖ Ü g = [gij ] = i,j gij xi ⊗ xj ´Ø Ò×ÓÖ
ÔÖÓ Ù Øµ
gij = Eθ[∂i l(θ)∂j l(θ)]
ÁÅ Ò Ö ÛÖ ØØ Ò ÕÙ Ú Ð ÒØÐÝ ×
gij =
x
∂i p(x|θ)∂j p(x|θ) x
g ×ÝÑÑ ØÖ ÔÓ× Ø Ú Ò Ø ´ËÈ µ¸ ÒÓÒ¹ Ò Ö Ø Û Ò {∂i p(x|θ)}i
Ö Ð Ò Ö Ò Ô Ò ÒØ ´ÔÖÓ Ð Ñ Û Ø Ñ ÜØÙÖ ÑÓ Ð× Û Ö ∃θ, I(θ) = ¼µ

× Ö Ò ÓÖÑ Ø ÓÒ Ñ ØÖ Ü ² À ×× Ò
Æ Ø Ú ÜÔ Ø Ø ÓÒ Ó Ø À ×× Ò Ó Ø ÐÓ ¹Ð Ð ÓÓ ÙÒ Ø ÓÒ
gij = Eθ[∂i l(θ)∂j l(θ)]
gij =
x
∂i p(x|θ)∂j p(x|θ) x
gij = −Eθ[∂i ∂j l(θ)]
ÓÖ Ò ØÙÖ Ð ÜÔÓÒ ÒØ Ð Ñ Ð × p(x|θ) = ÜÔ( θ, x − F(θ))¸
I(θ) = ∇¾F(θ) ¼

× Ö Ò ÓÖÑ Ø ÓÒ ÒÚ Ö Ò Ò ÓÚ Ö Ò
ÁÒÚ Ö ÒØ ÙÒ Ö Ö Ô Ö Ñ Ø Ö Þ Ø ÓÒ Ó Ø × ÑÔÐ ×Ô X ÊÎº Û Ø
p(x|θ) Ò Y = f (X) ÓÖ Ò ÒÚ ÖØ Ð ØÖ Ò× ÓÖÑ Ø ÓÒ f (·) Û Ø Ò× ØÝ
¯p(y|θ)º
gij (θ) = ¯gij (θ)
ÓÚ Ö ÒØ ÙÒ Ö Ö Ô Ö Ñ Ø Ö Þ Ø ÓÒ Ó Ø Ô Ö Ñ Ø Ö ×Ô Ä Ø
η = η(θ) Ò ÒÚ ÖØ Ð ØÖ Ò× ÓÖÑ Ø ÓÒ Û Ø ¯pη(x) = pη(θ)(x)
¯gij (η) = gkr |η=η(θ)
∂θk
∂ηi
∂θr
∂ηj
×Ù ÒØ ×Ø Ø ×Ø × p(x|t, θ) = p(x|t)¸ ÒÓÒ¹ Ø ÖÑ Ò ×Ø Å Ö ÓÚ
ÑÓÖÔ ×Ñ ØÖ Ò× ÓÖÑ Ø ÓÒ× ´×Ø Ø ×Ø Ð ÒÚ Ö Ò µº

× × Ó Ê Ñ ÒÒ Ò ÓÑ ØÖÝ
(M, g) Ê Ñ ÒÒ Ò Ñ Ò ÓÐ
·, · ¸ Ê Ñ ÒÒ Ò Ñ ØÖ Ø Ò×ÓÖ g Ò Ø ÔÓ× Ø Ú Ð Ò Ö ÓÖÑ ÓÒ
Ø Ò ÒØ ×Ô Tx M ´ Ô Ò × ×ÑÓÓØ ÐÝ ÓÒ xµ
· x u = u, u ½/¾ ××Ó Ø ÒÓÖÑ Ò TxM
ρ(x, y) Ñ ØÖ ×Ø Ò ØÛ Ò ØÛÓ ÔÓ ÒØ× ÓÒ Ø Ñ Ò ÓÐ M ´Ð Ò Ø
×Ô µ
ρ(x, y) = Ò
½
¼
˙γ(t) t, γ ∈ C½
([¼, ½], M), γ(¼) = x, γ(½) = y
Ë ÓÖØ ×Ø Ô Ø × ´Ð Ò Ø ×Ô µ
ÙØ Ø Ò ÐÐÝ Ô Ö ÐÐ Ð ØÖ Ò×ÔÓÖØ ÛÖØº Ä Ú ¹ Ú Ø Ñ ØÖ ÓÒÒ Ø ÓÒ ∇Ä º

× × Ó Ê Ñ ÒÒ Ò ÓÑ ØÖÝ ÜÔÓÒ ÒØ Ð Ñ Ô
ÄÓ Ð Ñ Ô ÖÓÑ Ø Ø Ò ÒØ ×Ô TxM ØÓ Ø Ñ Ò ÓÐ Ò Û Ø
Ó × × ´ÛÖØ ∇µº
∀x ∈ M, D(x) ⊂ Tx M : D(x) = {v ∈ TxM : γv (½) × Ò }
Û Ø γv Ñ Ü Ñ Ð ´ º º¸ Ð Ö ×Ø ÓÑ Òµ Ó × Û Ø γv (¼) = x Ò
γv (¼) = vº
ÜÔÓÒ ÒØ Ð Ñ Ô
ÜÔx (·) : D(x) ⊆ TxM → M
ÜÔx (v) = γv (½)
D × ×Ø Ö¹× Ô º
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô ¼»½

Ê Ñ ÒÒ Ò ÓÑ ØÖÝ ÜÔÓÒ ÒØ Ð Ò ÄÓ Ö Ø Ñ Ñ Ô×
p
Tp
M
Xp
y
ÜÔ : y ∈ M → Xp ∈ Tp
ÐÓ = ÜÔ−½ : Xp ∈ Tp → y ∈ M
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô ½»½

× × Ó Ê Ñ ÒÒ Ò ÓÑ ØÖÝ Ó × ×
Ó × ×ÑÓÓØ Ô Ø Û ÐÓ ÐÐÝ Ñ Ò Ñ Þ × Ø ×Ø Ò ØÛ Ò
ØÛÓ ÔÓ ÒØ×º
Ú Ò Ú ØÓÖ v ∈ TxM Û Ø × ÔÓ ÒØ x¸ Ø Ö × ÙÒ ÕÙ Ó ×
×Ø ÖØ Ø x Û Ø ×Ô v Ø Ø Ñ ¼ t → ÜÔx(tv) ÓÖ t → γt(v)º
Ó × ÓÒ [a, b] × Ñ Ò Ñ Ð Ø× Ð Ò Ø × Ð ×× ÓÖ ÕÙ Ð ØÓ ÓØ Ö×º ÓÖ
ÓÑÔÐ Ø M ´ º º¸ ÜÔx (v)µ¸ Ø Ò x, y ∈ M¸ Ø Ö Ü ×Ø× Ñ Ò Ñ Ð
Ó × ÖÓÑ x ØÓ y Ò Ø Ñ ½º
γ·(x, y) : [¼, ½] → M¸ t → γt(x, y) Û Ø Ø ÓÒ Ø ÓÒ× γ¼(x, y) = x Ò
γ½(x, y) = yº
U ⊆ M × ÓÒÚ Ü ÓÖ ÒÝ x, y ∈ U¸ Ø Ö Ü ×Ø× ÙÒ ÕÙ Ñ Ò Ñ Ð
Ó × γ·(x, y) Ò M ÖÓÑ x ØÓ yº Ó × ÙÐÐÝ Ð × Ò U Ò Ô Ò ×
×ÑÓÓØ ÐÝ ÓÒ x, y, tº
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô ¾»½

× × Ó Ê Ñ ÒÒ Ò ÓÑ ØÖÝ Ó × ×
Ó × γ(x, y) ÐÓ ÐÐÝ Ñ Ò Ñ Þ Ò ÙÖÚ × Ð Ò Ò x ØÓ y
ËÔ Ú ØÓÖ γ (t) Ô Ö ÐÐ Ð ÐÓÒ γ
Dγ (t)
t
= ∇γ (t)γ (t) = ¼
Ï Ò Ñ Ò ÓÐ M Ñ Ò Rd ¸ Ð Ö Ø ÓÒ × ÒÓÖÑ Ð ØÓ Ø Ò ÒØ
ÔÐ Ò
γ (t) ⊥ Tγ(t)M
γ (t) = c¸ ÓÒ×Ø ÒØ ´× Ý¸ ÙÒ Øµº
⇒ È Ö Ñ Ø Ö Þ Ø ÓÒ Ó ÙÖÚ × Û Ø ÓÒ×Ø ÒØ ×Ô ´ÓØ ÖÛ × ¸ ÝÓÙ Ø Ø
ØÖ Ó Ø Ó × ÓÒÐÝºººµ
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô ¿»½

× × Ó Ê Ñ ÒÒ Ò ÓÑ ØÖÝ Ó × × Ò Ñ Ò×
ÓÒ×Ø ÒØ ×Ô Ó × γ(t) ×Ó Ø Ø γ(¼) = x Ò γ(ρ(x, y)) = y ´ ÓÒ×Ø ÒØ
×Ô ½¸ Ø ÙÒ Ø Ó Ð Ò Ø µº
x#ty = m = γ(t) : ρ(x, m) = t × ρ(x, y)
ÓÖ Ü ÑÔÐ ¸ Ò Ø Ù Ð Ò ×Ô
x#ty = (½ − t)x + ty = x + t(y − x) = m
ρE (x, m) = t(y − x) = t y − x = t × ρ(x, y), t ∈ [¼, ½]
⇒ m ÒØ ÖÔÖ Ø × Ñ Ò ´ ÖÝ ÒØ Öµ ØÛ Ò x Ò y

× × Ó Ê Ñ ÒÒ Ò ÓÑ ØÖÝ ÁÒ Ø Ú ØÝ Ö Ù×
ÓÑÓÖÔ ×Ñ ÖÓÑ Ø Ø Ò ÒØ ×Ô ØÓ Ø Ñ Ò ÓÐ
ÁÒ Ø Ú ØÝ Ö Ù× Ò (M) Ð Ö ×Ø r > ¼ ×Ù Ø Ø ÓÖ ÐÐ x ∈ M¸ Ø Ñ Ô
ÜÔx (·) Ö ×ØÖ Ø ØÓ Ø ÓÔ Ò ÐÐ Ò Tx M Û Ø Ö Ù× r × Ò Ñ Ò º
ÐÓ Ð Ò Ø Ú ØÝ Ö Ù× Ò ÑÙÑ Ó Ø Ò Ø Ú ØÝ Ö Ù× ÓÚ Ö ÐÐ ÔÓ ÒØ×
Ó Ø Ñ Ò ÓÐ º
ÁÑÔÓÖØ ÒØ ÓÖ Ò Ú Ø Ò Ò ÓÖØ ÖÓÑ TxM ØÓ M ´ ÜØÖ Ò× » ÒØÖ Ò×
ÓÑÔÙØ Ò µººº

Ê Ñ ÒÒ Ò ÓÑ ØÖÝ Ó ÔÓÔÙÐ Ø ÓÒ ×Ô ×
ÓÒ× Ö (M, g) Û Ø g = I(θ)¸ ÀÓØ ÐÐ Ò ´½ ¿¼µ¸ Ê Ó ´½ µº × Ö
Ò ÓÖÑ Ø ÓÒ Ñ ØÖ Ü × ÙÒ ÕÙ ÙÔ ØÓ ÓÒ×Ø ÒØ ´ ÓÖ ×Ø Ø ×Ø Ð ÒÚ Ö Ò µº
ÓÑ ØÖÝ Ó ÑÙÐØ ÒÓÑ Ð× × ×Ô Ö Ð ´ÓÒ Ø ÓÖØ ÒØµ
ÓÖ ÙÒ Ú Ö Ø ÐÓ Ø ÓÒ¹× Ð Ñ Ð ×¸ ÝÔ Ö ÓÐ ÓÑ ØÖÝ ÓÖ
Ù Ð Ò ÓÑ ØÖÝ ´ÐÓ Ø ÓÒ ÓÒÐÝµ
p(x|μ, σ) =
½
σ
p¼
x − μ
σ
, X = μ + σX¼
´ÆÓÖÑ Ð¸ Ù Ý¸ Ä ÔÐ ¸ ËØÙ ÒØ t¹¸ Ø ºµ

Ì Ò ÒØ ÔÐ Ò ×¸ Ø Ò ÒØ ÙÒ Ð ×¸ Ú ØÓÖ Ð ×
Tp Ø Ò ÒØ ÔÐ Ò Ø p
TM¸ Ø Ò ÒØ ÙÒ Ð
Ú ØÓÖ Ð ÐÓ Ð × Ø ÓÒ Ó Ø Ø Ò ÒØ ÙÒ Ð
Å Ð ÒÓ × Ñ ØÖ ×Ø Ò ÓÒ Ø Ò ÒØ ÔÐ Ò × Tx
MQ(p, q) = (p − q) Q(x)(p − q)
Ü ÓÑ× Ó Ø Ñ ØÖ ÓÖ Q(x) = g(x) ¼ ´ËÈ µº
Ê Ó³× ×Ø Ò ØÛ Ò ÐÓ× ÔÓ ÒØ× ÑÓÙÒØ× ØÓ ρ
√
¾ÃÄ =
√
ËÃÄº
ÓÖ ÜÔÓÒ ÒØ Ð Ñ Ð ×¸ ρ Å Ð ÒÓ × = Δθ I(θ)Δθº

Ì Ò ÒØ ÔÐ Ò × × Ú ØÓÖ×
(∂i )x = ∂
∂θi x
Xx = D
i=½ Xi (∂i )x
Ò ÔÖÓÔ Ö Ñ ØÖ Ø Ò×ÓÖ gij (x) = gx (∂i , ∂j ) > ¼
M
x
TxM
Xp = D
i=1 Xi
(∂i)x
Yp = D
i=1 Y i
(∂i)x

ÜØÖ Ò× ÓÑÔÙØ Ø ÓÒ Ð ÓÑ ØÖÝ ÓÒ Ø Ò ÒØ ÔÐ Ò ×
Ì Ò×ÓÖ g = Q(x) ¼ Ò × ×ÑÓÓØ ÒÒ Ö ÔÖÓ Ù Ø
p, q x = (p − q) Q(x)(p − q) Ø Ø Ò Ù × ÒÓÖÑ ×Ø Ò
dx (p, q) = p − q x = (p − q) Q(x)(p − q)
Å Ð ÒÓ × Ñ ØÖ ×Ø Ò ÓÒ Ø Ò ÒØ ÔÐ Ò ×
ΔΣ(X½, X¾) = (μ½ − μ¾) Σ−½(μ½ − μ¾) = Δμ Σ−½Δμ
ÓÐ × Ý ÓÑÔÓ× Ø ÓÒ Σ = LL ¸ ÐÓÛ Ö ØÖ Ò ÙÐ Ö Ñ ØÖ Ü L
Δ(X½, X¾) = DE (L−½μ½, L−½μ¾)
ÓÑÔÙØ Ò ÓÒ Ø Ò ÒØ ÔÐ Ò × Ù Ð Ò ÓÑÔÙØ Ò ÓÒ
ØÖ Ò× ÓÖÑ ÔÓ ÒØ× x ← L−½xº
ÜØÖ Ò× Ú× ÒØÖ Ò× ÓÑÔÙØ Ø ÓÒ×º

Ê Ñ ÒÒ Ò Å Ð ÒÓ × Ñ ØÖ Ø Ò×ÓÖ ´Σ−½
¸ ÈË µ
ρ(p½, p¾) = (p½ − p¾) Σ−½(p½ − p¾), g(p) = Σ−½ =
½ −½
−½ ¾
ÒÓÒ¹ ÓÒ ÓÖÑ Ð ÓÑ ØÖÝ g(p) = f (p)I
´Î ×Ù Ð Þ Ø ÓÒ Û Ø Ì ××ÓØ Ò ØÖ Üµ

ÆÓÖÑ Ð» Ù×× Ò Ñ ÐÝ Ò ¾ ÐÓ Ø ÓÒ¹× Ð Ñ Ð ×
× Ö ÁÒ ÓÖÑ Ø ÓÒ Å ØÖ Ü ´ ÁÅµ
I(θ) = Ii,j(θ) = Eθ
∂
∂θi
ÐÓ p(x|θ)
∂
∂θj
ÐÓ p(x|θ) = Eθ[∂i l∂j l]
ÁÅ ÓÖ ÙÒ Ú Ö Ø ÒÓÖÑ Ð»ÑÙÐØ Ú Ö Ø ×Ô Ö Ð ×ØÖ ÙØ ÓÒ×
I(μ, σ) =
½
σ¾ ¼
¼ ¾
σ¾
=
½
σ¾
½ ¼
¼ ¾
I(μ, σ) = ½
σ¾ , ..., ½
σ¾ , ¾
σ¾
→ ÑÓÙÒØ ØÓ ÈÓ Ò Ö Ñ ØÖ x¾+ y¾
y¾ ¸ ÝÔ Ö ÓÐ ÓÑ ØÖÝ Ò
ÙÔÔ Ö Ð ÔÐ Ò »×Ô º

Ê Ñ ÒÒ Ò ÈÓ Ò Ö ÙÔÔ Ö ÔÐ Ò Ñ ØÖ Ø Ò×ÓÖ ´ ÓÒ ÓÖÑ Ðµ
Ó× ρ(p½, p¾) = ½ +
p½ − p¾
¾
¾y½y¾
, g(p) =
½
y¾ ¼
¼ ½
y¾
=
½
y¾ I
ÓÒ ÓÖÑ Ð g(p) = ½
y¾ I

Å ØÖ Ü ËÈ ×Ô × Ò ÝÔ Ö ÓÐ ÓÑ ØÖÝ
ËÝÑÑ ØÖ ÈÓ× Ø Ú Ò Ø Ñ ØÖ × M ∀x = ¼, x Mx > ¼º
¾ ËÈ (¾) Ñ ØÖ Ü ×Ô × Ñ Ò× ÓÒ d = ¿ ÔÓ× Ø Ú ÓÒ º
ËÈ (¾) (a, b, c) ∈ R¿ : a > ¼, ab − c¾ > ¼
Ò Ô Ð ÒØÓ × Ø× Ó Ñ Ò× ÓÒ ¾¸ × Ø ÓÖÖ ×ÔÓÒ Ò ØÓ
ÓÒ×Ø ÒØ Ú ÐÙ Ó Ø Ø ÖÑ Ò ÒØ Ó Ø Ð Ñ ÒØ×
ËÈ (¾) = ËËÈ (¾) × R+
Û Ö ËËÈ (¾) = {a, b, c =
√
½ − ab) : a > ¼, ab − c¾ = ½}
Å ÔÔ Ò M(a, b, c) → H¾
x¼ = a+b
¾ ≥ ½, x½ = a−b
¾ , x¾ = c Ò ÝÔ Ö ÓÐÓ ÑÓ Ð ¿
z = a−b+¾ic
¾+a+b Ò ÈÓ Ò Ö × ¿ º

Ê Ñ ÒÒ Ò ÈÓ Ò Ö × Ñ ØÖ Ø Ò×ÓÖ ´ ÓÒ ÓÖÑ Ðµ
→ Ó Ø Ò Ù× Ò ÀÙÑ Ò ÓÑÔÙØ Ö ÁÒØ Ö ×¸ Ò ØÛÓÖ ÖÓÙØ Ò ´ Ñ Ò
ØÖ ×µ¸ Ø º

Ê Ñ ÒÒ Ò ÃÐ Ò × Ñ ØÖ Ø Ò×ÓÖ ´ÒÓÒ¹ ÓÒ ÓÖÑ Ðµ
Ö ÓÑÑ Ò ÓÖ ÓÑÔÙØ Ò ×Ô × Ò Ó × × Ö ×ØÖ Ø Ð Ò
× Ñ ÒØ×
ÃÐ Ò × Ð×Ó ÓÒ ÓÖÑ Ð Ø Ø ÓÖ Ò ´×Ó Û Ò Ô Ö ÓÖÑ ØÖ Ò×Ð Ø ÓÒ
ÖÓÑ Ò ØÓ Ø ÓÖ Ò Ú Å Ù× ØÖ Ò× ÓÖÑºµ
Ó × × Ô ×× Ò Ø ÖÓÙ O Ò Ø ÈÓ Ò Ö × Ö ×ØÖ Ø ´×Ó Û Ò
Ô Ö ÓÖÑ ØÖ Ò×Ð Ø ÓÒ ÖÓÑ Ò ØÓ Ø ÓÖ Òµ

Ê Ñ ÒÒ Ò ÓÑ ØÖÝ ÇÔØ Ñ Þ Ø ÓÒ ÓÒ Ø Ñ Ò ÓÐ Û Ø
Ø Ò ØÙÖ Ð Ö ÒØ ½
ÆÙÑ Ö Ð ÓÔØ Ñ Þ Ø ÓÒ ÓÒ Ñ Ò ÓÐ ×
Ò ÓÒ Ñ Ò ÓÐ ¸ Ò Ö Ð Þ Ù Ð Ò Ö ÒØ
∇xf (x) = ( ∂
∂x½
f (x), ..., ∂
∂xD
f (x))º
Ò ØÙÖ Ð Ö ÒØ Ö ×Ô Ø× ÒØÖ Ò× ÓÑ ØÖÝ Ó Ø Ñ Ò ÓÐ
˜∇θf (θ) = (I(θ))−½ × ∇θf (θ)
´ Ù Ð Ò ÓÑ ØÖÝ I(θ) = Iºµ
ÒÚ Ö ÒØ ÙÒ Ö Ò × Ó Ø Ô Ö Ñ Ø Ö Þ Ø ÓÒ ´Ò ØÙÖ Ð Ö ÒØ
ÓÒØÖ Ú Ö ÒØ ÓÖÑ Ó Ø Ö ÒØµ
ÁÒ ÓÖÑ Ø ÓÒ¹ ÓÑ ØÖ ÓÔØ Ñ Þ Ø ÓÒ ´Á Çµ¸ Ð ¹ ÓÜ ÓÔØ Ñ Þ Ø ÓÒ

Â Ö Ý³× ÔÖ ÓÖ ÖÓÑ ÚÓÐÙÑ Ð Ñ ÒØ
ÎÓÐÙÑ Ó Ø Ñ Ò ÓÐ
v(M) = |g(θ)| θ < ∞
ÓÒ× Ö Ø ÔÖ ÓÖ ×ØÖ ÙØ ÓÒ
q(θ) =
½
v(M)
|g(θ)|
ÒÚ Ö ÒØ ÙÒ Ö Ö Ô Ö Ñ Ø Ö Þ Ø ÓÒ
Ý × Ò ×Ø Ø ×Ø × ´ Ò ÓØ Ö ±α¹ÚÓÐÙÑ Ð Ñ ÒØ Ò Á |g(θ)|
½±α
¾ µ

Ò Ö ÒØ Ð ÓÑ ØÖÝÙ Ð ÓÒÒ ØÓÒ× ∇ Ò ∇∗
ÓÙÔÐ ÛØ Ñ ØÖ g

ÓÒÒ Ø ÓÒ× Ò ÓÚ Ö ÒØ Ö Ú Ø Ú × ∇
ÓÒÒ Ø ÓÒ× × Ø ÓÖÖ ×ÔÓÒ Ò × ØÛ Ò Ú ØÓÖ× Ò Ø Ò ÒØ ×Ô ×
Tp Ò Tqº Ï Ò Ñ Ò ÓÐ M × Ñ Ò Rd ¸ Ø Ö Ü ×Ø× Ò ØÙÖ Ð
ÓÖÖ ×ÔÓÒ Ò º ÇØ ÖÛ × ¸ ÓÒÒ Ø ÓÒ× Ò ØÓ ÓÖÑ ÐÐÝ Ò º
ÓÚ Ö ÒØ Ö Ú Ø Ú × ∇ Ö ÒØ Ø ÓÒ Ó Ú ØÓÖ Ð Y Ò Ø
Ö Ø ÓÒ Ó ÒÓØ Ö Ú ØÓÖ Ð X¸ Ý Ð Ò Ú ØÓÖ Ð Z = ∇X Y º
ÓÒÒ Ø ÓÒ× Ò ÓÚ Ö ÒØ Ö Ú Ø Ú × Ò Ù Ø
× Ñ ÓÑ ØÖ ×ØÖÙ ØÙÖ º Ð ÒÓØ ÓÒ× Ó Ó × ×¸ ØÒ ××» ÙÖÚ ØÙÖ ¸
Ô Ö ÐÐ ÐÒ ××¸ ØÓÖ× ÓÒº
Ê Ñ ÒÒ Ò ×ØÖÙ ØÙÖ (M, g) × Ò Ò Ù Ñ ØÖ ÓÒÒ Ø ÓÒ
∇g = ∇Ä = ∇(¼)¸ ÐÐ Ø Ä Ú ¹ Ú Ø ÓÒÒ Ø ÓÒº

ÓÒÒ Ø ÓÒ× Ò Ô Ö ÐÐ Ð ØÖ Ò×ÔÓÖØ
p,q ÓÒÒ Ø ÓÒ ÖÓÑ Tp ØÓ Tq
p,q
: Tp → Tq
×Ó Ø Ø v ∈ Tp Ý Ð × w = p,q(v) ∈ Tq
ÖÓÑ Ð Ò Ö ×ÓÑÓÖÔ ×Ñ ØÛ Ò Ø Ò ÒØ ×Ô × Ó Ò ÓÖ Ò ÔÓ ÒØ× ØÓ
Ø Ò ÒØ ÔÓ ÒØ× ØÛ Ò Ö ØÖ ÖÝ ÔÓ ÒØ× Ý ÒØ Ö Ø Ò ÐÓÒ ÙÖÚ γp,q
ÓÒÒ Ø Ò p Û Ø qº
d¿ Ó ÒØ× Γijk(p) Ö ÕÙ Ö ÓÖ Ò Ò º
Î ØÓÖ Ð X ÐÓÒ γ Û Ø X(t + t) = γ(t),γ(t+ t) X(t)º Ï × Ý
Ú ØÓÖ Ð × {X(t) | t} ÐÓÒ γ Ö Ô Ö ÐÐ Ð Û Ø Ö ×Ô Ø ØÓ Ø
ÓÒÒ Ø ÓÒ º È Ö ÐÐ Ð ØÖ Ò×ÔÓÖØº

ÓÚ Ö ÒØ Ö Ú Ø Ú × ∇
∇ Ö ÒØ Ø ÓÒ Ó Ú ØÓÖ Ð Y Ò Ø Ö Ø ÓÒ Ó ÒÓØ Ö Ú ØÓÖ Ð
X¸ Ý Ð Ò Ú ØÓÖ Ð Z = ∇X Y º
∇ : V (M) × V (M) → V (M)
ÈÖÓÔ ÖØ × ∇ × ÓÙÐ Ú
∇f½X½+f¾X¾ Y = f½∇X½ Y + f¾∇X¾ Y
∇X (Y½ + Y¾) = ∇X Y½ + ∇X Y¾
∇X (fY ) = f ∇X Y + (Xf )Y
Ä Ò Ö ÓÑ Ò Ø ÓÒ× Ó ÓÚ Ö ÒØ Ö Ú Ø Ú × × ÓÚ Ö ÒØ Ö Ú Ø Ú

Î ØÓÖ Ð Ô Ö ÐÐ Ð ØÓ ÙÖÚ
Î ØÓÖ Ð Y ∈ V (M) × ∇¹Ô Ö ÐÐ Ð ØÓ ÙÖÚ γ(t)
∀t, ∀X ∈ V (M), ∇˙γ(t)Y = ¼

Ó × × Ò Ö ÒØ Ð ÓÑ ØÖÝ
ÙÖÚ × γ ÓÒ (M, ∇) ×Ù Ø Ø
∀t, ∇˙γ(t) ˙γ(t) = ¼

Ò ÓÓÖ Ò Ø ×Ý×Ø Ñ Ò Ø ÓÒÒ Ø ÓÒ
ÁÒ Ò Ö Ð¸ ×Ô Ý ÓÒÒ Ø ÓÒ» ÓÚ Ö ÒØ ∇ Ý D¿ Ó ÒØ×
∇∂i
∂j = Γk
ij ∂k, ∀i, j, k ∈ {½, ..., D}
(M, ∇)¸ θ ÓÓÖ Ò Ø ×Ý×Ø Ñº
θ × Ò Ò ÓÓÖ Ò Ø ×Ý×Ø Ñ
Î ØÓÖ Ð × {∂i = ∂
∂θi
} Ö Ô Ö ÐÐ Ð Ò M
ÕÙ Ú Ð ÒØ ØÓ ∀i, j, ∇∂i
∂j = ¼
ÕÙ Ú Ð ÒØ ØÓ ∀i, j, k, Γk
ij = ¼ ´ Ö ×ØÓ Ð ×ÝÑ ÓÐ×µ
Ï Ò Ø Ö Ü ×Ø× Ò Ò ÓÓÖ Ò Ø ×Ý×Ø Ñ ÓÖ (M, ∇)¸ Û × Ý Ø Ø M ×
Øº

Å ØÖ ÓÒÒ Ø ÓÒ ËÔ Ð × Ó Ä Ú ¹ Ú Ø ÓÒÒ Ø ÓÒ
∇LC = ∇(¼)
Ú Ò (M, g)¸ Ø Ö Ü ×Ø× ÙÒ ÕÙ Ñ ØÖ ÓÒÒ Ø ÓÒ¸ Ø Ä Ú ¹ Ú Ø
ÓÒÒ Ø ÓÒ
Γk
ij =
∂i gjk +∂j gkj −∂k gij
¾
Ò Û Ú g(∇
(¼)
∂i
∂j, ∂k ) = Γk
ij º
È Ö ÐÐ Ð ØÖ Ò×ÔÓÖØ Ó Ø Ò ÒØ Ú ØÓÖ× ÔÖ × ÖÚ × Ø ÒÒ Ö ÔÖÓ Ù Øº
Ì Ö ÓÖ Ò Ð × Ö ÔØ¸ Ò ÓÖØ Ô Ö ÐÐ Ð ØÖ Ò×ÔÓÖØ

ÙØÓÔ Ö ÐÐ Ð ×Ù Ñ Ò ÓÐ
N ⊂ M Ó (M, N) × ÙØÓÔ Ö ÐÐ Ð
ÈÖÓÔ ÖØÝ ÓÒ Ø Ø Ò ÒØ ÙÒ Ð TN
∀X, Y ∈ TN, ∇X Y ∈ TN
È Ö ÐÐ Ð ´∇µ¹ØÖ Ò×ÔÓÖØ Ó Ø Ò ÒØ Ú ØÓÖ× ÓÖ N Ö Ø Ò ÒØ Ú ØÓÖ× Ó Nº
ÆÓØ ÓÒ Ó ÝÔ ÖÔÐ Ò × Ò Ö ÒØ Ð ÓÑ ØÖÝ
ÓÖ Ò Ò ÓÒÒ Ø ÓÒ Û Ø ÓÓÖ Ò Ø ×Ý×Ø Ñ θ¸ ÕÙ Ú Ð ÒØ ØÓ
Ò Ò ×Ù ×Ô Ó θ ∈ RDº

Ö ÒØ Ð¹ ÓÑ ØÖ ×ØÖÙ ØÙÖ × ËÙÑÑ ÖÝ
Manifold M
Riemannian manifold
metric tensor g (inner product)
(angle, orthogonality)
(M, g)
connection
covariant derivatives ∇
⇔ ∇
parallel transport
(flatness, autoparallel)
(M, ∇)
Levi-Civita connection
∇LC = ∇(g) (coefficients Γk
ij)
geodesics preserves ·, ·
ρ(P, Q) metric distance
(shortest paths)
g , ∇
Differential structure (M, g, ∇)
Dual connections (M, g, ∇, ∇∗
)

Ù ÐÐÝ Ò ÓÒÒ Ø ÓÒ×
ÌÛÓ Ò ÓÒÒ Ø ÓÒ× Ò ∗
´ Ò ÓÚ Ö ÒØ Ö Ú Ø Ú × ∇ Ò ∇∗µ
ÈÖÓÔ ÖØÝ Ó ÒÒ Ö ÔÖÓ Ù Ø
X, Y g = X,
∗
Y g
Ê Ñ ÒÒ Ò ÓÑ ØÖÝ = ∗
γ
(M, g, ∇, ∇∗
)
X
Y
∗
Y
X
X, Y g = X,
∗
Y g

Ù ÐÐÝ Ò ÓÒÒ Ø ÓÒ× e¹ ÓÒÒ Ø ÓÒ Ò m¹ ÓÒÒ Ø ÓÒ
ÜÔÓÒ ÒØ Ð e¹ Ó × × Ò Ñ ÜØÙÖ m¹ Ó × × ÓÖ ÔÖÓ Ð ØÝ Ò× Ø ×
γm(p, q, α) : r(x, α) = αp(x) + (½ − α)q(x)
γe(p, q, α) : ÐÓ r(x, α) = αp(x) + (½ − α)q(x) − F(t)
∇
(e)
˙γe
˙γe(t) = ¼, ∇
(m)
˙γm
˙γm(t) = ¼
p
q
γm
γe
Ð Ø ÙØ ÒÓØ Ê Ñ ÒÒ Ò Ø e¹ Ø Ò m¹ Øº

Ù ÐÐÝ α¹ Ò ÓÒÒ Ø ÓÒ×
α ∈ R, ∇(α)
=
½ + α
¾
∇ +
½ − α
¾
∇∗
∇ = ∇e ÓÖ ∇m
Ù ÐÐÝ¹ ÓÙÔÐ Ò ÓÒÒ Ø ÓÒ× ∇(α) Ò ∇(−α)
α = ¼ ∇(¼) = ∇+∇∗
¾ = ∇Ä ¸ Ä Ú ¹ Ú Ø Ñ ØÖ ÓÒÒ Ø ÓÒ ´× Ð ¹ Ù Ð
∇(¼) = ∇(¼)∗
µ
¼¹ ÓÑ ØÖÝ × Ê Ñ ÒÒ Ò ÓÑ ØÖÝ ´Ó Ø Ò ÙÖÚ ÙØ ÒÓØ ÓÖ ×ÓØÖÓÔ
Ù×× Ò×µ

Ù ÐÐÝ Ø ÓÖØ Ó ÓÒ Ð ÓÓÖ Ò Ø ×Ý×Ø Ñ×
θ¹ Ò η¹ ÓÓÖ Ò Ø ×Ý×Ø Ñ×
Ô ÖØ Ð Ö Ú Ø Ú × ∂i = ∂
∂θi
¸ ∂i = ∂
∂ηi
∂i , ∂j = δij ´ ÓÖØ Ó ÓÒ Ð ÓÓÖ Ò Ø ×Ý×Ø Ñ×µ
Ñ ØÖ ¹ ÓÙÔÐ ÓÒÒ Ø ÓÒ
X Y , Z = ∇X Y , Z + Y , ∇∗
X Z
Γijk(θ) = Γ∗
ijk(η) = ¼
Ì × × Ý Ú ÒØ ÓÚ Ö Ø Ê Ñ ÒÒ Ò ´∇LC µ ×ØÖÙ ØÙÖ Ó × × Ö
ÒÓÛÒ Ò ÐÓ× ÓÖÑ Û Ø Ø Ò ÓÓÖ Ò Ø ×Ý×Ø Ñ×º Ä Ò × Ñ ÒØ× Ò
Ø Ö Ø θ¹ ÓÖ η¹ ÓÓÖ Ò Ø ×Ý×Ø Ñ×º

Ù ÐÐÝ Ø Ñ Ò ÓÐ × ÖÓÑ ÓÒÚ Ü ÙÒ Ø ÓÒ F
ÒÓÒ Ð ÓÑ ØÖÝ Ò Ù Ý ×ØÖ ØÐÝ ÓÒÚ Ü Ò Ö ÒØ Ð ÓÒÚ Ü
ÙÒ Ø ÓÒ Fº
ÈÓØ ÒØ Ð ÙÒ Ø ÓÒ× F Ò Ä Ò Ö ÓÒÚ Ü ÓÒ Ù Ø G = F∗
Ù Ð ÓÓÖ Ò Ø ×Ý×Ø Ñ× θ = ∇F∗(η) Ò η = ∇F(θ)º
Å ØÖ Ø Ò×ÓÖ g ÛÖ ØØ Ò ÕÙ Ú Ð ÒØÐÝ Ù× Ò Ø ØÛÓ ÓÓÖ Ò Ø ×Ý×Ø Ñ×
gij (θ) =
∂¾
∂θi ∂θj
F(θ), gij
(η) =
∂¾
∂ηi ∂ηj
G(η)
Ú Ö Ò ÖÓÑ ÓÙÒ ³× Ò ÕÙ Ð ØÝ Ó ÓÒÚ Ü ÓÒ Ù Ø ×
D(P : Q) = F(θ(P)) + F∗
(η(Q)) − θ(P), η(Q)
Ì × × Ö Ñ Ò Ú Ö Ò Ò × Ù × ¹ µ ººº
ÜÔÓÒ ÒØ Ð Ñ ÐÝ p(x|θ) = ÜÔ( θ, x − F(θ))
Ì ÖÑ ÒÓÐÓ Ý F ÙÑÙÐ ÒØ ÙÒ Ø ÓÒ¸ G Ò Ø Ú ÒØÖÓÔÝ

ÓÑ ØÖÝ Ò Ù ÖÓÑ ÔÓØ ÒØ Ð ÙÒ Ø ÓÒ
F ×ØÖ ØÐÝ ÓÒÚ Ü ÔÓØ ÒØ Ð ÙÒ Ø ÓÒ
gij =
∂¾F
∂i ∂j
Γ
(α)
ijk =
½ − α
¾
∂¿F
∂i ∂j ∂k
Ù ÐÐÝ ÓÙÔÐ ±α¹ ÓÒÒ Ø ÓÒ× ´ Ò ØÓÖ× ÓÒ¹ Ö ¸ ÃÙÖÓ× ½ ¸ ½ µ
∀X, Y , Z ∈ V (M), Xg(Y , Z) = g(∇
(α)
X Y , Z) + g(Y , ∇
(α)
X Z)
ÙÖÚ ØÙÖ κ = ½−α¾
´ Ò Ò α = ±½ ⇔ κ = ¼¸ Øµ

Ö Ñ Ò Ú Ö Ò × ÒÓÐ Ö Ò ÖÓÑ ØÓÔØÑÞ ØÓÒ ÓÑÑÙÒØÝ

Ö Ñ Ò Ú Ö Ò ×
DF (p : q) = F(p) − F(q) − p − q, ∇F(q)
Ò ÐÙ ×ººº
×ÕÙ Ö Ù Ð Ò ×Ø Ò F(x) = x, x ¸ Ò ×ÕÙ Ö Å Ð ÒÓ ×
F(x) = x Qx ´ÓÒÐÝ ×ÝÑÑ ØÖ Ú Ö Ò ×µ
´ ÜØ Ò µ ÃÙÐÐ ¹Ä Ð Ö Ú Ö Ò F(x) = i xi ÐÓ xi − xi
´Ë ÒÒÓÒ Ò ÓÖÑ Ø ÓÒµ¸
ÃÄ(p : q) =
i
pi ÐÓ
pi
qi
+ qi − pi
F(x) = − i ÐÓ xi ´ ÙÖ Ò ÓÖÑ Ø ÓÒµ¸ ÁØ ÙÖ ¹Ë ØÓ Ú Ö Ò
ÁË(p : q) =
i
pi
qi
− ÐÓ
pi
qi
− ½
Ò Ñ ÒÝ ÓØ Ö×

Ö Ñ Ò Ú Ö Ò ÓÑ ØÖ ÒØ ÖÔÖ Ø Ø ÓÒ ´Áµ
ÈÓØ ÒØ Ð ÙÒ Ø ÓÒ F¸ Ö Ô ÔÐÓØ F : (x, F(x))º
DF (p : q) = F(p) − F(q) − p − q, ∇F(q)

Ö Ñ Ò Ú Ö Ò ÓÑ ØÖ ÒØ ÖÔÖ Ø Ø ÓÒ ´ÁÁµ
ÈÓØ ÒØ Ð ÙÒ Ø ÓÒ f ¸ Ö Ô ÔÐÓØ F : (x, f (x))º
Bf (p||q) = f (p) − f (q) − (p − q)f (q)
F
X
pq
ˆp
ˆq
Hq
Bf(p||q)
Bf (.||q) Ú ÖØ Ð ×Ø Ò ØÛ Ò Ø ÝÔ ÖÔÐ Ò Hq Ø Ò ÒØ ØÓ F Ø Ð Ø
ÔÓ ÒØ ˆq¸ Ò Ø ØÖ Ò×Ð Ø ÝÔ ÖÔÐ Ò Ø ˆpº

Ö Ñ Ò Ú Ö Ò ÓÑ ØÖ ÒØ ÖÔÖ Ø Ø ÓÒ ´ÁÁÁµ
Ö Ñ Ò Ú Ö Ò Ò Ô Ø ÒØ Ö Ð×
B(θ½ : θ¾) = F(θ½) − F(θ¾) − θ½ − θ¾, ∇F(θ¾) , ´½µ
=
θ½
θ¾
∇F(t) − ∇F(θ¾), t , ´¾µ
=
η¾
η½
∇F∗
(t) − ∇F∗
(η½), t , ´¿µ
= B∗
(η¾ : η½) ´ µ
θ
η = ∇F(θ)
θ2 θ1
η2
η1

Ù Ð Ö Ñ Ò Ú Ö Ò × ² ÒÓÒ Ð Ú Ö Ò ¿
ÓÖ P Ò Q ÐÓÒ Ò ØÓ Ø × Ñ ÜÔÓÒ ÒØ Ð Ñ Ð ×
ÃÄ(P : Q) = EP ÐÓ
p(x)
q(x)
≥ ¼
= BF (θQ : θP ) = BF∗ (ηP : ηQ)
= F(θQ) + F∗
(ηP ) − θQ, ηP
= AF (θQ : ηP ) = AF∗ (ηP : θQ)
Û Ø θQ ´Ò ØÙÖ Ð Ô Ö Ñ Ø Ö Þ Ø ÓÒµ Ò ηP = EP [t(X)] = ∇F(θP) ´ÑÓÑ ÒØ
Ô Ö Ñ Ø Ö Þ Ø ÓÒµº
ÃÄ(P : Q) = p(x) ÐÓ
½
q(x)
x
H×(P:Q)
− p(x) ÐÓ
½
p(x)
x
H(p)=H×(P:P)
Ë ÒÒÓÒ ÖÓ××¹ ÒØÖÓÔÝ Ò ÒØÖÓÔÝ Ó ¿
H×
(P : Q) = F(θQ) − θQ, ∇F(θP ) − EP [k(x)]
H(P) = F(θP ) − θP , ∇F(θP ) − EP [k(x)]
H(P) = −F∗
(ηP ) − EP [k(x)]

ÁÁÁº ÈÖÒ ÔÐ Ó Å ÜÑÙÑÒØÖÓÔÝ ´Å Ü ÒØµ
¾¼½ Ö Ò Æ Ð× Ò ºÅ Ü ÒØ ½»½

Å Ü ÑÙÑ ÒØÖÓÔÝ ´Å Ü ÒØµ
ÍÒ Ö ÓÒ×ØÖ Ò ÓÔØ Ñ Þ Ø ÓÒ ÔÖÓ Ð Ñ ´Â ÝÒ ×³× ÔÖ Ò ÔÐ ÓÖ
Ñ Ü ÑÙÑ ÒÓÖ Ò µ
Ñ Ü
p
H(p) =
x
p(x) ÐÓ
½
p(x)
x
p(x)ti (x) = mi , ∀i ∈ {½, ..., D}
p(x) ≥ ¼, ∀x ∈ {½, ..., n}
x
p(x) = ½
Å Ü Ñ Þ Ò ÓÒ Ú ÙÒ Ø ÓÒ ´Hµ ×Ù Ø ØÓ Ð Ò Ö ÓÒ×ØÖ ÒØ×
ÓÒÚ Ü ÓÔØ Ñ Þ Ø ÓÒ ÔÖÓ Ð Ñº
¾¼½ Ö Ò Æ Ð× Ò ºÅ Ü ÒØ ¾»½

ÑÓÖ Ò Ö Ð × ØØ Ò ÓÖ Å Ü ÒØ
Ú Ò ÔÖ ÓÖ q¸ Ò Ø ÐÓ× ×Ø ×ØÖ ÙØ ÓÒ Û × Ø × Ø Ð Ò Ö
ÓÒ×ØÖ ÒØ×
Ñ Ò
p
ÃÄ(p : q) =
x
p(x) ÐÓ
p(x)
q(x)
x
p(x)ti (x) = mi , ∀i ∈ {½, ..., D}
p(x) ≥ ¼, ∀x ∈ {½, ..., n}
x
p(x) = ½
→ Å Ü ÑÙÑ ÒØÖÓÔÝ Û Ò q = ½
n ¸ Ø ÙÒ ÓÖÑ ÔÖ ÓÖ
¾¼½ Ö Ò Æ Ð× Ò ºÅ Ü ÒØ ¿»½

Ò ÐÐÙ×ØÖ Ø ÓÒººº
prior q
p∗
= minp KL(p : q) m-ﬂat
e-projection
aﬃne subspace
induced by
constraints
¾¼½ Ö Ò Æ Ð× Ò ºÅ Ü ÒØ »½

Ò ÐÝØ ×ÓÐÙØ ÓÒ ÜÔÓÒ ÒØ Ð Ñ Ð ×
Í× Ò Ä Ö Ò ÑÙÐØ ÔÐ Ö× θ Û Ø t(x) = (t½(x), ..., tD (x))
p(x) =
½
Z(θ)
ÜÔ ( θ, t(x) ) q(x)
ººº ÙØ Ä Ö Ò ÑÙÐØ ÔÐ Ö× Ù×Ù ÐÐÝ ÒÓØ Ò ÜÔÐ Ø ÓÖÑº
ÒÓÒ Ð ÜÔÓÒ ÒØ Ð Ñ Ð × ÜÔ( θ, t(x) − F(θ) + k(x))
ÈÖ ÓÖ q Ú × Ø ÖÖ Ö Ñ ×ÙÖ q(x) = ek(x)
Z(θ) × Ø ÒÓÖÑ Ð Þ Ö
ÐÐ × ×ØÖ ÙØ ÓÒ¸ Å ÜÛ ÐÐ¹ ÓÐØÞÑ ÒÒ ×ØÖ ÙØ ÓÒ Ò ×Ø Ø ×Ø Ð
Ñ Ò ×

ØÓÝ Ü ÑÔÐ ÓÖ Å Ü ÒØ
×ØÖ ÙØ ÓÒ p Û Ø ×ÙÔÔÓÖØ R × E[X] = ¿ Ò E[X¾] = ¾ º Ï
×ØÖ ÙØ ÓÒ × ÓÙÐ Û ÓÓ× ÓÖ p
t(x) = (x, x¾) Ò × Ø ÙÒ Ú Ö Ø Ù×× Ò Ñ ÐÝ Ó ×ØÖ ÙØ ÓÒ×º
ËÓ Û ÓÓ× p ∼ N(μ = ¿, σ = )
Ò Ò Ö Ð ÒÓØ ×Ó ×Ý Û Ö Ú Ò E[Xk] ÓÖ k > ¾ººº ÙÒ ÕÙ Ò ×× ÙØ ÒÓ
ÐÓ× ÓÖÑººº

ÒÓØ Ö Ò× Ø ÙÐ ÔÖÓÓ
ÒÝ ÓØ Ö ×ØÖ ÙØ ÓÒ p = p∗ × Ø × Ý Ò Ø ÓÒ×ØÖ ÒØ× × ×Ù Ø Ø
ÃÄ(p : q) > ÃÄ(p∗ : q)º
ÓÒ× Ö Ø Ö Ò ÃÄ(p : q) − ÃÄ(p∗ : q)
=
x
p(x) ÐÓ
p(x)
q(x)
−
x
p∗
(x) ÐÓ
p∗(x)
q(x)
...
=
x
p(x) ÐÓ
p(x)
q(x)
−
x
p(x) ÐÓ
p∗(x)
q(x)
=
x
p(x) ÐÓ
p(x)
p∗(x)
= ÃÄ(p : p∗
) > ¼
ÈÝØ ÓÖ Ò Ö Ð Ø ÓÒ ÃÄ(p : q) = ÃÄ(p : p∗
) + ÃÄ(p∗
: q)

Ò ÐÐÙ×ØÖ Ø ÓÒ Ó Å Ü ÒØ Û Ø ÔÖ ÓÖ q(x)ººº
prior q
p∗
= minp KL(p : q) m-ﬂat
e-projection
aﬃne subspace
induced by
constraints
KL(p : q) = KL(p : p∗
) + KL(p∗
: q)
m-geodesic
p
KL(p : q)
KL(p : p∗
)
KL(p∗
: q)
ÈÝØ ÓÖ ×³ Ø ÓÖ Ñººº

ÓÑÔÙØ Ò Ò ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ× × ÐÝ
ÈÖÓ Ø Ø ÔÖ ÓÖ q ÓÒØÓ A = {p | Ep[ti (x)] = mi , ∀i ∈ {½, ..., D}}º Ä Ø
Ai = {p | Ep[ti (x)] = mi }
Ä Ø t = ¼ Ò p¼ = q
Ê Ô Ø ÙÒØ Ð ÓÒÚ Ö Ò ´Û Ø Ò Ø Ö × ÓÐ µ
pt+½ = Á¹ÔÖÓ Ø ÓÒ Ó pt ÓÒØÓ Lt ÑÓ D
½ ÔÖÓ Ø ÓÒ ×Ý Ò θi ×Ù Ø Ø F=i (θi ) = mi ´ ÓÖ Ü ÑÔÐ ¸ Ù× Ò
Ð Ò × Ö µ

Ý Ð ´Ð Ò × Ö µ ½ Ò ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ×
q
p∗ A1
A2
¾¼½ Ö Ò Æ Ð× Ò ºÅ Ü ÒØ ½¼¼»½

ÁÎº ÁÒ ÓÖÑ ØÓÒ ÔÖÓ ØÓÒ
¾¼½ Ö Ò Æ Ð× Ò ºÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ ½¼½»½

ÈÖÓ Ø ÓÒ× e¹ÔÖÓ Ø ÓÒ Ò m¹ÔÖÓ Ø ÓÒ
∇(e)
= ∇(½)
, ∇(m)
= ∇(−½)
e¹ÔÖÓ Ø ÓÒ q × ÙÒ ÕÙ M ⊆ S × m¹ Ø Ò Ñ Ò Ñ Þ × Ø
m¹ Ú Ö Ò ÃÄ( Õ : p)º
m¹ÔÖÓ Ø ÓÒ q × ÙÒ ÕÙ M ⊆ S × e¹ Ø Ò Ñ Ò Ñ Þ × Ø
e¹ Ú Ö Ò ÃÄ(p : Õ )º
ÃÄ Ò Ö Ú Ö× ÃÄ Ö α¹ Ú Ö Ò × ÓÖ α = ±½ººº
¾¼½ Ö Ò Æ Ð× Ò ºÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ ½¼¾»½

ÅÄ × Ñ Ò ÃÄ ÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ
ÑÔ Ö Ð ×ØÖ ÙØ ÓÒ pe(x) = ½
n i δ(x − xi )º
pe × ×ÓÐÙØ ÐÝ ÓÒØ ÒÙÓÙ× Û Ø Ö ×Ô Ø ØÓ pθ(x)
Ñ ÒÃÄ(pe(x) : pθ(x)) = pe(x) ÐÓ pe(x) x − pe(x) ÐÓ pθ(x) x
= Ñ Ò−H(pe) − Epe [ÐÓ pθ(x)]
≡ Ñ Ü
½
n
δ(x − xi ) ÐÓ pθ(x)
= Ñ Ü
½
n
i
ÐÓ pθ(xi ) = ÅÄ
¾¼½ Ö Ò Æ Ð× Ò ºÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ ½¼¿»½

ÄÓ ¹Ð Ð ÓÓ ÙÒ Ø ÓÒ
l(θ; X) =
½
n
n
i=½
ÐÓ p(xi |θ) = ÐÓ p(x|θ) pe
ÑÔ Ö Ð ×ØÖ ÙØ ÓÒ pe(X) = ½
n
n
i=½ δ(X − X(i))
ÅÄ m¹ÔÖÓ Ø ÓÒ ÖÓÑ pe ØÓ Ø ÑÓ Ð ×Ù Ñ Ò ÓÐ
P
{Pθ = p(x|θ)}θ
ˆP(η = ˆη = 1
n i t(xi))
observed point
Space of probability distributions
m-projection
pe
¾¼½ Ö Ò Æ Ð× Ò ºÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ ½¼ »½

Æ ×Ø Ò ÙÖÚ ÜÔÓÒ ÒØ Ð Ñ Ð ×
P(θ) Ò ÜÔÓÒ ÒØ Ð Ñ ÐÝ
Ò ×Ø × Ü ×ÓÑ Ô Ö Ñ Ø Ö× θ = (θ Ü , θÚ Ö Ð )º Ì Ò
Pθ Ü (θÚ Ö Ð ) × Ò ×Ø ÜÔÓÒ ÒØ Ð Ñ ÐÝº Ø ×ØÖ Ø × Û Ø
ÙÒ ¹ÓÖ Ö ×Ý ØÓ Ò Ð Ð ÓÖ Ø Ñ ÐÐÝ ´Ä Ò Ö µ
ÙÖÚ × C(γ) ⊆ P(θ) Ñ Ò P(θ)º Ü ÑÔÐ
{N(μ, μ¾) | μ ∈ R} × Ñ ÒØÓ {N(μ, σ¾)}º

ÅÄ ÓÖ ÙÖÚ ÜÔÓÒ ÒØ Ð Ñ Ð ×
ÒØÖÓÔÝ H(θ) = −Eθ[ÐÓ p(x|θ)] = F(θ) − θ, ∇F(θ) = −F∗(η) ´Û Ò
k(x) = ¼¸ ÓØ ÖÛ × −E[k(x)]µº
D(p(ˆη) : p(γ)) = −H(ˆη) −
½
n
ÐÓ L(γ)
Ñ Ü
γ
L(γ) ≡ Ñ Ò
γ
D(p(ˆη) : p(γ))
ˆγ × Ø m¹ÔÖÓ Ø ÓÒ Ó Ø Ó × ÖÚ Ø ÓÒ ÔÓ ÒØ ´Û Ø η¹ ÓÓÖ Ò Ø ˆηµ

ÁÐÐÙ×ØÖ Ø ÓÒ ÅÄ ÓÖ ÙÖÚ ÜÔÓÒ ÒØ Ð Ñ Ð ×
observed point
(ˆη = 1
n
n
i=1 t(xi))
MLE
curved exponential family
ˆγ = minγ KL(p(ˆη) : p(γ))
m-projection
Fisher
orthogonal
Ò ÓÖÑ Ø ÓÒ ÐÓ××¸ ×Ø Ø ×Ø Ð ÙÖÚ ØÙÖ º

Ë ÑÔÐ Ý Ò Ñ ÜØÙÖ ÑÓ Ð ÒØÓ × Ò Ð ÓÑÔÓÒ ÒØ
m¹ÔÖÓ Ø ÓÒ Ó Ø Ñ ÜØÙÖ ÑÓ Ð m ÓÒØÓ Ø e¹ Ø ´ ÜÔÓÒ ÒØ Ð Ñ ÐÝ
Ñ Ò ÓÐ µ ×Ø × Ò Ð ×ØÖ ÙØ ÓÒ Ø Ø ÔÔÖÓÜ Ñ Ø × Ò ÜÔÓÒ ÒØ Ð Ñ ÐÝ
Ñ ÜØÙÖ × ÓÙÒ Ý Ø Ò Ø ÒØ Ö Ó Ñ ×× Ó Ø ÑÓÑ ÒØ Ô Ö Ñ Ø Ö×
¯η = i wi ηi º
m = i wipF (x|θi)
p∗
= pF (x|θ∗
)
p = pF (x|θ)
e-ﬂat MF
P p∗
= arg min KL(m : p)
KL(m : p) = KL(p∗
: p) + KL(m : p∗
)
m-geodesic
e-geodesic

ÃÙÐÐ ¹Ä Ð Ö Ú Ö Ò Ò × Ö Ò ÓÖÑ Ø ÓÒ
ÃÄ(θ + Δθ : θ) ≈
½
¾
θ I(θ)θ
ººº ×ÕÙ Ö Å Ð ÒÓ × Ò Ù ÐÓ ÐÐÝ Ý Ð ×ÕÙ Ö Å Ð ÒÓ × ×Ø Ò
ÓÖ Ø × Ö Ò ÓÖÑ Ø ÓÒ Ñ ØÖ Üº
gij (θ¼) =
∂¾
∂θi ∂θj
θ=θ¼
ÃÄ(P(θ) P(θ¼))
Ì × ÓÐ × ÓÖ f ¹ Ú Ö Ò × p(x)f (q(x)
p(x)) ν(x) ´Ø Ø Ò ÐÙ ×
ÃÙÐÐ ¹Ä Ð Ö Ú Ö Ò µ Ú Ö Ò Ò Ù Ò Ñ ØÖ ÔÖÓÔÓÖØ ÓÒ Ð ØÓ
× Ö Ò ÓÖÑ Ø ÓÒ ´È ÖØ ÁÁµº

Ø Ú Ë ÒÒÓÒ»Ê ÒÝ Ú Ö×Ù× ÒÓÒ¹ Ø Ú Ì× ÐÐ × ÒØÖÓÔ ×
Ø Ú ´Ë ÒÒÓÒ¹Ê ÒÝ µ
H(P × Q) = H(P) + H(Q)
ÒÓÒ¹ Ø Ú ´Ì× ÐÐ ×µ Tq(X) = ½
q−½(½ − i pq
i )
Tq(X × Y ) = Tq(X) + Tq(Y ) + (½ − q)Tq(X)Tq(Y )
ÓØ Ò ÙÒ Û Ø Ë ÖÑ ¹Å ØØ Ð ¿ ¾¹Ô Ö Ñ Ø Ö Ñ ÐÝ Ó
ÒØÖÓÔ ×
Ë ÖÑ ¹Å ØØ Ð ÒØÖÓÔ ×¸ ÖÓ××¹ ÒØÖÓÔ × Ò Ö Ð Ø Ú ÒØÖÓÔ × Ö ÒÓÛÒ
Ò ÐÓ× ¹ ÓÖÑ ÓÖ ÜÔÓÒ ÒØ Ð Ñ Ð ×º
¾¼½ Ö Ò Æ Ð× Ò ºÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ ½½¼»½

È ÖØ Á ËÙÑÑ ÖÝ
× Ö Ò ÓÖÑ Ø ÓÒ ´ Ö Ñ Ö¹Ê Ó ÐÓÛ Ö ÓÙÒ µ ² ×Ù Ò Ý ´½ ¾¾µ
Ö ÒØ Ð ÓÑ ØÖÝ Ó ÔÓÔÙÐ Ø ÓÒ ×Ô ×
× Ö¹Ê Ó ÓÑ ØÖÝ ´ÀÓØ ÐÐ Ò ¸ ½ ¿¼µ g(θ) = I(θ)
Ù ÐÐÝ¹ ÓÙÔÐ ÓÒÒ Ø ÓÒ ÓÑ ØÖÝ ´½ ¼³×¹½ ¼³×¸ Ò ÓÚ¸ Ñ Ö ¸
ÃÙÖÓ× µ (M, g, ∇(α)
, ∇(−α)
)¸ ÓÖ (M, g, T)
Ù ÐÐÝ¹ Ø Ñ Ò ÓÐ ÖÓÑ ÔÓØ ÒØ Ð ÙÒ Ø ÓÒ F Ò ÒÓÒ Ð Ú Ö Ò
´ Ö Ñ Ò Ú Ö Ò µº
Ü Ù×Ø Ú ØÝ Ö Ñ Ò Ú Ö Ò × ÒÓÒ Ð Ú Ö Ò × Ò Ù ÐÐÝ Ø
×Ô ×
Å Ü ÑÙÑ ÒØÖÓÔÝ ÔÖ Ò ÔÐ ´Ë ÒÒÓÒ ÒØÖÓÔÝ ² ÜÔÓÒ ÒØ Ð Ñ Ð ×µ
ÁÒ ÓÖÑ Ø ÓÒ¹ ÓÑ ØÖ ÔÖÓ Ø ÓÒ× ÅÄ ÖÓÑ ÑÔ Ö Ð ×ØÖ ÙØ ÓÒ¸
ÅÄ Ò ÙÖÚ ÜÔÓÒ ÒØ Ð Ñ Ð ×¸ Ò Ò Ñ ÜØÙÖ × ÑÔÐ Ø ÓÒº
¾¼½ Ö Ò Æ Ð× Ò ºÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ ½½½»½

È ÖØ ÁÁ Ð ÓÖØ Ñ× ² ËÔÓ ×Ô Ö ×
¾¼½ Ö Ò Æ Ð× Ò ºÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ ½½¾»½

Ö ×ØÓÖ Ð Ö Ú Û Ó ÓÑÔÙØ Ø ÓÒ Ð ÓÑ ØÖÝ ´ µ
Ì Ö Ö × Ö Ô Ö Ó ×
½º ÓÑ ØÖ Ð ÓÖ Ø Ñ×
ÎÓÖÓÒÓ » Ð ÙÒ Ý¸ Ñ Ò ÑÙÑ ×Ô ÒÒ Ò ØÖ ×¸ Ø ¹×ØÖÙ ØÙÖ × ÓÖ ÔÖÓÜ Ñ ØÝ
ÕÙ Ö ×
¾º ÓÑ ØÖ ÓÑÔÙØ Ò
ÖÓ Ù×ØÒ ××¸ Ð Ö Ö Ó ÔÖ Ø ×¸ ÔÖÓ Ö Ñ× Ø Ø ÛÓÖ »× Ð
¿º ÓÑÔÙØ Ø ÓÒ Ð ØÓÔÓÐÓ Ý ´ ÐÓ Ð ÓÑ ØÖÝµ
× ÑÔÐ Ð ÓÑÔÐ Ü ×¸ ÐØÖ Ø ÓÒ×¸ ÒÔÙØ ×Ø Ò Ñ ØÖ Ü
→ Ô Ö Ñ Ó ÌÓÔÓÐÓ Ð Ø Ò ÐÝ× × ´Ì µ
Ë ÓÛ × Ò Ð Ö Ö × ÓÖ ×Ó ØÛ Ö
Ä ØØÔ »»ÛÛÛº ÐºÓÖ »
ÓÑ ØÖÝ ØÓÖÝ ØØÔ »» ÓÑ ØÖÝ ØÓÖÝº ÓÑ»
Ù ØØÔ× »»ÔÖÓ Øº ÒÖ º Ö» Ù »
Ý × ØØÔ »»ÛÛÛº Ý × º ÓÑ»
¾¼½ Ö Ò Æ Ð× Ò º ÓÑÔÙØ Ø ÓÒ Ð ÓÑ ØÖÝ À ×ØÓÖÝ ½½¿»½

× × Ó Ù Ð ÒÓÑÔÙØ ØÓÒ Ð ÓÑ ØÖÝÎÓÖÓÒÓ Ö Ñ× Ò Ù ÐÐ ÙÒ Ý ÓÑÔÐ Ü ×
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ½½ »½

Ù Ð Ò ´ÓÖ Ò ÖÝµ ÎÓÖÓÒÓ Ö Ñ×
P = {P½, ..., Pn} n ×Ø Ò Ø ÔÓ ÒØ Ò Ö ØÓÖ× Ò Ù Ð Ò ×Ô Ed
V (Pi ) = {X : DE (Pi , X) ≤ DE (Pj , X), ∀j = i}
ÎÓÖÓÒÓ Ö Ñ = ÐÐ ÓÑÔÐ Ü V (Pi )³× Û Ø Ø Ö ×
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ½½ »½

ÎÓÖÓÒÓ Ö Ñ× ÖÓÑ × ØÓÖ× Ò ∩ Ð ×Ô ×
× ØÓÖ×
(P, Q) = {X : DE (P, X) = DE (Q, X)}
→ Ö ÝÔ ÖÔÐ Ò × Ò Ù Ð Ò ÓÑ ØÖÝ
ÎÓÖÓÒÓ ÐÐ× × Ð ×Ô ÒØ Ö× Ø ÓÒ×
V (Pi ) = {X : DE (Pi , X) ≤ DE (Pj , X), ∀j = i} = ∩n
i=½
+
(Pi , Pj )
DE (P, Q) = θ(P) − θ(Q) ¾ = d
i=½(θi (P) − θi (Q))¾
θ(P) = p ÖØ × Ò ÓÓÖ Ò Ø ×Ý×Ø Ñ Û Ø θj (Pi ) = p
(j)
i º
⇒ Å ÒÝ ÔÔÐ Ø ÓÒ× Ó ÎÓÖÓÒÓ Ö Ñ× ÖÝ×Ø Ð ÖÓÛØ ¸
Ó ÓÓ »ÕÙ ÒØ Þ Ø ÓÒ¸ ÑÓÐ ÙÐ ÒØ Ö ×» Ó Ò ¸ ÑÓØ ÓÒ ÔÐ ÒÒ Ò ¸ Ø º
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ½½ »½

ÎÓÖÓÒÓ Ö Ñ× Ò Ù Ð Ð ÙÒ Ý × ÑÔÐ Ð ÓÑÔÐ Ü
ÑÔØÝ ×Ô Ö ÔÖÓÔ ÖØÝ¸ Ñ Ü Ñ Ò Ò Ð ØÖ Ò ÙÐ Ø ÓÒ¸ Ø
ÎÓÖÓÒÓ ² Ù Ð Ð ÙÒ Ý ØÖ Ò ÙÐ Ø ÓÒ
→ ÒÓÒ¹ Ò Ö Ø ÔÓ ÒØ × Ø ÒÓ (d + ¾) ÔÓ ÒØ× Ó¹×Ô Ö Ð
Ù Ð ØÝ ÎÓÖÓÒÓ k¹ ⇔ Ð ÙÒ Ý (d − k)¹× ÑÔÐ Ü
× ØÓÖ (P, Q) Ô ÖÔ Ò ÙÐ Ö ⊥ ØÓ × Ñ ÒØ [PQ]
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ½½ »½

ÎÓÖÓÒÓ ² Ð ÙÒ Ý ÓÑÔÐ Ü ØÝ Ò Ð ÓÖ Ø Ñ×
ÓÑ Ò ØÓÖ Ð ÓÑÔÐ Ü ØÝ Θ(n
d
¾ ) ´→ ÕÙ Ö Ø Ò ¿ µ
Ñ Ø ÓÖ ÔÓ ÒØ× ÓÒ Ø ÑÓÑ ÒØ ÙÖÚ t → (t, t¾, .., td )
ÓÒ×ØÖÙ Ø ÓÒ Θ(n ÐÓ n + n
d
¾ )¸ ÓÔØ Ñ Ð
×ÓÑ ÓÙØÔÙØ¹× Ò× Ø Ú Ð ÓÖ Ø Ñ× ÙØººº
Ω(n ÐÓ n + f )¸ ÒÓØ Ý Ø ÓÔØ Ñ Ð ÓÙØÔÙØ¹× Ò× Ø Ú Ð ÓÖ Ø Ñ×º
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ½½ »½

ÈÓÔÙÐ Ø ÓÒ ×Ô × ÀÓØ ÐÐ Ò ´½ ¿¼µ ½ ² Ê Ó ´½ µ
ÖØ Ó Ö ÒØ Ð¹ ÓÑ ØÖ Ñ Ø Ó × Ò ×Ø Ø ×Ø ×º
× Ö Ò ÓÖÑ Ø ÓÒ Ñ ØÖ Ü ´ÒÓÒ¹ Ò Ö Ø ÔÓ× Ø Ú Ò Ø µ Ò Ù×
× ´×ÑÓÓØ µ Ê Ñ ÒÒ Ò Ñ ØÖ Ø Ò×ÓÖ gº
×Ø Ò ØÛ Ò ØÛÓ ÔÓÔÙÐ Ø ÓÒ× Ò Ü Ý θ½ Ò θ¾ Ê Ñ ÒÒ Ò
×Ø Ò ´Ñ ØÖ Ð Ò Ø µ
Ö×Ø ÔÔÐ Ø ÓÒ× Ò ×Ø Ø ×Ø ×
× Ö¹ÀÓØ ÐÐ Ò ¹Ê Ó ´ ÀÊµ Ó × ×Ø Ò Ù× Ò Ð ×× Ø ÓÒ
Ò Ø ÐÓ× ×Ø ÔÓÔÙÐ Ø ÓÒ ØÓ Ú Ò × Ø Ó ÔÓÔÙÐ Ø ÓÒ×
Í× Ò Ø ×Ø× Ó × Ò Ò ´ÒÙÐÐ Ú Ö×Ù× ÐØ ÖÒ Ø Ú ÝÔÓØ × ×µ¸ ÔÓÛ Ö
Ó Ø ×Ø P(Ö Ø H¼|H¼ × Ð× )
→ Ò ×ÙÖ × Ò ÔÓÔÙÐ Ø ÓÒ ×Ô ×
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ½½ »½

Ê Ó³× ×Ø Ò ´½ ¸ ÒØÖÓ Ù Ý ÀÓØ ÐÐ Ò ½ ¿¼ ½ µ
ÁÒ Ò Ø × Ñ Ð ×ÕÙ Ö Ð Ò Ø Ð Ñ ÒØ
s¾ =
i,j
gij (θ) θi θj = θT
I(θ) θ
Ó × Ò ×Ø Ò Ö Ö ØÓ ÜÔÐ ØÐÝ Ð ÙÐ Ø
ρ(p(x; θ½), p(x; θ¾)) = Ñ Ò
θ(s)
θ(¼)=θ½
θ(½)=θ¾
½
¼
θ
s
T
I(θ)
θ
s
s
Ê Ó³× ×Ø Ò ÒÓØ ÒÓÛÒ Ò ÐÓ× ¹ ÓÖÑ ÓÖ ÑÙÐØ Ú Ö Ø ÒÓÖÑ Ð×
Ú ÒØ × Å ØÖ ÔÖÓÔ ÖØÝ Ó ρ · Ñ ÒÝ ØÓÓÐ× Ó Ö ÒØ Ð
ÓÑ ØÖÝ ¿ Ê Ñ ÒÒ Ò ÄÓ » ÜÔ Ø Ò ÒØ»Ñ Ò ÓÐ Ñ ÔÔ Ò
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ½¾¼»½

ÜØÖ Ò× ÓÑÔÙØ Ø ÓÒ Ð ÓÑ ØÖÝ ÓÒ Ø Ò ÒØ ÔÐ Ò ×
Ì Ò×ÓÖ g = Q(x) ¼ Ò × ×ÑÓÓØ ÒÒ Ö ÔÖÓ Ù Ø
p, q x = (p − q) Q(x)(p − q) Ø Ø Ò Ù × ÒÓÖÑ ×Ø Ò
dx (p, q) = p − q x = (p − q) Q(x)(p − q)
Å Ð ÒÓ × Ñ ØÖ ×Ø Ò ÓÒ Ø Ò ÒØ ÔÐ Ò ×
ΔΣ(X½, X¾) = (μ½ − μ¾) Σ−½(μ½ − μ¾) = Δμ Σ−½Δμ
ÓÐ × Ý ÓÑÔÓ× Ø ÓÒ Σ = LL
Δ(X½, X¾) = DE (L−½μ½, L−½μ¾)
ÓÒ Ø Ò ÒØ ÔÐ Ò × ÓÖ Ò ÖÝ ÓÒ ØÖ Ò× ÓÖÑ ÔÓ ÒØ× x ← L−½xº
ÜØÖ Ò× Ú× ÒØÖ Ò× Ñ Ò× ½½
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ¹½ºÅ Ð ÒÓ × ½¾½»½

Å Ð ÒÓ × ÎÓÖÓÒÓ Ö Ñ× ÓÒ Ø Ò ÒØ ÔÐ Ò × ´ ÜØÖ Ò× µ
ÁÒ ×Ø Ø ×Ø ×¸ ÓÚ Ö Ò Ñ ØÖ Ü Σ ÓÙÒØ ÓÖ ÓØ ÓÖÖ Ð Ø ÓÒ Ò Ñ Ò× ÓÒ
´ ØÙÖ µ × Ð Ò
⇔
Ù Ð ×ØÖÙ ØÙÖ ≡ Ò ×ÓØÖÓÔ Ð ÙÒ Ý ØÖ Ò ÙÐ Ø ÓÒ
⇒ ÑÔØÝ Ö ÙÑ ÐÐ Ô× ÔÖÓÔ ÖØÝ ´ ÓÐ × Ý ÓÑÔÓ× Ø ÓÒµ
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ¹½ºÅ Ð ÒÓ × ½¾¾»½

Ê Ñ ÒÒ Ò Ñ Ò ÓÐ × Ó Ó ÕÙ Ú Ð ÒØ ÑÓ Ð×
Å ÒÝ ÕÙ Ú Ð ÒØ ÑÓ Ð× Ó ÝÔ Ö ÓÐ ÓÑ ØÖÝ
ÓÒ ÓÖÑ Ð ´ ÓÓ ÓÖ Ú ×Ù Ð Þ Ø ÓÒ × Ò Û Ò Ñ ×ÙÖ Ò Ð ×µ Ú Ö×Ù×
ÒÓÒ¹ ÓÒ ÓÖÑ Ð ´ ÓÑÔÙØ Ø ÓÒ ÐÐÝ¹ Ö Ò ÐÝ ÓÖ Ó × ×µ ÑÓ Ð×º
ÓÒÚ ÖØ ÕÙ Ú Ð ÒØÐÝ ØÓ ÓØ Ö ÑÓ Ð× Ó ÝÔ Ö ÓÐ ÓÑ ØÖÝ ÈÓ Ò Ö
× ¸ ÙÔÔ Ö Ð ×Ô ¸ ÝÔ Ö ÓÐÓ ¸ ÐØÖ Ñ Ñ ×Ô Ö ¸ Ø º
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ¹½ºÅ Ð ÒÓ × ½¾¿»½

Ê Ñ ÒÒ Ò ÈÓ Ò Ö × Ñ ØÖ Ø Ò×ÓÖ ´ ÓÒ ÓÖÑ Ðµ
→ Ó Ø Ò Ù× Ò ÀÙÑ Ò ÓÑÔÙØ Ö ÁÒØ Ö ×¸ Ò ØÛÓÖ ÖÓÙØ Ò ´ Ñ Ò
ØÖ ×µ¸ Ø º
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ¹½ºÅ Ð ÒÓ × ½¾ »½

Ê Ñ ÒÒ Ò ÃÐ Ò × Ñ ØÖ Ø Ò×ÓÖ ´ÒÓÒ¹ ÓÒ ÓÖÑ Ðµ
Ö ÓÑÑ Ò ÓÖ ÓÑÔÙØ Ò ×Ô × Ò Ó × × Ö ×ØÖ Ø Ð Ò
× Ñ ÒØ×
ÃÐ Ò × Ð×Ó ÓÒ ÓÖÑ Ð Ø Ø ÓÖ Ò ´×Ó Û Ò Ô Ö ÓÖÑ ØÖ Ò×Ð Ø ÓÒ
ÖÓÑ Ò ØÓ Ø ÓÖ Òµ
Ó × × Ô ×× Ò Ø ÖÓÙ O Ò Ø ÈÓ Ò Ö × Ö ×ØÖ Ø ´×Ó Û Ò
Ô Ö ÓÖÑ ØÖ Ò×Ð Ø ÓÒ ÖÓÑ Ò ØÓ Ø ÓÖ Òµ

ÀÝÔ Ö ÓÐ ÎÓÖÓÒÓ Ö Ñ× ¿ ¸ ¼
ÁÒ Ö ØÖ ÖÝ Ñ Ò× ÓÒ¸ Hd
ÁÒ ÃÐ Ò × ¸ Ø ÝÔ Ö ÓÐ ÎÓÖÓÒÓ Ö Ñ ÑÓÙÒØ× ØÓ Ð ÔÔ
Ò ÎÓÖÓÒÓ Ö Ñ¸ ÓÖ Ð ÔÔ ÔÓÛ Ö Ö Ñ Û Ø ÒØ
Ð ÔÔ Ò Ð ÓÖ Ø Ñ º
Ø Ò ÓÒÚ ÖØ ØÓ ÓØ Ö ÑÓ Ð× Ó ÝÔ Ö ÓÐ ÓÑ ØÖÝ ÈÓ Ò Ö × ¸
ÙÔÔ Ö Ð ×Ô ¸ ÝÔ Ö ÓÐÓ ¸ ÐØÖ Ñ Ñ ×Ô Ö ¸ Ø º
ÓÒ ÓÖÑ Ð ´ ÓÓ ÓÖ Ú ×Ù Ð Þ Ø ÓÒµ Ú Ö×Ù× ÒÓÒ¹ ÓÒ ÓÖÑ Ð ´ ÓÓ ÓÖ
ÓÑÔÙØ Ò µ ÑÓ Ð×º

ÀÝÔ Ö ÓÐ ÎÓÖÓÒÓ Ö Ñ Ò ÃÐ Ò × Ð ÔÔ ÔÓÛ Ö Ö Ñº
ÈÓÛ Ö ×Ø Ò
x − p ¾ − wp
→ Ø Ú ÐÝ Û Ø ÓÖ Ò ÖÝ ÎÓÖÓÒÓ ÓÖ Ò ÖÝ

ÓÑÑÓÒ ÑÓ Ð× Ó Ø ×ØÖ Ø ÝÔ Ö ÓÐ ÓÑ ØÖÝ
ØØÔ× »»ÛÛÛºÝÓÙØÙ º ÓÑ»Û Ø Ú ÁÍÞÆÜ À Ó ´ Ñ Òº Ú Óµ
Å ËÝÑÔÓ× ÙÑ ÓÒ ÓÑÔÙØ Ø ÓÒ Ð ÓÑ ØÖÝ ´ËÓ ³½ µ

ÎÓÖÓÒÓ Ö Ñ× Ò Ù ÐÐÝÒ Ò ÓÖÑ ØÓÒ ÓÑ ØÖÝ
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ½¾ »½

Ù ÐÐÝ Ø ×Ô ÓÒ×ØÖÙ Ø ÓÒ ÖÓÑ ÓÒÚ Ü ÙÒ Ø ÓÒ× F
ÓÒÚ Ü Ò ×ØÖ ØÐÝ Ö ÒØ Ð ÙÒ Ø ÓÒ F(θ) Ñ Ø×
Ä Ò Ö ¹ Ò Ð ÓÒÚ Ü ÓÒ Ù Ø F∗(η)
F∗
(η) = ×ÙÔ
θ
(θ η − F(θ)), ∇F(θ) = η = (∇F∗
)−½(θ)
ÓÙÒ ³× Ò ÕÙ Ð ØÝ Ú × Ö × ØÓ ÒÓÒ Ð Ú Ö Ò ½
F(θ) + F∗
(η ) ≥ θ η ⇒ AF,F∗ (θ, η ) = F(θ) + F∗
(η ) − θ η
ÏÖ Ø Ò Ù× Ò × Ò Ð ÓÓÖ Ò Ø ×Ý×Ø Ñ¸ Ø Ù Ð Ö Ñ Ò
Ú Ö Ò ×
BF (θp : θq) = F(θp) − F(θq) − (θp − θq) ∇F(θq)
= BF∗ (ηq : ηp) = AF,F∗(θp, ηq) = AF∗,F (ηq : θp)
Ù Ð Ò ÓÓÖ Ò Ø ×Ý×Ø Ñ× Û Ø Ó × × ×ØÖ Ø
η = ∇F(θ) ⇔ θ = ∇F∗(η)º Ì Ò×ÓÖ g(θ) = g∗
(η)
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ½¿¼»½

Ù Ð Ú Ö Ò » Ö Ñ Ò Ù Ð × ØÓÖ× ¸ ¿¾¸ ¿
Ö Ñ Ò × ´Ö Ö Ò µ × ØÓÖ× Ö Ð Ø Ý ÓÒÚ Ü Ù Ð ØÝ
F (θ½, θ¾) = {θ ∈ Θ |BF (θ : θ½) = BF (θ : θ½)}
F∗ (η½, η¾) = {η ∈ H |BF∗ (η : η½) = BF∗ (η : η½)}
Ê Ø¹× × ØÓÖ → θ¹ ÝÔ ÖÔÐ Ò ¸ η¹ ÝÔ Ö×ÙÖ
HF (p, q) = {x ∈ X | BF (x : p ) = BF (x : q )}.
HF : ∇F(p) − ∇F(q), x + (F(p) − F(q) + q, ∇F(q) − p, ∇F(p) ) = ¼
Ä Ø¹× × ØÓÖ → θ¹ ÝÔ Ö×ÙÖ ¸ η¹ ÝÔ ÖÔÐ Ò
HF (p, q) = {x ∈ X | BF ( p : x) = BF ( q : x)}
HF : ∇F(x), q − p + F(p) − F(q) = ¼
ÝÔ ÖÔÐ Ò ÙØÓÔ Ö ÐÐ Ð ×Ù Ñ Ò ÓÐ Ó Ñ Ò× ÓÒ d − ½
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹½º × ØÓÖ ½¿½»½

Î ×Ù Ð Þ Ò Ö Ñ Ò × ØÓÖ× Ò θ¹ Ò η¹ ÓÓÖ Ò Ø
×Ý×Ø Ñ×
ÈÖ Ñ Ð ÓÓÖ Ò Ø × θ Ù Ð ÓÓÖ Ò Ø × η
Ò ØÙÖ Ð Ô Ö Ñ Ø Ö× ÜÔ Ø Ø ÓÒ Ô Ö Ñ Ø Ö×
p
q
Source Space: Itakura-Saito
p(0.52977081,0.72041688) q(0.85824458,0.29083834)
D(p,q)=0.66969016 D(q,p)=0.44835617
p’
q’
Gradient Space: Itakura-Saito dual
p’(-1.88760873,-1.38808518) q’(-1.16516903,-3.43833618)
D*(p’,q’)=0.44835617 D*(q’,p’)=0.66969016
(P, Q) Ò ∗
(P, Q) Ò ÜÔÖ ×× Ò Ø Ö θ/η ÓÓÖ Ò Ø ×Ý×Ø Ñ×
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹½º × ØÓÖ ½¿¾»½

ËÔ × Ó ×Ô Ö × ½¹ØÓ¹½
Ñ ÔÔÒ ØÛ Ò d¹×Ô Ö ×Ò (d + ½)¹ ÝÔ ÖÔÐ Ò × Ù×ÒÔÓØ ÒØ Ð ÙÒ ØÓÒ×
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½¿¿»½

ËÔ Ó Ö Ñ Ò ×Ô Ö × Ò Ö Ñ Ò ÐÐ×
Ù Ð × Ö Ñ Ò ÐÐ× ´ ÓÙÒ Ò Ö Ñ Ò ×Ô Ö ×µ
ÐÐr
F (c, r) = {x ∈ X | BF (x : c) ≤ r}
ÐÐl
F (c, r) = {x ∈ X | BF (c : x) ≤ r}
Ä Ò Ö Ù Ð ØÝ
ÐÐl
F (c, r) = (∇F)−½( ÐÐr
F∗ (∇F(c), r))
ÁÐÐÙ×ØÖ Ø ÓÒ ÓÖ ÁØ ÙÖ ¹Ë ØÓ Ú Ö Ò ¸ F(x) = − ÐÓ x
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½¿ »½

Ò Ö Ð Þ Ð Û Ó Ó× Ò × Ò Ò Ö Ð Þ ÈÝØ ÓÖ ×³
Ø ÓÖ Ñ
Ò Ö Ð Þ Ð Û Ó Ó× Ò × θ Ò Ð Ñ Ø Q Ý Ø ∇¹ Ó × γPQ
Û Ø Ø ∇∗¹ Ó × γ∗
QR
D(P : R) = D(P : Q) + D(Q : R) − ˙γPQ ˙γ∗
QR Ó×(θ)
θP −θQ ,ηR −ηQ
Ù Ð Ò Ð Û Ó Ó× Ò × Û Ò D = BF ÓÖ F = ½
¾x x
−→
PR ¾ =
−→
PQ ¾ +
−→
QR ¾ − ¾
−→
PQ
−→
QR Ó× θ
Ò Ö Ð Þ ÈÝØ ÓÖ ×³ Ø ÓÖ Ñ Û Ò θ = π
¾
D(P : R) = D(P : Q) + D(Q : R)
ÑÓÙÒØ ØÓ Ø Ø Ó×θ = ¼¸ Ø Ø × θP − θQ, ηR − ηQ = ¼

ËÔ Ó Ö Ñ Ò ×Ô Ö × Ä Ø Ò Ñ Ô
F : x → ˆx = (x, F(x))¸ ÝÔ Ö×ÙÖ Ò Rd+½¸ ÔÓØ ÒØ Ð ÙÒ Ø ÓÒ
Hp Ì Ò ÒØ ÝÔ ÖÔÐ Ò Ø ˆp¸ z = Hp(x) = x − p, ∇F(p) + F(p)
Ö Ñ Ò ×Ô Ö σ −→ ˆσ Û Ø ×ÙÔÔÓÖØ Ò ÝÔ ÖÔÐ Ò
Hσ : z = x − c, ∇F(c) + F(c) + rº
´»» ØÓ Hc Ò × Ø Ú ÖØ ÐÐÝ Ý rµ
ˆσ = F ∩ Hσº
ÒØ Ö× Ø ÓÒ Ó ÒÝ ÝÔ ÖÔÐ Ò H Û Ø F ÔÖÓ Ø× ÓÒØÓ X × Ö Ñ Ò
×Ô Ö
H : z = x, a + b → σ : ÐÐF (c = (∇F)−½(a), r = a, c − F(c) + b)

Ä Ø Ò »ÈÓÐ Ö ØÝ ÈÓØ ÒØ Ð ÙÒ Ø ÓÒ Ö Ô F

ËÔ Ó Ö Ñ Ò ×Ô Ö × Ð ÓÖ Ø Ñ ÔÔÐ Ø ÓÒ×
Î ÔÒ ¹ ÖÚÓÒ Ò × Ñ Ò× ÓÒ ´Î ¹ Ñµ × d + ½ ÓÖ Ø Ð ×× Ó
Ö Ñ Ò ÐÐ×º
ÍÒ ÓÒ» ÒØ Ö× Ø ÓÒ Ó Ö Ñ Ò d¹×Ô Ö × ÖÓÑ Ö ÔÖ × ÒØ Ø ÓÒ Ð
(d + ½)¹ÔÓÐÝØÓÔ
Ê Ð Ü × Ó ØÛÓ Ö Ñ Ò ÐÐ× × Ò ÝÔ ÖÔÐ Ò ÔÔÐ Ø ÓÒ× ØÓ
Æ Ö ×Ø Æ ÓÖ × Ö ØÖ × Ð Ö Ñ Ò ÐÐ ØÖ × ÓÖ Ö Ñ Ò
Ú ÒØ ÔÓ ÒØ ØÖ × ¿ º

Ö Ñ Ò ÔÖÓÜ Ñ ØÝ Ø ×ØÖÙ ØÙÖ × ¿
Î ÒØ ÔÓ ÒØ ØÖ × Ô ÖØ Ø ÓÒ ×Ô ÓÖ Ò ØÓ Ö Ñ Ò ÐÐ×
È ÖØ Ø ÓÒÒ Ò ×Ô Û Ø ÒØ Ö× Ø ÓÒ Ó ÃÙÐÐ ¹Ä Ð Ö ÐÐ×
→ ÒØ Ò Ö ×Ø Ò ÓÙÖ ÕÙ Ö × Ò Ò ÓÖÑ Ø ÓÒ ×Ô ×

ÔÔÐ Ø ÓÒ Å Ò ÑÙÑ Ò ÐÓ× Ò ÐÐ ¿¼¸
ÌÓ ÝÔ ÖÔÐ Ò Hσ = H(a, b) : z = a, x + b Ò Rd+½¸ ÓÖÖ ×ÔÓÒ × ÐÐ
σ = ÐÐ(c, r) Ò Rd Û Ø ÒØ Ö c = ∇F∗(a) Ò Ö Ù×
r = a, c − F(c) + b = a, ∇F∗
(a) − F(∇F∗
(a)) + b = F∗
(a) + b
× Ò F(∇F∗(a)) = ∇F∗(a), a − F∗(a) ´ ÓÙÒ ÕÙ Ð ØÝµ
Ë Ò Ð ×Ô H(a, b)− : z ≤ a, x + b Ø Ø ÓÒØ Ò× ÐÐ Ð Ø ÔÓ ÒØ×
Ñ Ò
a,b
r = F∗
(a) + b,
∀i ∈ {½, ..., n}, a, xi + b − F(xi ) ≥ ¼
→ ÓÒÚ Ü ÈÖÓ Ö Ñ ´ Èµ Û Ø Ð Ò Ö Ò ÕÙ Ð ØÝ ÓÒ×ØÖ ÒØ×
F(θ) = F∗(η) = ½
¾x x È → ÉÙ Ö Ø ÈÖÓ Ö ÑÑ Ò ´ÉÈµ ½ Ù× Ò
ËÎÅº ËÑ ÐÐ ×Ø Ò ÐÓ× Ò ÐÐ Ù× × ÔÖ Ñ Ø Ú Ò ËÎÅ
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½ ¼»½

ËÑ ÐÐ ×Ø Ö Ñ Ò Ò ÐÓ× Ò ÐÐ× ¸ ¾
Ð ÓÖ Ø Ñ ½ (P, l)º
c½ ← ÓÓ× Ö Ò ÓÑÐÝ ÔÓ ÒØ Ò P
ÓÖ i = ¾ ØÓ l − ½ Ó
»» ÖØ ×Ø ÔÓ ÒØ ÖÓÑ ci ÛÖØº BF
si ← Ö Ñ Ün
j=½BF (ci : pj )
»» ÙÔ Ø Ø ÒØ Ö Û Ð ÓÒ Ø η¹× Ñ ÒØ [ci , psi
]η
ci+½ ← ∇F−½(∇F(ci )# ½
i+½
∇F(psi
))
Ò
»» Ê ØÙÖÒ Ø Ë ÔÔÖÓÜ Ñ Ø ÓÒ
Ö ØÙÖÒ ÐÐ(cl , rl = BF (cl : X))
θ¹¸ η¹ Ó × × Ñ ÒØ× Ò Ù ÐÐÝ Ø ÓÑ ØÖÝº
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½ ½»½

ËÑ ÐÐ ×Ø Ò ÐÓ× Ò ÐÐ× ÓÖ ¹× Ø×
ÓÖ ¹× Ø C ⊆ S ËÇÄ(S) ≤ ËÇÄ(C) ≤ (½ + )ËÇÄ(S)
ÜØ Ò ÃÙÐÐ ¹Ä Ð Ö ÁØ ÙÖ ¹Ë ØÓ
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½ ¾»½

ÁÒËÔ Ö ÔÖ Ø × ÛÖØ Ö Ñ Ò Ú Ö Ò ×
ÁÑÔÐ Ø Ö ÔÖ × ÒØ Ø ÓÒ Ó Ö Ñ Ò ×Ô Ö ×» ÐÐ× ÓÒ× Ö d + ½ ×ÙÔÔÓÖØ
ÔÓ ÒØ× ÓÒ Ø ÓÙÒ ÖÝ
Á× x Ò× Ø Ö Ñ Ò ÐÐ Ò Ý d + ½ ×ÙÔÔÓÖØ ÔÓ ÒØ×
ÁÒËÔ Ö (x; p¼, ..., pd ) =
½ ... ½ ½
p¼ ... pd x
F(p¼) ... F(pd ) F(x)
× Ò Ó (d + ¾) × (d + ¾) Ñ ØÖ Ü Ø ÖÑ Ò ÒØ
ÁÒËÔ Ö (x; p¼, ..., pd ) × Ò Ø Ú ¸ ÒÙÐÐ ÓÖ ÔÓ× Ø Ú Ô Ò Ò ÓÒ Û Ø Ö
x Ð × Ò× ¸ ÓÒ¸ ÓÖ ÓÙØ× σº
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½ ¿»½

ËÑ ÐÐ ×Ø Ò ÐÓ× Ò ÐÐ Ò Ê Ñ ÒÒ Ò Ñ Ò ÓÐ × ¿
c = a#M
t b ÔÓ ÒØ γ(t) ÓÒ Ø Ó × Ð Ò × Ñ ÒØ [ab] ÛÖØ Å ×Ù Ø Ø
ρM(a, c) = t × ρM(a, b) ´Û Ø ρM Ø Ñ ØÖ ×Ø Ò ÓÒ Ñ Ò ÓÐ Mµ
Ð ÓÖ Ø Ñ ¾ Ó
c½ ← ÓÓ× Ö Ò ÓÑÐÝ ÔÓ ÒØ Ò P
ÓÖ i = ¾ ØÓ l Ó
»» ÖØ ×Ø ÔÓ ÒØ ÖÓÑ ci
si ← Ö Ñ Ün
j=½ρ(ci , pj )
»» ÙÔ Ø Ø ÒØ Ö Û Ð ÓÒ Ø Ó × Ð Ò × Ñ ÒØ
[ci , psi
]
ci+½ ← ci #M
½
i+½
psi
Ò
»» Ê ØÙÖÒ Ø Ë ÔÔÖÓÜ Ñ Ø ÓÒ
Ö ØÙÖÒ ÐÐ(cl , rl = ρ(cl , P))
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½ »½

ÔÔÖÓÜ Ñ Ø Ò Ø ×Ñ ÐÐ ×Ø Ò ÐÓ× Ò ÐÐ Ò ÝÔ Ö ÓÐ
×Ô
ÁÒ Ø Ð Þ Ø ÓÒ Ö×Ø Ø Ö Ø ÓÒ
Ë ÓÒ Ø Ö Ø ÓÒ Ì Ö Ø Ö Ø ÓÒ
ÓÙÖØ Ø Ö Ø ÓÒ Ø Ö ½¼ Ø Ö Ø ÓÒ×
ØØÔ »»ÛÛÛº×ÓÒÝ ×Ðº Óº Ô»Ô Ö×ÓÒ»Ò Ð× Ò» Ò Ó Ó»Ê Ñ ÒÒÅ Ò Ñ Ü»

Ö Ñ Ò Ù Ð Ö ÙÐ Ö» Ð ÙÒ Ý ØÖ Ò ÙÐ Ø ÓÒ×
Ñ Ó × Ð ÙÒ Ý ØÖ Ò ÙÐ Ø ÓÒ×· ÑÔØÝ Ö Ñ Ò ÐÐ×
Ð ÙÒ Ý ÜÔÓÒ ÒØ Ð Ðº À ÐÐ Ò Ö¹Ð Ðº
ÑÔØÝ Ö Ñ Ò ×Ô Ö ÔÖÓÔ ÖØÝ¸
Ó × ØÖ Ò Ð × Ñ Ð ÙÒ Ýº

Ù ÐÐÝ ÓÖØ Ó ÓÒ Ð Ö Ñ Ò ÎÓÖÓÒÓ ² ÌÖ Ò ÙÐ Ø ÓÒ×
ÇÖ Ò ÖÝ ÎÓÖÓÒÓ Ö Ñ × Ô ÖÔ Ò ÙÐ Ö ØÓ Ð ÙÒ Ý ØÖ Ò ÙÐ Ø ÓÒ
ÎÓÖÓÒÓ k¹ ⊥ Ð ÙÒ Ý d − k¹
(P, Q) ⊥ γ∗
(P, Q)
γ(P, Q) ⊥ ∗
(P, Q)

ËÝÒØ Ø ÓÑ ØÖÝ Ü ØÖ Ø ÖÞ ØÓÒ Ó ØÝ × Ò ÖÖÓÖ ÜÔÓÒ ÒØ ÙØÒÓ ÐÓ× ¹ ÓÖÑ ÒÓÛÒ
¾¼½ Ö Ò Æ Ð× Ò º Ý × Ò ÖÖÓÖ ÜÔÓÒ ÒØ ½ »½

Ý × Ò ÝÔÓØ × × Ø ×Ø Ò ¸ Å È ÖÙÐ Ò ÔÖÓ Ð ØÝ Ó
ÖÖÓÖ Pe
Å ÜØÙÖ p(x) = i wi pi (x)º Ì × Ð ×× Ý x Ï ÓÑÔÓÒ ÒØ
ÈÖ ÓÖ ÔÖÓ Ð Ø × wi = P(X ∼ Pi ) > ¼ ´Û Ø n
i=½ wi = ½µ
ÓÒ Ø ÓÒ Ð ÔÖÓ Ð Ø × P(X = x|X ∼ Pi )º
P(X = x) =
n
i=½
P(X ∼ Pi )P(X = x|X ∼ Pi ) =
n
i=½
wi P(X|Pi )
×Ø ÖÙÐ Å Ü ÑÙÑ ÈÓ×Ø Ö ÓÖ ÔÖÓ Ð ØÝ ´Å Èµ ÖÙÐ
Ñ Ô(x) = Ö Ñ Üi∈{½,...,n} wi pi (x)
Û Ö pi (x) = P(X = x|X ∼ Pi ) Ö Ø ÓÒ Ø ÓÒ Ð ÔÖÓ Ð Ø ×º
ÓÖ w½ = w¾ = ½
¾¸ ÔÖÓ Ð ØÝ Ó ÖÖÓÖ
Pe = ½
¾ Ñ Ò(p½(x), p¾(x)) x ≤ ½
¾ p½(x)αp¾(x)½−α x¸ ÓÖ α ∈ (¼, ½)º
×Ø ÜÔÓÒ ÒØ α∗

ÖÖÓÖ ÜÔÓÒ ÒØ ÓÖ ÜÔÓÒ ÒØ Ð Ñ Ð × Ù Ð ØÝ ⇔
ÜÔÓÒ ÒØ Ð Ñ Ð × Ú Ò Ø Ñ Ò× ÓÒ Ð ×Ù ÒØ ×Ø Ø ×Ø × →
Ê Ù n Ø ØÓ D ×Ø Ø ×Ø ×º
∀x ∈ X, P(x|θ) = ÜÔ(θ t(x) − F(θ) + k(x))
F(·) ÐÓ ¹ÒÓÖÑ Ð Þ Ö» ÙÑÙÐ ÒØ»Ô ÖØ Ø ÓÒ ÙÒ Ø ÓÒ¸ k(x) ÙÜ Ð ÖÝ Ø ÖÑ
ÓÖ ÖÖ Ö Ñ ×ÙÖ º
Å Ü ÑÙÑ Ð Ð ÓÓ ×Ø Ñ ØÓÖ ´ÅÄ µ ∇F(ˆθ) = ½
n i t(Xi ) = ˆη
Ø ÓÒ ØÛ Ò ÜÔÓÒ ÒØ Ð Ñ Ð × Ò Ö Ñ Ò Ú Ö Ò ×
ÐÓ p(x|θ) = −BF∗ (t(x) : η) + F∗
(t(x)) + k(x)
ÜÔÓÒ ÒØ Ð Ñ Ð × Ö ÐÓ ¹ ÓÒ Ú
¾¼½ Ö Ò Æ Ð× Ò º Ý × Ò ÖÖÓÖ ÜÔÓÒ ÒØ ½ ¼»½

ÓÑ ØÖÝ Ó Ø ×Ø ÖÖÓÖ ÜÔÓÒ ÒØ
ÇÒ Ø ÜÔÓÒ ÒØ Ð Ñ ÐÝ Ñ Ò ÓÐ ¸ ÖÒÓ α¹ Ó ÒØ
cα(Pθ½ : Pθ¾ ) = pα
θ½
(x)p½−α
θ¾
(x) μ(x) = ÜÔ(−J
(α)
F (θ½ : θ¾))
Ë Û Â Ò× Ò Ú Ö Ò ¾ ÓÒ Ø Ò ØÙÖ Ð Ô Ö Ñ Ø Ö×
Â(α)
(θ½ : θ¾) = α (θ½) + (½− α) (θ¾) − (θ
(α)
½¾ )
ÖÒÓ Ò ÓÖÑ Ø ÓÒ Ö Ñ Ò Ú Ö Ò ÓÖ ÜÔÓÒ ÒØ Ð Ñ Ð ×
C(Pθ½ : Pθ¾ ) = B(θ½ : θ
(α∗)
½¾ ) = B(θ¾ : θ
(α∗)
½¾ )
Ò Ò ×Ø ÖÖÓÖ ÜÔÓÒ ÒØ α∗
¾¼½ Ö Ò Æ Ð× Ò º Ý × Ò ÖÖÓÖ ÜÔÓÒ ÒØ ½ ½»½

ÓÑ ØÖÝ Ó Ø ×Ø ÖÖÓÖ ÜÔÓÒ ÒØ Ò ÖÝ ÝÔÓØ × × ¾¿
ÖÒÓ ×ØÖ ÙØ ÓÒ P∗
P∗
= Pθ∗
½¾
= Ge(P½, P¾) ∩ m(P½, P¾)
e¹ Ó ×
Ge(P½, P¾) = E
(λ)
½¾ | θ(E
(λ)
½¾ ) = (½ − λ)θ½ + λθ¾, λ ∈ [¼, ½] ,
m¹ × ØÓÖ
m(P½, P¾) : P | F(θ½) − F(θ¾) + η(P) Δθ = ¼ ,
ÇÔØ Ñ Ð Ò ØÙÖ Ð Ô Ö Ñ Ø Ö Ó P∗
θ∗
= θ
(α∗)
½¾ = Ö Ñ Òθ∈ΘB(θ½ : θ) = Ö Ñ Òθ∈ΘB(θ¾ : θ).
→ ÐÓ× ¹ ÓÖÑ ÓÖ ÓÖ Ö¹½ Ñ ÐÝ¸ ÓÖ ÒØ × Ø ÓÒ × Ö º
¾¼½ Ö Ò Æ Ð× Ò º Ý × Ò ÖÖÓÖ ÜÔÓÒ ÒØ ½ ¾»½

ÓÑ ØÖÝ Ó Ø ×Ø ÖÖÓÖ ÜÔÓÒ ÒØ Ò ÖÝ ÝÔÓØ × ×
P∗
= Pθ∗
½¾
= Ge(P½, P¾) ∩ m(P½, P¾)
pθ1
pθ2
pθ∗
12
m-bisector
e-geodesic Ge(Pθ1
, Pθ2
)
η-coordinate system
Pθ∗
12
C(θ1 : θ2) = B(θ1 : θ∗
12)
Bim(Pθ1
, Pθ2
)
Ò ÖÝ ÀÝÔÓØ × × Ì ×Ø Ò Pe ÓÙÒ Ù× Ò Ö Ñ Ò Ú Ö Ò ØÛ Ò
ÖÒÓ ×ØÖ ÙØ ÓÒ Ò Ð ××¹ ÓÒ Ø ÓÒ Ð ×ØÖ ÙØ ÓÒ×º
¾¼½ Ö Ò Æ Ð× Ò º Ý × Ò ÖÖÓÖ ÜÔÓÒ ÒØ ½ ¿»½

ÐÙ×Ø ÖÒ Ò Ä ÖÒÒÒØ ×Ø Ø×Ø Ð ÑÜØÙÖ ×

Ì ×ØÓÖØ ÓÒ Ð ×× Ó α¹ Ú Ö Ò ×
ÓÖ α ∈ R = ±½¸ α¹ Ú Ö Ò × ÓÒ ÔÓ× Ø Ú ÖÖ Ý× ½
Dα(p : q)
Õ
=
d
i=½
½ − α¾
½ − α
¾
pi
+
½ + α
¾
qi
− (pi
)
½−α
¾ (qi
)
½+α
¾ Û Ø
Dα(p : q) = D−α(q : p) Ò Ò Ø Ð Ñ Ø × × D−½(p : q) = ÃÄ(p : q)
Ò D½(p : q) = ÃÄ(q : p)¸ Û Ö ÃÄ × Ø ÜØ Ò ÃÙÐÐ Ä Ð Ö
Ú Ö Ò ÃÄ(p : q)
Õ
= d
i=½ pi ÐÓ pi
qi + qi − pi
α¹ Ú Ö Ò × ÐÓÒ ØÓ Ø Ð ×× Ó × ×Þ Ö f ¹ Ú Ö Ò ×
If (p : q)
Õ
= d
i=½ qi f pi
qi Û Ø Ø ÓÐÐÓÛ Ò Ò Ö ØÓÖ
f (t) =
⎧
⎨
⎩
½−α¾ ½ − t(½+α)/¾ , α = ±½,
t ÐÒt, α = ½,
− ÐÒt, α = −½
ÁÒ ÓÖÑ Ø ÓÒ ÑÓÒÓØÓÒ ØÝ

ÈÝØ ÓÖ ×³ Ø ÓÖ Ñ ÓÖ α¹ Ú Ö Ò × ½
Í× ∇(α) Ò ∇(−α) Ù ÐÐÝ ÓÙÔÐ ÓÒÒ Ø ÓÒ× Û Ø Ö ×Ô Ø ØÓ gº
Xg(Y , Z) = g(∇
(α)
X , Z) + g(Y , ∇
(−α)
X Z)
γ
(α)
PQ ⊥ γ
(−α)
QR
Dα(P : Q) = Dα(P : Q) + Dα(Q : R) − κDα(P : Q)Dα(Q : R)
ÙÖÚ ØÙÖ κ = α¾−½º

Å Ü Ú Ö Ò × ¾
Ò ÓÒ Ø Ö Ô Ö Ñ Ø Ö× p¸ q Ò r
Mλ(p : q : r)
Õ
= λD(p : q) + (½ − λ)D(q : r)
ÓÖ λ ∈ [¼, ½]º
Å Ü Ú Ö Ò × Ò ÐÙ
Ø × Ú Ö Ò × ÓÖ λ ∈ {¼, ½}¸
Ø ×ÝÑÑ ØÖ Þ ´ Ö Ø Ñ Ø Ñ Òµ Ú Ö Ò ÓÖ λ = ½
¾¸ ÓÖ × Û
×ÝÑÑ ØÖ Þ ÓÖ λ = ½
¾º
¾¼½ Ö Ò Æ Ð× Ò ½¼ºÅ Ü Ú Ö Ò × ½ »½

ËÝÑÑ ØÖ Þ Ò α¹ Ú Ö Ò ×
Sα(p, q) =
½
¾
(Dα(p : q) + Dα(q : p)) = S−α(p, q),
= M½
¾
(p : q : p),
ÓÖ α = ±½¸ Û Ø Ð Ó Â Ö Ý× Ú Ö Ò
S±½(p, q) =
½
¾
d
i=½
(pi
− qi
) ÐÓ
pi
qi
ÒØÖÓ × ÓÖ ×ÝÑÑ ØÖ Þ α¹ Ú Ö Ò Ù×Ù ÐÐÝ ÒÓØ Ò ÐÓ× ÓÖÑº
ÀÓÛ ØÓ Ô Ö ÓÖÑ ÒØ Ö¹ × ÐÙ×Ø Ö Ò Û Ø ÓÙØ ÐÓ× ÓÖÑ ÒØÖÓ ×
¾¼½ Ö Ò Æ Ð× Ò ½¼ºÅ Ü Ú Ö Ò × ½ »½

Â Ö Ý× ÔÓ× Ø Ú ÒØÖÓ ¾¾
Â Ö Ý× Ú Ö Ò × ×ÝÑÑ ØÖ Þ α = ±½ Ú Ö Ò ×º
Ì Â Ö Ý× ÔÓ× Ø Ú ÒØÖÓ c = (c½, ..., cd ) Ó × Ø {h½, ..., hn} Ó n
Û Ø ÔÓ× Ø Ú ×ØÓ Ö Ñ× Û Ø d Ò× Ò Ð ÙÐ Ø
ÓÑÔÓÒ ÒØ¹Û × Ü ØÐÝ Ù× Ò Ø Ä Ñ ÖØ W Ò ÐÝØ ÙÒ Ø ÓÒ
ci
=
ai
W ai
gi e
Û Ö ai = n
j=½ πjhi
j ÒÓØ × Ø ÓÓÖ Ò Ø ¹Û × Ö Ø Ñ Ø Û Ø
Ñ Ò× Ò gi = n
j=½(hi
j )πj Ø ÓÓÖ Ò Ø ¹Û × ÓÑ ØÖ Û Ø
Ñ Ò×º
Ì Ä Ñ ÖØ Ò ÐÝØ ÙÒ Ø ÓÒ W ´ÔÓ× Ø Ú Ö Ò µ × Ò Ý
W (x)eW (x) = x ÓÖ x ≥ ¼º
→ Â Ö Ý× k¹Ñ Ò× ÐÙ×Ø Ö Ò º ÙØ ÓÖ α = ½¸ ÓÛ ØÓ ÐÙ×Ø Ö
¾¼½ Ö Ò Æ Ð× Ò ½¼ºÅ Ü Ú Ö Ò × ½ »½

Å Ü α¹ Ú Ö Ò ×»α¹Â Ö Ý× ×ÝÑÑ ØÖ Þ Ú Ö Ò
Å Ü α¹ Ú Ö Ò ØÛ Ò ×ØÓ Ö Ñ x ØÓ ØÛÓ ×ØÓ Ö Ñ× p Ò q
Mλ,α(p : x : q) = λDα(p : x) + (½ − λ)Dα(x : q),
= λD−α(x : p) + (½ − λ)D−α(q : x),
= M½−λ,−α(q : x : p),
α¹Â Ö Ý× ×ÝÑÑ ØÖ Þ Ú Ö Ò × Ó Ø Ò ÓÖ λ = ½
¾
Sα(p, q) = M½
¾
,α(q : p : q) = M½
¾
,α(p : q : p)
× Û ×ÝÑÑ ØÖ Þ α¹ Ú Ö Ò × Ò Ý
Sλ,α(p : q) = λDα(p : q) + (½ − λ)Dα(q : p)
¾¼½ Ö Ò Æ Ð× Ò ½¼ºÅ Ü Ú Ö Ò × ½ ¼»½

Å Ü Ú Ö Ò ¹ × k¹Ñ Ò× ÐÙ×Ø Ö Ò
k ×Ø Ò Ø × × ÖÓÑ Ø Ø × Ø Û Ø li = ri º
ÁÒÔÙØ Ï Ø ×ØÓ Ö Ñ × Ø H¸ Ú Ö Ò D(·, ·)¸ ÒØ Ö k > ¼¸ Ö Ð
λ ∈ [¼, ½]
ÁÒ Ø Ð Þ Ð Ø¹× »Ö Ø¹× × × C = {(li , ri )}k
i=½
Ö Ô Ø
»» ×× ÒÑ ÒØ
ÓÖ i = ½, ¾, ..., k Ó
Ci ← {h ∈ H : i = Ö Ñ Òj Mλ(lj : h : rj )}
Ò
»» Ù Ð¹× ÒØÖÓ Ö ÐÓ Ø ÓÒ
ÓÖ i = ½, ¾, ..., k Ó
ri ← Ö Ñ Òx D(Ci : x) = h∈Ci
wj D(h : x)
li ← Ö Ñ Òx D(x : Ci ) = h∈Ci
wj D(x : h)
Ò
ÙÒØ Ð ÓÒÚ Ö Ò
¾¼½ Ö Ò Æ Ð× Ò ½¼ºÅ Ü Ú Ö Ò × ½ ½»½

Å Ü α¹ Ö ÐÙ×Ø Ö Ò Å ´H¸ k¸ λ¸ αµ
ÁÒÔÙØ Ï Ø ×ØÓ Ö Ñ × Ø H¸ ÒØ Ö k > ¼¸ Ö Ð λ ∈ [¼, ½]¸ Ö Ð α ∈ R
Ä Ø C = {(li , ri )}k
i=½ ← Å Ë(H, k, λ, α)
Ö Ô Ø
»» ×× ÒÑ ÒØ
ÓÖ i = ½, ¾, ..., k Ó
Ai ← {h ∈ H : i = Ö Ñ Òj Mλ,α(lj : h : rj )}
Ò
»» ÒØÖÓ Ö ÐÓ Ø ÓÒ
ÓÖ i = ½, ¾, ..., k Ó
ri ← h∈Ai
wi h
½−α
¾
¾
½−α
li ← h∈Ai
wi h
½+α
¾
¾
½+α
Ò
ÙÒØ Ð ÓÒÚ Ö Ò
¾¼½ Ö Ò Æ Ð× Ò ½¼ºÅ Ü Ú Ö Ò × ½ ¾»½

ÓÙÔÐ k¹Å Ò×·· α¹Ë Ò
Ð ÓÖ Ø Ñ ¿ Å Ü α¹× Ò Å Ë´H¸ k¸ λ¸ αµ
ÁÒÔÙØ Ï Ø ×ØÓ Ö Ñ × Ø H¸ ÒØ Ö k ≥ ½¸ Ö Ð λ ∈ [¼, ½]¸ Ö Ð α ∈ R
Ä Ø C ← hj Û Ø ÙÒ ÓÖÑ ÔÖÓ Ð ØÝ
ÓÖ i = ¾, ¿, ..., k Ó
È Ø Ö Ò ÓÑ ×ØÓ Ö Ñ h ∈ H Û Ø ÔÖÓ Ð ØÝ
πH(h)
Õ
=
whMλ,α(ch : h : ch)
y∈H wy Mλ,α(cy : y : cy )
, ´ µ
»»Û Ö (ch, ch)
Õ
= Ö Ñ Ò(z,z)∈C Mλ,α(z : h : z)
C ← C ∪ {(h, h)}
Ò
ÇÙØÔÙØ Ë Ø Ó Ò Ø Ð ÐÙ×Ø Ö ÒØ Ö× C
→ Ù Ö ÒØ ÔÖÓ Ð ×Ø ÓÙÒ º ÂÙ×Ø Ò ØÓ Ò Ø Ð Þ ÆÓ ÒØÖÓ
ÓÑÔÙØ Ø ÓÒ×
¾¼½ Ö Ò Æ Ð× Ò ½¼ºÅ Ü Ú Ö Ò × ½ ¿»½

Ä ÖÒ Ò ÅÅ× ÓÑ ØÖ Ö ÐÙ×Ø Ö Ò Ú ÛÔÓ ÒØ
Ä ÖÒ Ø Ô Ö Ñ Ø Ö× Ó Ñ ÜØÙÖ m(x) = k
i=½ wi p(x|θi )
Å Ü Ñ Þ Ø ÓÑÔÐ Ø Ø Ð Ð ÓÓ ÐÙ×Ø Ö Ò Ó Ø Ú ÙÒ Ø ÓÒ
Ñ Ü
W ,Λ
lc(W , Λ) =
n
i=½
k
j=½
zi,j ÐÓ (wj p(xi |θj ))
= Ñ Ü
Λ
n
i=½
k
Ñ Ü
j=½
ÐÓ (wj p(xi |θj ))
≡ Ñ Ò
W ,Λ
n
i=½
k
Ñ Ò
j=½
Dj (xi ) ,
Û Ö cj = (wj , θj ) ´ ÐÙ×Ø Ö ÔÖÓØÓØÝÔ µ Ò Dj (xi ) = − ÐÓ p(xi |θj ) − ÐÓ wj
Ö ÔÓØ ÒØ Ð ×Ø Ò ¹Ð ÙÒ Ø ÓÒ×º
ÙÖØ Ö ØØ ØÓ ÐÙ×Ø Ö Ö ÒØ Ñ ÐÝ Ó ÔÖÓ Ð ØÝ ×ØÖ ÙØ ÓÒ×º
¾¼½ Ö Ò Æ Ð× Ò ½¼ºÅ Ü Ú Ö Ò × ½ »½

Ò Ö Ð Þ k¹ÅÄ ÓÖ Ð ÖÒ Ò ×Ø Ø ×Ø Ð Ñ ÜØÙÖ ×
ÅÓ Ð¹ × ÐÙ×Ø Ö Ò ×× ÒÑ ÒØ Ó ÔÓ ÒØ× ØÓ ÐÙ×Ø Ö×
Dwj ,θj ,Fj
(x) = − ÐÓ pFj
(x; θj ) − ÐÓ wj
k¹ ÅÄ
½º ÁÒ Ø Ð Þ Û Ø W ∈ Δk Ò Ñ ÐÝ ØÝÔ (F½, ..., Fk ) ÓÖ ÐÙ×Ø Ö
¾º ËÓÐÚ Ñ ÒΛ i Ñ Òj Dj (xi ) ´ ÒØ Ö¹ × ÐÙ×Ø Ö Ò ÓÖ W Ü µ Û Ø
ÔÓØ ÒØ Ð ÙÒ Ø ÓÒ× Dj (xi ) = − ÐÓ pFj
(xi |θj ) − ÐÓ wj
¿º ËÓÐÚ Ñ ÐÝ ØÝÔ × Ñ Ü Ñ Þ Ò Ø ÅÄ Ò ÐÙ×Ø Ö Cj Ý ÓÓ× Ò
Ø Ô Ö Ñ ØÖ Ñ ÐÝ Ó ×ØÖ ÙØ ÓÒ× Fj = F(γj ) Ø Ø Ý Ð × Ø ×Ø
Ð Ð ÓÓ Ñ ÒF½=F(γ½),...,Fk=F(γk )∈F(γ) i Ñ Òj Dwj ,θj ,Fj
(xi )º
∀l, γl = Ñ Üj F∗
j (ˆηl = ½
nl x∈Cl
tj (x)) + ½
nl x∈Cl
k(x)º
º ÍÔ Ø Û Ø W × Ø ÐÙ×Ø Ö ÔÓ ÒØ ÔÖÓÔÓÖØ ÓÒ
º Ì ×Ø ÓÖ ÓÒÚ Ö Ò Ò Ó ØÓ ×Ø Ô ¾µ ÓØ ÖÛ × º
Ö Û × ¸ ÒÓÒ¹ ÓÒ× ×Ø ÒØ ×Ø Ñ ØÓÖ Ù ØÓ ÎÓÖÓÒÓ ×ÙÔÔÓÖØ
ØÖÙÒ Ø ÓÒº
¾¼½ Ö Ò Æ Ð× Ò ½½ºk¹ ÅÄ ½ »½

ÓÑÔÙØÒ f ¹ Ú Ö Ò × ÓÖÒ Ö f ÝÓÒ×ØÓ ×Ø ÅÓÒØ ¹ ÖÐÓÒÙÑ Ö Ð ÒØ Ö ØÓÒ
¾¼½ Ö Ò Æ Ð× Ò ½¾º ÓÑÔÙØ Ò f ¹ Ú Ö Ò × ½ »½

Ð ¹Ë ÐÚ Ý¹ × ×Þ Ö f ¹ Ú Ö Ò ×
If (X½ : X¾) = x½(x)f
x¾(x)
x½(x)
ν(x) ≥ ¼
Æ Ñ Ó Ø f ¹ Ú Ö Ò ÓÖÑÙÐ If (P : Q) Ò Ö ØÓÖ f (u) Û Ø f (½) = ¼
ÌÓØ Ð Ú Ö Ø ÓÒ ´Ñ ØÖ µ ½
¾ |p(x) − q(x)| ν(x) ½
¾ |u − ½|
ËÕÙ Ö À ÐÐ Ò Ö ( p(x) − q(x))¾ ν(x) (
√
u − ½)¾
È Ö×ÓÒ χ¾
P
(q(x)−p(x))¾
p(x)
ν(x) (u − ½)¾
Æ ÝÑ Ò χ¾
N
(p(x)−q(x))¾
q(x)
ν(x)
(½−u)¾
u
È Ö×ÓÒ¹Î χk
P
(q(x)−λp(x))k
pk−½(x)
ν(x) (u − ½)k
È Ö×ÓÒ¹Î |χ|k
P
|q(x)−λp(x)|k
pk−½(x)
ν(x) |u − ½|k
ÃÙÐÐ ¹Ä Ð Ö p(x) ÐÓ
p(x)
q(x)
ν(x) − ÐÓ u
Ö Ú Ö× ÃÙÐÐ ¹Ä Ð Ö q(x) ÐÓ
q(x)
p(x)
ν(x) u ÐÓ u
α¹ Ú Ö Ò
½−α¾ (½ − p
½−α
¾ (x)q½+α
(x) ν(x))
½−α¾ (½ − u
½+α
¾ )
Â Ò× Ò¹Ë ÒÒÓÒ ½
¾ (p(x) ÐÓ ¾p(x)
p(x)+q(x)
+ q(x) ÐÓ ¾q(x)
p(x)+q(x)
) ν(x) −(u + ½) ÐÓ ½+u
¾ + u ÐÓ u

ÁÒ ÓÖÑ Ø ÓÒ ÑÓÒÓØÓÒ ØÝ Ó f ¹ Ú Ö Ò ×
Ó Ó Ö× ÒÒ Ò ÖÓÑ d Ò× ØÓ k < d Ò×
X = k
i=½Ai
Ä Ø pA = (pi )A Û Ø pi = j∈Ai
pj º
ÁÒ ÓÖÑ Ø ÓÒ ÑÓÒÓØÓÒ ØÝ
D(p : q) ≥ D(pA
: qA
)
⇒ f ¹ Ú Ö Ò × Ö Ø ÓÒÐÝ Ú Ö Ò × ÔÖ × ÖÚ Ò Ø Ò ÓÖÑ Ø ÓÒ
ÑÓÒÓØÓÒ ØÝº

Ò ÜÔÓÒ ÒØ Ð Ñ Ð ×
ÒÓÒ Ð ÓÑÔÓ× Ø ÓÒ Ó Ø ÔÖÓ Ð ØÝ Ñ ×ÙÖ
pθ(x) = ÜÔ( t(x), θ − F(θ) + k(x)),
ÓÒ× Ö Ò ØÙÖ Ð Ô Ö Ñ Ø Ö ×Ô Θ Ò ´Ð ÑÙÐØ ÒÓÑ Ð×µº
ÈÓ (λ) : p(x|λ) =
λx e−λ
x!
, λ > ¼, x ∈ {¼, ½, ...}
ÆÓÖI (μ) : p(x|μ) = (¾π)− d
¾ e− ½
¾
(x−μ) (x−μ)
, μ ∈ Rd
, x ∈ Rd
Ñ ÐÝ θ Θ F(θ) k(x) t(x) ν
ÈÓ ××ÓÒ ÐÓ λ R eθ − ÐÓ x! x νc
Á×Ó. Ù×× Ò μ Rd ½
¾θ θ d
¾ ÐÓ ¾π − ½
¾x x x νL
¾¼½ Ö Ò Æ Ð× Ò ½¾º ÓÑÔÙØ Ò f ¹ Ú Ö Ò × ½ ¼»½

À Ö¹ÓÖ Ö Î χk
Ú Ö Ò ×
Ì ´× Ò µ χk
P ×Ø Ò ØÛ Ò Ñ Ñ Ö× X½ ∼ EF (θ½) Ò X¾ ∼ EF (θ¾) Ó
Ø × Ñ Ò ÜÔÓÒ ÒØ Ð Ñ ÐÝ × ´k ∈ Nµ ÐÛ Ý× ÓÙÒ Ò ÕÙ Ð ØÓ
χk
P (X½ : X¾) =
k
j=¼
(−½)k−j k
j
eF((½−j)θ½+jθ¾)
e(½−j)F(θ½)+jF(θ¾)
ÓÖ ÈÓ ××ÓÒ»ÆÓÖÑ Ð ×ØÖ ÙØ ÓÒ×¸ Û Ø ÐÓ× ¹ ÓÖÑ ÓÖÑÙÐ
χk
P (λ½ : λ¾) =
k
j=¼
(−½)k−j k
j
eλ½−j
½ λj
¾−((½−j)λ½+jλ¾)
,
χk
P(μ½ : μ¾) =
k
j=¼
(−½)k−j k
j
e
½
¾
j(j−½)(μ½−μ¾) (μ½−μ¾)
.
¾¼½ Ö Ò Æ Ð× Ò ½¾º ÓÑÔÙØ Ò f ¹ Ú Ö Ò × ½ ½»½

f ¹ Ú Ö Ò × Ò ÐÝØ ÓÖÑÙÐ ½
λ = ½ ∈ ÒØ( ÓÑ(f (i)))¸ f ¹ Ú Ö Ò ´Ì ÓÖ Ñ ½ Ó µ
If (X½ : X¾) −
s
k=¼
f (k)(½)
k!
χk
P (X½ : X¾)
≤
½
(s + ½)!
f (s+½)
∞(M − m)s
,
Û Ö f (s+½)
∞ = ×ÙÔt∈[m,M] |f (s+½)(t)| Ò m ≤ p
q ≤ Mº
λ = ¼ ´Û Ò Ú Ö ¼ ∈ ÒØ( ÓÑ(f (i)))µ Ò Ò ÜÔÓÒ ÒØ Ð Ñ Ð ×¸
× ÑÔÐ Ö ÜÔÖ ×× ÓÒ
If (X½ : X¾) =
∞
i=¼
f (i)(¼)
i!
I½−i,i (θ½ : θ¾),
I½−i,i (θ½ : θ¾) =
eF(iθ¾+(½−i)θ½)
eiF(θ¾)+(½−i)F(θ½)
.
¾¼½ Ö Ò Æ Ð× Ò ½¾º ÓÑÔÙØ Ò f ¹ Ú Ö Ò × ½ ¾»½

× ÒÒ ÓÒ ÓÖÑ ÐÚ Ö Ò × Ò ÒÖ Ô Ð Ô×
¾¼½ Ö Ò Æ Ð× Ò ½¿º ÓÒ ÓÖÑ Ð Ú Ö Ò × ½ ¿»½

ÓÑ ØÖ ÐÐÝ × Ò Ú Ö Ò ×
ÈÐÓØ Ó Ø ÓÒÚ Ü Ò Ö ØÓÖ Fº
q p
p+q
2
B(p : q)
J(p, q)
tB(p : q)
F : (x, F(x))
(p, F(p))
(q, F(q))
¾¼½ Ö Ò Æ Ð× Ò ½¿º ÓÒ ÓÖÑ Ð Ú Ö Ò × ½ »½

Ú Ö Ò × × Û Â Ò× Ò ² Ö Ñ Ò Ú Ö Ò ×
F ×ÑÓÓØ ÓÒÚ Ü ÙÒ Ø ÓÒ¸ Ø Ò Ö ØÓÖº
Ë Û Â Ò× Ò Ú Ö Ò ×
Jα(p : q) = αF(p) + (½ − α)F(q) − F(αp + (½ − α)q),
= (F(p)F(q))α − F((pq)α),
Û Ö (pq)γ = γp + (½ − γ)q = q + γ(p − q) Ò
(F(p)F(q))γ = γF(p) + (½ − γ)F(q) = F(q) + γ(F(p) − F(q))º
Ö Ñ Ò Ú Ö Ò ×
B(p : q) = F(p) − F(q) − p − q, ∇F(q) ,
Ð Ñ
α→¼
Jα(p : q) = B(p : q), Ð Ñ
α→½
Jα(p : q) = B(q : p)
ËØ Ø ×Ø Ð × Û ØØ ÖÖÝ Ú Ö Ò
Ø(p½ : p¾) = − ÐÓ p½(x)α
p¾(x)½−α
ν(x) = Jα(θ½ : θ¾)
ÓÖ ÜÔÓÒ ÒØ Ð Ñ Ð × ¾ º

Ú Ö Ò × Ò ÒØÖÓ × ¿¿¸ ¾
ÈÓÔÙÐ Ø ÓÒ Ñ Ò Ñ Þ Ö× Ö Ñ Òc
n
i=½ wi D(pi : c)
Ù× ÙÐ ÓÖ ÒØ Ö¹ × ÐÙ×Ø Ö Ò Ð ÓÖ Ø Ñ× ´k¹Ñ Ò×µ
ÓÖ Ö Ñ Ò Ú Ö Ò × cR = i wi pi ´ ÒÚ Ö ÒØ¸ ÒØ Ö Ó Ñ ××µº
cL = (∇F)−½( i wi ∇F(pi )) f ¹Ñ Ò Ð×Ó ÐÐ
ÕÙ × ¹ Ö Ø Ñ Ø Ñ Ò f −½( i wi f (xi )) Ø Ø Ò Ö Ð Þ × Ö Ø Ñ Ø
f (x) = x¸ ÖÑÓÒ f (x) = ½
x Ò ÓÑ ØÖ Ñ Ò× f (x) = ÐÓ xº
Ö Ñ Ò Ò ÓÖÑ Ø ÓÒ n
i=½ wi D(pi : cR) = F( i wi pi ) − i wi F(pi )¸
Â Ò× Ò Ú Ö× ØÝ Ò Üº
ÓÖ Â Ò× Ò Ú Ö Ò ×¸ Ù× ÓÒ Ú ¹ ÓÒÚ Ü ÈÖÓ ÙÖ ÖÓÑ
c¼ = i wi pi ØÓ ×ÓÐÚ i wi Jα(c : pi )
ct+½ = (∇F)−½
i
wi ∇F(αct + (½ − α)pi )

Quasi-arithmetic mean:
Mf (x1, ..., xn) = f−1
( n
i=1
1
nf(xi))
Bregman divergence:
BF (p : q) = F(p) − F(q) − p − q, ∇F(q)
Probability:
pF (x|θ) = e t(x),θ −F(θ)+k(x)
pF (x|θ) = e−BF ∗(t(x):∇F(θ))+F∗
(t(x))+k(x)
Convex F
⇔
f = ∇F Monotone increasing
Legendre
transform
Convexity
Distances
AggregatorsProbabilities

ÌÓØ Ð Ö Ñ Ò Ú Ö Ò × ½
ÓÒ ÓÖÑ Ð Ú Ö Ò ¸ ÓÒ ÓÖÑ Ð ØÓÖ ρ
D (p : q) = ρ(p, q)D(p : q)
ÔÐ Ý× Ø Ö Ð Ó Ö ÙÐ Ö Þ Ö ¼
ÁÒÚ Ö Ò Ý ÖÓØ Ø ÓÒ Ó Ø Ü × Ó Ø × Ò ×Ô
Ø (p : q) =
B(p : q)
½ + ∇F(q), ∇F(q)
= ρB (q)B(p : q),
ρB(q) =
½
½ + ∇F(q), ∇F(q)
.
ÓÖ Ü ÑÔÐ ¸ ØÓØ Ð ×ÕÙ Ö Ù Ð Ò Ú Ö Ò
tE(p, q) =
½
¾
p − q, p − q
½ + q, q
.

ÌÓØ Ð × Û Â Ò× Ò Ú Ö Ò × ¿
Ø (p : q) = ρB (q)B(p : q), ρB(q) =
½
½ + ∇F(q), ∇F(q)
ØÂα(p : q) = ρJ(p, q)Jα(p : q), ρJ(p, q) =
½
½ + (F(p)−F(q))¾
p−q,p−q
Â Ò× Ò¹Ë ÒÒÓÒ Ú Ö Ò ¸ ×ÕÙ Ö ÖÓÓØ × Ñ ØÖ
ÂË(p, q) =
½
¾
d
i=½
pi ÐÓ
¾pi
pi + qi
+
½
¾
d
i=½
qi ÐÓ
¾qi
pi + qi
ÙØ Ø ×ÕÙ Ö ÖÓÓØ Ó Ø ØÓØ Ð Â Ò× Ò¹Ë ÒÒÓÒ Ú Ö Ò × ÒÓØ Ñ ØÖ º

If (P : Q) = p(x)f (q(x)
p(x) dν(x)
BF (P : Q) = F(P) − F(Q) − P − Q, ∇F(Q)
tBF (P : Q) = BF (P :Q)
√
1+ ∇F (Q) 2
CD,g(P : Q) = g(Q)D(P : Q)
BF,g(P : Q; W) = WBF
P
Q : Q
W
Dv
(P : Q) = D(v(P) : v(Q))
v-Divergence Dv
total Bregman divergence tB(· : ·) Bregman divergence BF (· : ·)
conformal divergence CD,g(· : ·)
Csisz´ar f-divergence If (· : ·)
scaled Bregman divergence BF (· : ·; ·)
scaled conformal divergence CD,g(· : ·; ·)
Dissimilarity measure
Divergence
¾¼½ Ö Ò Æ Ð× Ò ½¿º ÓÒ ÓÖÑ Ð Ú Ö Ò × ½ ¼»½

ËÙÑÑ ÖÝ È ÖØ ÁÁº ÓÑ ØÖ ÓÑÔÙØ Ò Ò ÁÒ ÓÖÑ Ø ÓÒ
ËÔ ×
ÄÓ Ø ÓÒ¹× Ð Ñ Ð ×¸ ×Ô Ö Ð ÒÓÖÑ Ð¸ ×ÝÑÑ ØÖ ÔÓ× Ø Ú Ò Ø
Ñ ØÖ × → ÝÔ Ö ÓÐ ÓÑ ØÖÝº
ÀÝÔ Ö ÓÐ ÓÑ ØÖÝ Ò ÓÒ×ØÖÙ Ø ÓÒ× Ò ÃÐ Ò ×
ËÔ Ó ×Ô Ö × Ò Ù ÐÐÝ Ò ÓÒÒ Ø ÓÒ ÓÑ ØÖÝ
ËÝÒØ Ø ÓÑ ØÖÝ ÓÖ Ö Ø Ö Þ Ò Ø ×Ø ÖÖÓÖ ÜÔÓÒ ÒØ Ò Ý ×
ÖÖÓÖ
ÓÒ ÓÖÑ Ð Ú Ö Ò × ØÓØ Ð Ö Ñ Ò»ØÓØ Ð Â Ò× Ò Ú Ö Ò ×
ÐÙ×Ø Ö Ò Ù× Ò Ô Ö Ó ÒØÖÓ × ÓÖ ÐÙ×Ø Ö× Ù× Ò Ñ Ü Ú Ö Ò × ÓÖ
×ÝÑÑ ØÖ Þ ÐÔ Ú Ö Ò ×
Ä ÖÒ Ò ×Ø Ø × Ð Ñ ÜØÙÖ × Ñ Ü Ñ Þ Ò Ø ÓÑÔÐ Ø Ð Ð ÓÓ ×
× ÕÙ Ò Ó ÓÑ ØÖ ÐÙ×Ø Ö Ò ÔÖÓ Ð Ñ× k¹ ÄÅ
ÁÒ × Ö Ó ÐÓ× ¹ ÓÖÑ ×ÓÐÙØ ÓÒ× Â Ö Ý× ÒØÖÓ Ù× Ò Ä Ñ ÖØ W
ÙÒ Ø ÓÒ¸ f ¹ Ú Ö Ò ÔÔÖÓÜ Ñ Ø ÓÒ ÓÖ Ò ÜÔÓÒ ÒØ Ð Ñ Ð ×º
¾¼½ Ö Ò Æ Ð× Ò ½¿º ÓÒ ÓÖÑ Ð Ú Ö Ò × ½ ½»½

ÓÑÔÙØ Ø ÓÒ Ð ÁÒ ÓÖÑ Ø ÓÒ ÓÑ ØÖÝ ´ Ø ÓÓ ×µ
¾ ¾
ØØÔ »»ÛÛÛº×ÔÖ Ò Öº ÓÑ» Ò Ò Ö Ò »× Ò Ð×» ÓÓ » ¹¿¹ ¾¹¿¼¾¿½¹¾
ØØÔ »»ÛÛÛº×ÓÒÝ ×Ðº Óº Ô»Ô Ö×ÓÒ»Ò Ð× Ò» Ò Ó Ó»ÅÁ »ÅÁ ÇÇÃÏ »
ØØÔ »»ÛÛÛº×ÔÖ Ò Öº ÓÑ» Ò Ò Ö Ò »× Ò Ð×» ÓÓ » ¹¿¹¿½ ¹¼ ¿½ ¹
ØØÔ »»ÛÛÛº×ÓÒÝ ×Ðº Óº Ô»Ô Ö×ÓÒ»Ò Ð× Ò» Ò Ó Ó» ÌÁ» ÓÑ ØÖ Ì ÓÖÝÇ ÁÒ ÓÖÑ Ø ÓÒº ØÑÐ
¾¼½ Ö Ò Æ Ð× Ò ½ ºÊ Ö Ò × ½ ¾»½

ÓÑ ØÖ Ë Ò × Ó ÁÒ ÓÖÑ Ø ÓÒ ´ ËÁµ ¾¼½
Ç ØÓ Ö ¾ ¹¿¼Ø ¾¼½ º Ð Ò ½×Ø Å Ö ¾¼½
ØØÔ »»ÛÛÛº × ¾¼½ ºÓÖ »
¾¼½ Ö Ò Æ Ð× Ò ½ ºÊ Ö Ò × ½ ¿»½

ËÙÑÑ ÖÝ ÓÑÔÙØ Ø ÓÒ Ð ÁÒ ÓÖÑ Ø ÓÒ ÓÑ ØÖÝ
ÇÖ Ò ÐÐÝ¸ Á ×ØÙ Ø ×Ô Ó ´Ô Ö Ñ ØÖ µ ÔÖÓ Ð ØÝ ×ØÖ ÙØ ÓÒ×¸
ÙØ ÒÓÛ ÓÑ ØÖÝ Ó Ô Ö Ñ Ø Ö ×Ô × Ò Ò Ö Ð ´Ñ ØÖ ×¸ ÝÒ Ñ
×Ý×Ø Ñ×¸ Ø ºµ
× Ö¹Ê Ó Ê Ñ ÒÒ Ò ÓÑ ØÖÝ × Ó Ø Ò Ó × × ÒÓØ Ò ÐÓ× ÓÖÑ
Ù Ð ÓÒÒ Ø ÓÒ× ÓÙÔÐ Û Ø Ñ ØÖ × Ù Ð Ó × × ×ØÖ Ø Ò
ÓÖØ Ó ÓÒ Ð Ò ÓÓÖ Ò Ø ×Ý×Ø Ñ×
Ö Ñ Ò Ú Ö Ò × Ö ÒÓÒ Ð Ú Ö Ò × Ò Ù ÐÐÝ Ø ×Ô ×
× ×Þ Ö f ¹ Ú Ö Ò × ÔÖ × ÖÚ Ò ÓÖÑ Ø ÓÒ ÑÓÒÓØÓÒ ØÝ Ò Ò Ù
ÐÓ ÐÐÝ × Ö Ø Ò×ÓÖ Ñ ØÖ ÓÑ ØÖÝº
Ð ÓÖ Ø Ñ × Ò× Ö Ó Ø Ò × ÓÒ Ò ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ×º
¾¼½ Ö Ò Æ Ð× Ò ½ ºËÙÑÑ ÖÝ Ò Ô Ö×Ô Ø Ú × ½ »½

ÐÓ× Ò Ô ÐÓ×ÓÔ Ð Ú Ûººº
Model M
Parameter θ
Conﬁguration space Θ
Super-model M+
Point Pθ
Space {Pθ|θ ∈ Θ}
Geometry G
Geometry embedding G+
coordinate-based (biased) coordinate-free!
Structure Structure

Ì Ò ÜØ Û Ú ººº

ÉÙ ÒØÙÑ ÁÒ ÓÖÑ Ø ÓÒ ÓÑ ØÖÝ ´ Ò ÉÁÌµ
ÉÙ ÒØÙÑ ×Ø Ø × Ò× ØÝ Ñ ØÖ × À ÖÑ Ø Ò ÔÓ× Ø Ú × Ñ ¹ Ò Ø
Ñ ØÖ × Ó ÙÒ Ø ØÖ ´ÂÓ Ò ÚÓÒ Æ ÙÑ ÒÒ¸ ½ ¾ µ
Ò Ö Ð Þ Ø ÓÒ Ó ÔÖÓ Ð ØÝ Ø ÓÖÝ ´ Ð ×× Ð ÔÖÓ Ð ØÝ ÓÒ Ð
Ñ ØÖ × ÓÑÑÙØ Ø Ú Ñ ØÖ ×µ
Ë Ú Ö Ð ÉÙ ÒØÙÑ × Ö ÁÒ ÓÖÑ Ø ÓÒ Ñ ØÖ ×
ÉÙ ÒØÙÑ Ö Ò ÓÑ Û Ð × ØÓ Ò ×Ø Ò ØÛ Ò Ö Ô × ´× ÑÙÐ Ø ÓÒ
Ð ×× Ð ÓÑÔÙØ Ö× ½¼ µ
ÉÙ ÒØÙÑ ÎÓÖÓÒÓ Ö Ñ× ¿½
Ø º

Ì Ò ÝÓÙ
Æ ÜØ Ø Ñ ¸ Û Ý ÒÓØ ÓÒ× Ö Á ÓÖ ÝÓÙÖ ÅÄ ÔÖÓ Ð Ñ× ¹ µ

Ð Ó Ö Ô Ý Á
Ë ÙÒ¹Á Ñ Ö º
Æ ØÙÖ Ð Ö ÒØ ÛÓÖ × ÒØÐÝ Ò Ð ÖÒ Ò º
Æ ÙÖ Ð ÓÑÔÙØ Ø ÓÒ¸ ½¼´¾µ ¾ ½ ¾ ¸ ½ º
Ë ÙÒ¹ Ñ Ö Ò À ÖÓ× Æ Ó º
Å Ø Ó × Ó ÁÒ ÓÖÑ Ø ÓÒ ÓÑ ØÖÝº
ÇÜ ÓÖ ÍÒ Ú Ö× ØÝ ÈÖ ××¸ ¾¼¼¼º
Å Ö ÖÒ Ù ÓÒ Ò Ö Ò Æ Ð× Òº
ÇÒ ÔÔÖÓÜ Ñ Ø Ò Ø Ê Ñ ÒÒ Ò ½¹ ÒØ Öº
ÓÑÔÙØ Ø ÓÒ Ð ÓÑ ØÖÝ¸ ´½µ ¿ ½¼ ¸ ¾¼½¿º
ÆºËº ÖÒ ØØ¸ Èº ÖÓÒ ¸ ËºËº Ö ÓÑ Ö¸ Ò º ËÓ Óº
ÔÔÖÓÜ Ñ Ø Ò × ×Þ Ö f ¹ Ú Ö Ò Ý Ø Ù× Ó Ì ÝÐÓÖ³× ÓÖÑÙÐ Û Ø ÒØ Ö Ð Ö Ñ Ò Öº
Å Ø Ñ Ø Ð ÁÒ ÕÙ Ð Ø × ² ÔÔÐ Ø ÓÒ×¸ ´¿µ ½ ¿ ¸ ¾¼¼¾º
º º ÖÖÝ¸ Èº Âº ÙÐÐ Ò¹À Ò×Ð Ý¸ Ò Ëº Âº ÖÖÝº
Ê Ð Ú ÐÙ × Ó Ø W ¹ ÙÒ Ø ÓÒº
Å ÌÖ Ò×º Å Ø º ËÓ ØÛº¸ ¾½´¾µ ½ ½ ½ ½¸ ÂÙÒ ½ º
Â Ò¹ Ò Ð Ó ××ÓÒÒ Ø Ò Ö ×ØÓÔ Ð º
ÓÒÚ Ü ÙÐÐ Ò ÎÓÖÓÒÓ Ö Ñ Ó Ø Ú ÐÝ Û Ø ÔÓ ÒØ×º
ÁÒ ÖØ ËØÿôÐØ Ò ÖÓ Ð Ò ËØ ÒÓ Ä ÓÒ Ö ¸ ØÓÖ×¸ Ë ¸ ÚÓÐÙÑ ¿ Ó Ä ØÙÖ ÆÓØ × Ò ÓÑÔÙØ Ö
Ë Ò ¸ Ô × ¿ ¿ º ËÔÖ Ò Ö¸ ¾¼¼ º
Â Ò¹ Ò Ð Ó ××ÓÒÒ Ø¸ Ö Ò Æ Ð× Ò¸ Ò Ê Ö ÆÓ º
Ö Ñ Ò ÎÓÖÓÒÓ Ö Ñ×º
× Ö Ø Ò ÓÑÔÙØ Ø ÓÒ Ð ÓÑ ØÖÝ¸ ´¾µ ¾ ½ ¿¼ ¸ ÔÖ Ð ¾¼½¼º
¾¼½ Ö Ò Æ Ð× Ò ½ º Ð Ó Ö Ô Ý ½ »½

Ð Ó Ö Ô Ý ÁÁ
À ÖÑ Ò ÖÒÓ º
Ñ ×ÙÖ Ó ×ÝÑÔØÓØ Ò Ý ÓÖ Ø ×Ø× Ó ÝÔÓØ × × × ÓÒ Ø ×ÙÑ Ó Ó × ÖÚ Ø ÓÒ×º
ÒÒ Ð× Ó Å Ø Ñ Ø Ð ËØ Ø ×Ø ×¸ ¾¿ ¿ ¼ ¸ ½ ¾º
Ò ÖÞ Ó ¸ Ë Ö Ó ÖÙ ×¸ Ò Ë ÙÒ¹ Ñ Ö º
Ò Ö Ð Þ ÐÔ ¹ Ø Ú Ö Ò × Ò Ø Ö ÔÔÐ Ø ÓÒ ØÓ ÖÓ Ù×Ø ÒÓÒÒ Ø Ú Ñ ØÖ Ü ØÓÖ Þ Ø ÓÒº
ÒØÖÓÔÝ¸ ½¿´½µ ½¿ ½ ¼¸ ¾¼½½º
Ú ÑÑ×¸ Û Ò Ê À Ò Ó ¸ Ò Ê Ö Ï Ð×ÓÒº
Ö Ô × Ñ Ð Ö ØÝ Ù× Ò ÒØ Ö Ö Ò ÕÙ ÒØÙÑ Û Ð ×º
ÁÒ ÈÖÓ Ò × Ó Ø ½¾Ø ÒØ ÖÒ Ø ÓÒ Ð ÓÒ Ö Ò ÓÒ ÓÑÔÙØ Ö Ò ÐÝ× × Ó Ñ × Ò Ô ØØ ÖÒ×¸ Ô × ¾¿ ¿½º
ËÔÖ Ò Ö¹Î ÖÐ ¸ ¾¼¼ º
Èº Ì ÓÑ × Ð Ø Ö¸ ÓÒ Ð Ò ÄÙ¸ ËØ Ô Ò Åº È Þ Ö¸ Ò Ë Ö Ò º ÂÓ× º
ÈÖ Ò Ô Ð Ó × Ò ÐÝ× × ÓÖ Ø ×ØÙ Ý Ó ÒÓÒÐ Ò Ö ×Ø Ø ×Ø × Ó × Ô º
Á ÌÖ Ò×º Å º ÁÑ Ò ¸ ¾¿´ µ ½¼¼ ¸ ¾¼¼ º
Î Ò ÒØ Ö Ò Ö Ò Æ Ð× Òº
Ë ÑÔÐ Ø ÓÒ Ò Ö Ö Ð Ö ÔÖ × ÒØ Ø ÓÒ× Ó Ñ ÜØÙÖ × Ó ÜÔÓÒ ÒØ Ð Ñ Ð ×º
Ë Ò Ð ÈÖÓ ×× Ò ´ Ð× Ú Öµ¸ ¼´½¾µ ¿½ ¿¾½¾¸ ¾¼½¼º
Î Ò ÒØ Ö ¸ Ö Ò Æ Ð× Ò¸ Ò Ê Ö ÆÓ º
Ä Ú Ð× Ó Ø Ð× ÓÖ Ù×× Ò Ñ ÜØÙÖ ÑÓ Ð×º
ÁÒ × Ò ÓÒ Ö Ò ÓÒ ÓÑÔÙØ Ö Î × ÓÒ ´ Îµ¸ ÚÓÐÙÑ ¾¸ Ô × ½ ¾ ¸ ¾¼¼ º
ÖÒ ÖØÒ Ö Ò ËÚ Ò Ë Ò ÖÖº
Ò ÒØ¸ Ü Ø¸ Ò Ò Ö ÕÙ Ö Ø ÔÖÓ Ö ÑÑ Ò ×ÓÐÚ Ö ÓÖ ÓÑ ØÖ ÓÔØ Ñ Þ Ø ÓÒº
ÁÒ ÈÖÓ Ò × Ó Ø × ÜØ ÒØ ÒÒÙ Ð ×ÝÑÔÓ× ÙÑ ÓÒ ÓÑÔÙØ Ø ÓÒ Ð ÓÑ ØÖÝ¸ Ô × ½½¼ ½½ º Å¸ ¾¼¼¼º
¾¼½ Ö Ò Æ Ð× Ò ½ º Ð Ó Ö Ô Ý ½ ¼»½

Ð Ó Ö Ô Ý ÁÁÁ
À ÖÓÐ ÀÓØ ÐÐ Ò º
ËÔ × Ó ×Ø Ø ×Ø Ð Ô Ö Ñ Ø Ö×º
ÙÐÐ Ø Ò Ó Ñ Ö Ò Å Ø Ñ Ø Ð ËÓ ØÝ¸ ¿ ´¿µ ½ ½¸ ½ ¿¼º
Ì × ÃÙÖÓ× º
ÇÒ Ø Ú Ö Ò × Ó ½¹ ÓÒ ÓÖÑ ÐÐÝ Ø ×Ø Ø ×Ø Ð Ñ Ò ÓÐ ×º
ÌÓ Ó Ù Å Ø Ñ Ø Ð ÂÓÙÖÒ Ð¸ Ë ÓÒ Ë Ö ×¸ ´¿µ ¾ ¿¿¸ ½ º
Å Þ Ù Ä Ù¸ º Î ÑÙÖ ¸ Ë ÙÒ¹ Ñ Ö ¸ Ò Ö Ò Æ Ð× Òº
Ë Ô Ö ØÖ Ú Ð Ù× Ò Ö Ö Ð ØÓØ Ð Ö Ñ Ò ×Ó Ø ÐÙ×Ø Ö Ò º
ÌÖ Ò× Ø ÓÒ× ÓÒ È ØØ ÖÒ Ò ÐÝ× × Ò Å Ò ÁÒØ ÐÐ Ò ¸ ¿ ´½¾µ ¾ ¼ ¾ ½ ¸ ¾¼½¾º
º Æ Ð× Ò Ò Êº ÆÓ º
ÇÒ Ø ×ÕÙ Ö Ò Ö¹ÓÖ Ö ×Ø Ò × ÓÖ ÔÔÖÓÜ Ñ Ø Ò f ¹ Ú Ö Ò ×º
Ë Ò Ð ÈÖÓ ×× Ò Ä ØØ Ö×¸ Á ¸ ¾½´½µ ½¼ ½¿¸ ¾¼½ º
Ö Ò Æ Ð× Òº
Ä Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ Ò Ò ÓÖÑ Ø ÓÒ ÓÑ ØÖÝº
Ì Ò Ð Ê ÔÓÖØ Á ¹Å ÅÇ¾¸ Ë ÔØ Ñ Ö ¾¼½¼º
Ö Ò Æ Ð× Òº
k¹ÅÄ ×Ø Ð ÓÖ Ø Ñ ÓÖ Ð ÖÒ Ò ×Ø Ø ×Ø Ð Ñ ÜØÙÖ ÑÓ Ð×º
ÁÒ ÓÙ×Ø ×¸ ËÔ Ò Ë Ò Ð ÈÖÓ ×× Ò ´Á ËËÈµ¸ ¾¼½¾ Á ÁÒØ ÖÒ Ø ÓÒ Ð ÓÒ Ö Ò ÓÒ¸ Ô × ¾º
Á ¸ ¾¼½¾º
Ö Ò Æ Ð× Òº
Ö Ñ Ö¹Ö Ó ÐÓÛ Ö ÓÙÒ Ò Ò ÓÖÑ Ø ÓÒ ÓÑ ØÖÝº
Ö Ú ÔÖ ÔÖ ÒØ Ö Ú ½¿¼½º¿ ¸ ¾¼½¿º
¾¼½ Ö Ò Æ Ð× Ò ½ º Ð Ó Ö Ô Ý ½ ½»½

Ð Ó Ö Ô Ý ÁÎ
Ö Ò Æ Ð× Òº
Â Ö Ý× ÒØÖÓ × ÐÓ× ¹ ÓÖÑ ÜÔÖ ×× ÓÒ ÓÖ ÔÓ× Ø Ú ×ØÓ Ö Ñ× Ò Ù Ö ÒØ Ø Ø ÔÔÖÓÜ Ñ Ø ÓÒ ÓÖ
Ö ÕÙ Ò Ý ×ØÓ Ö Ñ×º
Ë Ò Ð ÈÖÓ ×× Ò Ä ØØ Ö×¸ Á ¸ ÈÈ´ µ ½ ½¸ ¾¼½¿º
Ö Ò Æ Ð× Òº
Ò Ö Ð Þ ØØ ÖÝÝ Ò ÖÒÓ ÙÔÔ Ö ÓÙÒ × ÓÒ Ý × ÖÖÓÖ Ù× Ò ÕÙ × ¹ Ö Ø Ñ Ø Ñ Ò×º
È ØØ ÖÒ Ê Ó Ò Ø ÓÒ Ä ØØ Ö×¸ ¾ ¾ ¿ ¸ ¾¼½ º
Ö Ò Æ Ð× Òº
ÓÑ ØÖ Ì ÓÖÝ Ó ÁÒ ÓÖÑ Ø ÓÒº
ËÔÖ Ò Ö¸ ¾¼½ º
Ö Ò Æ Ð× Ò Ò Ê Ò Ö Ø ¸ ØÓÖ×º
Å ØÖ Ü ÁÒ ÓÖÑ Ø ÓÒ ÓÑ ØÖÝ ´Ê Ú × ÁÒÚ Ø È Ô Ö×µº ËÔÖ Ò Ö¸ ¾¼½¾º
Ö Ò Æ Ð× Ò Ò ËÝÐÚ Ò ÓÐØÞº
Ì ÙÖ ¹Ê Ó Ò ØØ ÖÝÝ ÒØÖÓ ×º
Á ÌÖ Ò× Ø ÓÒ× ÓÒ ÁÒ ÓÖÑ Ø ÓÒ Ì ÓÖÝ¸ ´ µ ¸ ¾¼½½º
Ö Ò Æ Ð× Ò Ò ËÝÐÚ Ò ÓÐØÞº
Ì ÙÖ ¹Ê Ó Ò ØØ ÖÝÝ ÒØÖÓ ×º
Á ÌÖ Ò× Ø ÓÒ× ÓÒ ÁÒ ÓÖÑ Ø ÓÒ Ì ÓÖÝ¸ ´ µ ¸ Ù Ù×Ø ¾¼½½º
Ö Ò Æ Ð× Ò Ò Î Ò ÒØ Ö º
ËØ Ø ×Ø Ð ÜÔÓÒ ÒØ Ð Ñ Ð × ×Ø Û Ø × Ö ×¸ ¾¼¼ º
Ö ÚºÓÖ ¼ ½½º ¿º
¾¼½ Ö Ò Æ Ð× Ò ½ º Ð Ó Ö Ô Ý ½ ¾»½

Ð Ó Ö Ô Ý Î
Ö Ò Æ Ð× Ò Ò Ê Ö ÆÓ º
ÇÒ ÔÔÖÓÜ Ñ Ø Ò Ø ×Ñ ÐÐ ×Ø Ò ÐÓ× Ò Ö Ñ Ò ÐÐ×º
ÁÒ ÈÖÓ Ò × Ó Ø ÌÛ ÒØÝ¹× ÓÒ ÒÒÙ Ð ËÝÑÔÓ× ÙÑ ÓÒ ÓÑÔÙØ Ø ÓÒ Ð ÓÑ ØÖÝ¸ Ë ³¼ ¸ Ô × ¸
Æ Û ÓÖ ¸ Æ ¸ ÍË ¸ ¾¼¼ º Åº
ÇÒ Ø ×Ñ ÐÐ ×Ø Ò ÐÓ× Ò Ò ÓÖÑ Ø ÓÒ × º
ÁÒ ÓÖÑ Ø ÓÒ ÈÖÓ ×× Ò Ä ØØ Ö× ´ÁÈÄµ¸ ½¼ ´¿µ ¿ ¸ ¾¼¼ º
ÉÙ ÒØÙÑ ÎÓÖÓÒÓ Ö Ñ× Ò ÀÓÐ ÚÓ ÒÒ Ð Ô ØÝ ÓÖ ½¹ÕÙ Ø ÕÙ ÒØÙÑ ×Ø Ø ×º
ÁÒ ÁÒ ÓÖÑ Ø ÓÒ Ì ÓÖÝ¸ ¾¼¼ º ÁËÁÌ ¾¼¼ º Á ÁÒØ ÖÒ Ø ÓÒ Ð ËÝÑÔÓ× ÙÑ ÓÒ¸ Ô × ½¼¼º Á ¸ ¾¼¼ º
Ì Ù Ð ÎÓÖÓÒÓ Ö Ñ× Û Ø Ö ×Ô Ø ØÓ Ö ÔÖ × ÒØ Ø ÓÒ Ð Ö Ñ Ò Ú Ö Ò ×º
ÁÒ ÁÒØ ÖÒ Ø ÓÒ Ð ËÝÑÔÓ× ÙÑ ÓÒ ÎÓÖÓÒÓ Ö Ñ× ´ÁËÎ µ¸ Ô × ½ ¸ ¾¼¼ º
Ë Ò ×ÝÑÑ ØÖ Þ Ö Ñ Ò ÒØÖÓ ×º
Á ÌÖ Ò× Ø ÓÒ× ÓÒ ÁÒ ÓÖÑ Ø ÓÒ Ì ÓÖÝ¸ ´ µ ¾ ¾ ¾ ¼ ¸ ¾¼¼ º
ÒØÖÓÔ × Ò ÖÓ××¹ ÒØÖÓÔ × Ó ÜÔÓÒ ÒØ Ð Ñ Ð ×º
ÁÒ ÁÒØ ÖÒ Ø ÓÒ Ð ÓÒ Ö Ò ÓÒ ÁÑ ÈÖÓ ×× Ò ´Á ÁÈµ¸ Ô × ¿ ¾½ ¿ ¾ ¸ ¾¼½¼º
ÀÝÔ Ö ÓÐ ÎÓÖÓÒÓ Ö Ñ× Ñ ×Ýº
ÁÒ ¾¼½¿ ½¿Ø ÁÒØ ÖÒ Ø ÓÒ Ð ÓÒ Ö Ò ÓÒ ÓÑÔÙØ Ø ÓÒ Ð Ë Ò Ò ÁØ× ÔÔÐ Ø ÓÒ×¸ Ô × ¼º Á ¸ ¾¼½¼º
¾¼½ Ö Ò Æ Ð× Ò ½ º Ð Ó Ö Ô Ý ½ ¿»½

Ð Ó Ö Ô Ý ÎÁ
ÀÝÔ Ö ÓÐ ÎÓÖÓÒÓ Ö Ñ× Ñ ×Ýº
ÁÒ ÁÒØ ÖÒ Ø ÓÒ Ð ÓÒ Ö Ò ÓÒ ÓÑÔÙØ Ø ÓÒ Ð Ë Ò Ò Ø× ÔÔÐ Ø ÓÒ× ´Á Ë µ¸ ÚÓÐÙÑ ½¸ Ô × ¼¸ ÄÓ×
Ð Ñ ØÓ×¸ ¸ ÍË ¸ Ñ Ö ¾¼½¼º Á ÓÑÔÙØ Ö ËÓ ØÝº
ÐÓ× ¹ ÓÖÑ ÜÔÖ ×× ÓÒ ÓÖ Ø Ë ÖÑ ¹Å ØØ Ð ÒØÖÓÔÝ Ó ÜÔÓÒ ÒØ Ð Ñ Ð ×º
ÂÓÙÖÒ Ð Ó È Ý× × Å Ø Ñ Ø Ð Ò Ì ÓÖ Ø Ð¸ ´¿µ¸ ¾¼½¾º
ÌÓØ Ð Ò× Ò Ú Ö Ò × Ò Ø ÓÒ¸ ÔÖÓÔ ÖØ × Ò ¹Ñ Ò×·· ÐÙ×Ø Ö Ò º
ÓÊÊ¸ ×»½¿¼ º ½¼ ¸ ¾¼½¿º
Î ×Ù Ð Þ Ò ÝÔ Ö ÓÐ ÎÓÖÓÒÓ Ö Ñ×º
ÁÒ ÈÖÓ Ò × Ó Ø Ì ÖØ Ø ÒÒÙ Ð ËÝÑÔÓ× ÙÑ ÓÒ ÓÑÔÙØ Ø ÓÒ Ð ÓÑ ØÖÝ¸ ËÇ ³½ ¸ Ô × ¼ ¼ ¼ ½¸
Æ Û ÓÖ ¸ Æ ¸ ÍË ¸ ¾¼½ º Åº
Î ×Ù Ð Þ Ò ÝÔ Ö ÓÐ ÎÓÖÓÒÓ Ö Ñ×º
ÁÒ ËÝÑÔÓ× ÙÑ ÓÒ ÓÑÔÙØ Ø ÓÒ Ð ÓÑ ØÖÝ¸ Ô ¼¸ ¾¼½ º
ÌÓØ Ð Â Ò× Ò Ú Ö Ò × Ò Ø ÓÒ¸ ÔÖÓÔ ÖØ × Ò ÐÙ×Ø Ö Ò º
ÁÒ Á ÁÒØ ÖÒ Ø ÓÒ Ð ÓÒ Ö Ò ÓÒ ÓÙ×Ø ×¸ ËÔ Ò Ë Ò Ð ÈÖÓ ×× Ò ´Á ËËÈµ¸ ¾¼½ º
Ö Ò Æ Ð× Ò¸ Ê Ö ÆÓ ¸ Ò Ë ÙÒ¹ Ñ Ö º
ÇÒ ÐÙ×Ø Ö Ò ×ØÓ Ö Ñ× Û Ø k¹Ñ Ò× Ý Ù× Ò Ñ Ü α¹ Ú Ö Ò ×º
ÒØÖÓÔÝ¸ ½ ´ µ ¿¾ ¿ ¿¿¼½¸ ¾¼½ º
¾¼½ Ö Ò Æ Ð× Ò ½ º Ð Ó Ö Ô Ý ½ »½

Ð Ó Ö Ô Ý ÎÁÁ
Ö Ò Æ Ð× Ò¸ È ÓÐÓ È ÖÓ¸ Ò Å Ð ÖÐ Ù º
Ö Ñ Ò Ú ÒØ ÔÓ ÒØ ØÖ × ÓÖ ÒØ Ò Ö ×Ø Ò ÓÖ ÕÙ Ö ×º
ÁÒ ÈÖÓ Ò × Ó Ø ¾¼¼ Á ÁÒØ ÖÒ Ø ÓÒ Ð ÓÒ Ö Ò ÓÒ ÅÙÐØ Ñ Ò ÜÔÓ ´Á Å µ¸ Ô × ½¸ ¾¼¼ º
Ê Ö ÆÓ Ò Ö Ò Æ Ð× Òº
ØØ Ò Ø ×Ñ ÐÐ ×Ø Ò ÐÓ× Ò Ö Ñ Ò ÐÐº
ÁÒ Å Ò Ä ÖÒ Ò ¸ ÚÓÐÙÑ ¿ ¾¼ Ó Ä ØÙÖ ÆÓØ × Ò ÓÑÔÙØ Ö Ë Ò ¸ Ô × º ËÔÖ Ò Ö ÖÐ Ò
À Ð Ö ¸ ¾¼¼ º
Ê Ö ÆÓ ¸ Ö Ò Æ Ð× Ò¸ Ò Ë ÙÒ¹ Ñ Ö º
ÇÒ ÓÒ ÓÖÑ Ð Ú Ö Ò × Ò Ø Ö ÔÓÔÙÐ Ø ÓÒ Ñ Ò Ñ Þ Ö×º
ÓÊÊ¸ ×»½¿½½º ½¾ ¸ ¾¼½¿º
º È ØÞ Ò º Ò º
ÁÒØÖÓ Ù Ø ÓÒ ØÓ ÕÙ ÒØÙÑ × Ö Ò ÓÖÑ Ø ÓÒ¸ ÚÓÐÙÑ ¾ º
¾¼½¼º
ÐÝ ÑÔÙ Ê Ö × Ò Ê Óº
ÁÒ ÓÖÑ Ø ÓÒ Ò Ø ÙÖ Ý ØØ Ò Ð Ò Ø ×Ø Ñ Ø ÓÒ Ó ×Ø Ø ×Ø Ð Ô Ö Ñ Ø Ö×º
ÙÐÐ Ø Ò Ó Ø Ð ÙØØ Å Ø Ñ Ø Ð ËÓ ØÝ¸ ¿ ½ ¸ ½ º
ÇÐ Ú Ö Ë Û Ò Ö Ò Ö Ò Æ Ð× Òº
Ä ÖÒ Ò Ñ ÜØÙÖ × Ý × ÑÔÐ Ý Ò ÖÒ Ð Ò× ØÝ ×Ø Ñ ØÓÖ×º
ÁÒ Å ØÖ Ü ÁÒ ÓÖÑ Ø ÓÒ ÓÑ ØÖÝ¸ Ô × ¼¿ ¾ º ËÔÖ Ò Ö¸ ¾¼½¿º
ÁÚÓÖ Ïº Ì× Ò ¸ Ò Ö × ÃÓ ×ÓÖ¸ Ò Â Ñ × Ìº ÃÛÓ º
Ë ÑÔÐ Ö ÓÖ Ú ØÓÖ Ñ Ò × Û Ø Ò ÐÓ× Ò ÐÐ×º
ÁÒ ÈÖÓ Ò × Ó Ø ¾ Ø ÁÒØ ÖÒ Ø ÓÒ Ð ÓÒ Ö Ò ÓÒ Å Ò Ä ÖÒ Ò ´Á ÅÄµ¸ Ô × ½½ ½ ¸ Æ Û ÓÖ ¸
Æ ¸ ÍË ¸ ¾¼¼ º Åº
¾¼½ Ö Ò Æ Ð× Ò ½ º Ð Ó Ö Ô Ý ½ »½

Ð Ó Ö Ô Ý ÎÁÁÁ
Î ÑÙÖ ¸ Å Þ Ù Ä Ù¸ Ë ÙÒ¹ Ñ Ö ¸ Ò Ö Ò Æ Ð× Òº
ÌÓØ Ð Ö Ñ Ò Ú Ö Ò Ò Ø× ÔÔÐ Ø ÓÒ× ØÓ ÌÁ Ò ÐÝ× ×º
Á ÌÖ Ò× Ø ÓÒ× ÓÒ Å Ð ÁÑ Ò ¸ Ô × ¿¸ ¾¼½½º
ÀÙ ÝÙ Ù Ò Ê Ö ÊÓ Û Öº
Å ×ÙÖ Ñ ÒØ× Ó Ò Ö Ð × Ø ÓÒ × ÓÒ Ò ÓÖÑ Ø ÓÒ ÓÑ ØÖÝº
ÁÒ ËØ Ô ÒÏº ÐÐ ÓØØ¸ ÂÓ Ò º Å ×ÓÒ¸ Ò Á ÒÂº Ò Ö×ÓÒ¸ ØÓÖ×¸ Å Ø Ñ Ø × Ó Æ ÙÖ Ð Æ ØÛÓÖ ×¸ ÚÓÐÙÑ
Ó ÇÔ Ö Ø ÓÒ× Ê × Ö » ÓÑÔÙØ Ö Ë Ò ÁÒØ Ö × Ë Ö ×¸ Ô × ¿ ¿ º ËÔÖ Ò Ö ÍË¸ ½ º
¾¼½ Ö Ò Æ Ð× Ò ½ º Ð Ó Ö Ô Ý ½ »½

Computational Information Geometry for Machine Learning

More Related Content

What's hot (20)

Viewers also liked (10)

Computational Information Geometry for Machine Learning