20080413 machine learning_nikolenko_lecture09

Ìàðãèíàëèçàöèÿ íà ãðàôå
Ïðèáëèæ¼ííûå ìåòîäû ìàðãèíàëèçàöèè

Ìàðãèíàëèçàöèÿ â îáùåì âèäå

Ñåðãåé Íèêîëåíêî

Machine Learning CS Club, âåñíà 2008

Ñåðãåé Íèêîëåíêî Ìàðãèíàëèçàöèÿ â îáùåì âèäå

Ìàðãèíàëèçàöèÿ íà ãðàôå Ñóòü è ïîñòàíîâêà çàäà÷è
Ïðèáëèæ¼ííûå ìåòîäû ìàðãèíàëèçàöèè Sumproduct è min-sum

Outline

1 Ìàðãèíàëèçàöèÿ íà ãðàôå
Ñóòü è ïîñòàíîâêà çàäà÷è
Sumproduct è min-sum

2 Ïðèáëèæ¼ííûå ìåòîäû ìàðãèíàëèçàöèè
Ìåòîä Ëàïëàñà
Ìàðãèíàëèçàöèÿ ïî Êèêó÷è



Ââåäåíèå

Ìû óæå ìíîãî ëåêöèé ïîäðÿä ðàññìàòðèâàëè çàäà÷è
ìàðãèíàëèçàöèè, ïîòîìó ÷òî îíè ÿâëÿþòñÿ îñíîâíûìè äëÿ
áàéåñîâñêîãî âûâîäà.

Ðàññìàòðèâàëè ìíîãî ÷àñòíûõ ñëó÷àåâ.

Ñåãîäíÿ ìû íàêîíåö-òî îáîáùèì âñ¼ òî, ÷åì çàíèìàëèñü,
äî ïðàêòè÷åñêè ñàìîé îáùåé èç ïðèìåíèìûõ íà ïðàêòèêå
ñèòóàöèé.



Ôóíêöèÿ â îáùåì âèäå

×òîáû ïîñòàâèòü çàäà÷ó â îáùåì âèäå, ðàññìîòðèì
ôóíêöèþ
m
∗
p (X ) = fj (Xj ),
j =1
ãäå X = {xi }n=1 , Xj ⊆ X .
i
Ò.å. ìû ðàññìàòðèâàåì ôóíêöèþ, êîòîðàÿ ðàñêëàäûâàåòñÿ
â ïðîèçâåäåíèå íåñêîëüêèõ äðóãèõ ôóíêöèé.



Íîðìàëèçîâàííàÿ ôóíêöèÿ â îáùåì âèäå

Ìû íàïèñàëè p∗, ïîòîìó ÷òî îáû÷íî, ÷òîáû ïîëó÷èëàñü
âåðîÿòíîñòü, íóæíî åù¼ íîðìàëèçîâàòü:

m
1
p (X ) = fj (Xj ),
Z
j =1
Z = m f (X ).
ãäå X j =1 j j



Ïðèìåð

p ∗ (X ) = f1 (x1 )f2 (x2 )f3 (x3 )f4 (x1 , x2 )f5 (x2 , x3 ),
ãäå

0.05, x1 =0
f1 (x1 ) =
0.95, x1 =1 1, x1 = x2
f4 (x1 x2 ) =
0.05, x2 =0 0, x1 = x2
f2 (x2 ) =
0.95, x2 =1 1, x2 = x3
f5 (x2 x3 ) =
0.95, x3 =0 0, x2 = x3
f3 (x3 ) =
0.05, x3 =1

×òî ýòî çà ôóíêöèÿ? Âñïîìíèòå ïðîøëóþ ëåêöèþ.



Ïðèìåð

Ýòî ôóíêöèÿ àïîñòåðèîðíîé âåðîÿòíîñòè ïîâòîðÿþùåãî
êîäà, åñëè âåðîÿòíîñòü îøèáêè ðàâíà 0.05.

f4 è f5 óòâåðæäàþò, ÷òî èçíà÷àëüíî âñå áèòû áûëè
îäèíàêîâûå, à f1 , f2 è f3 óêàçûâàþò íà âåðîÿòíîñòü îøèáêè.

Çàäà÷è ìû òîæå ôîðìóëèðîâàëè: ýòî áûëè çàäà÷è
ìàðãèíàëèçàöèè â îáùåì è ìàðãèíàëèçàöèè ïîáèòîâîé.

Äàâàéòå èõ îáîáùèì.



Çàäà÷è

Z = m f (X ).
Çàäà÷à íîðìàëèçàöèè: íàéòè X j =1 j j
Çàäà÷à ìàðãèíàëèçàöèè: íàéòè

pi∗ (xi ) = p ∗ (X ).
k =i
Çàäà÷à íîðìàëèçîâàííîé ìàðãèíàëèçàöèè: íàéòè

p (xi ) = p (X ).
k =i
Òàêæå ìîæåò ïîíàäîáèòüñÿ, íàïðèìåð, pi1 i2 , íî ðåæå.



Çàäà÷è

Âñå ýòè çàäà÷è NP-òðóäíûå.

Òî åñòü, åñëè ìèð íå ðóõíåò, ñëîæíîñòü èõ ðåøåíèÿ â
õóäøåì ñëó÷àå âîçðàñòàåò ýêñïîíåíöèàëüíî.

Íî ìîæíî ðåøèòü íåêîòîðûå ÷àñòíûå ñëó÷àè.

Ýòèì ìû è çàéì¼ìñÿ.



Ñòðóêòóðà ãðàôà

Ãðàô ñîñòîèò èç âåðøèí, ñîîòâåòñòâóþùèõ ïåðåìåííûì, è
âåðøèí, ñîîòâåòñòâóþùèõ ôóíêöèÿì.

Ôóíêöèè ñîåäèíåíû ñ ïåðåìåííûìè, êîòîðûõ îíè
îïèñûâàþò.



Ñòðóêòóðà ãðàôà

p ∗ (X ) = f1 (x1 )f2 (x2 )f3 (x3 )f4 (x1 , x2 )f5 (x2 , x3 ).



Èäåÿ àëãîðèòìà

Êàê è ïðåæäå, èäåÿ â òîì, ÷òîáû ïåðåñûëàòü ñîîáùåíèÿ.

Ñîîáùåíèÿ äâóõ âèäîâ: îò ôóíêöèé ê ïåðåìåííûì è îò
ïåðåìåííûõ ê ôóíêöèÿì.



Ñîîáùåíèÿ

Îò ïåðåìåííîé xi ê ôóíêöèè fj :

qi →j (xi ) = rk →i (xi ).
k ∈nei(i )j
Îò ôóíêöèè fj ê ïåðåìåííîé xi :
 

rj →i (xi ) = fj (Xj ) qk →j (xk ) .
Xj xi k ∈nei(j )i



Ñîîáùåíèÿ â ëèñòüÿõ

Îòìåòèì, ÷òî åñëè ó âåðøèíû òîëüêî îäèí ñîñåä, òî å¼
ñîîáùåíèå ìîæíî âû÷èñëèòü, íå çíàÿ âõîäÿùèõ
ñîîáùåíèé.

Ïóñòîå ïðîèçâåäåíèå ðàâíî åäèíèöå.

Ïîýòîìó ôóíêöèÿ fj , çàâèñÿùàÿ òîëüêî îò îäíîé
ïåðåìåííîé xi , ïåðåäà¼ò ñâîåé ïåðåìåííîé rj →i = fj (xi ), à
ïåðåìåííàÿ xi , ó÷àñòâóþùàÿ òîëüêî â îäíîé ôóíêöèè,
ïåðåäà¼ò åé 1.



Ðàáîòà àëãîðèòìà I

Ïðåäïîëîæèì, ÷òî ãðàô äåðåâî.

Òîãäà ìîæíî íà÷àòü ñ ëèñòüåâ è, ïîñòåïåííî âû÷èñëÿÿ
ñîîáùåíèÿ, îáîéòè âñå âåðøèíû.

Ïðè ýòîì ïðèìåíÿåòñÿ ñòàíäàðòíîå ïðàâèëî ïåðåäà÷è
ñîîáùåíèé: ñîîáùåíèå ìîæíî ïåðåäàâàòü, òîëüêî åñëè åãî
ìîæíî ïîëíîñòüþ ïîñòðîèòü.

Çà êîëè÷åñòâî øàãîâ, ðàâíîå äèàìåòðó ãðàôà, ðàáîòà
àëãîðèòìà çàêîí÷èòñÿ.



Ðàáîòà àëãîðèòìà II

×òî äåëàòü, åñëè ãðàô íå äåðåâî, è íå ÿñíî, ñ ÷åãî
íà÷èíàòü?

Âàðèàíò íà÷àòü ñ òîãî, ÷òî âñå ïåðåìåííûå ïåðåäàþò
ñîîáùåíèå 1, à ïîòîì óæå åãî ìîäèôèöèðóþò, êîãäà äî íèõ
äîõîäÿò ñîîáùåíèÿ îò ôóíêöèé.

Òàêîé àëãîðèòì íå âñåãäà ðàáîòàåò ïðàâèëüíî è äåëàåò
ìíîãî ëèøíåãî, íî âñ¼ æå ïîëåçåí íà ïðàêòèêå.

Óïðàæíåíèå. Ïðèâåñòè ïðèìåð, êîãäà àëãîðèòì sumproduct
íà ãðàôå ñ öèêëàìè ðàáîòàåò íåêîððåêòíî.



Ðåçóëüòàò ðàáîòû

Êîãäà ðàññûëêà ñîîáùåíèé çàêîí÷èòñÿ, ìîæíî áóäåò
âû÷èñëèòü ìàðãèíàëû:

pi∗ (xi ) = rj →i (xi ).
j ∈nei(i )
1
ßñíî, ÷òî Z = i pi (xi ),
∗ è p (xi ) = Z pi∗ (xi ).

Óïðàæíåíèå. Äîêàçàòü, ÷òî äåéñòâèòåëüíî ïîëó÷èòñÿ pi∗ (xi ).



Íîðìàëèçàöèÿ on-the-y
Âîçìîæíî, ìû èíòåðåñóåìñÿ òîëüêî íîðìàëèçîâàííûìè
ìàðãèíàëàìè (íàñòîÿùèìè âåðîÿòíîñòÿìè).
Òîãäà ìîæíî ïðîñòî íà êàæäîì øàãå íîðìàëèçîâàòü
ñîîáùåíèÿ îò ïåðåìåííûõ ê ôóíêöèÿì (îò ôóíêöèé ê
ïåðåìåííûì ñîîáùåíèÿ òå æå):

qi →j (xi ) = αij rk →i (xi ),
k ∈nei(i )j
ãäå αij ïîäîáðàíû òàê, ÷òîáû

qi →j (xi ) = 1.
i

Óïðàæíåíèå. Ïîøàãîâî ïðèìåíèòü âûøåîïèñàííûé àëãîðèòì
ê ôóíêöèè èç ïðèìåðà (ôóíêöèè ïðàâäîïîäîáèÿ ïîâòîðÿþùåãî
êîäà).



Ðàçëîæåíèå ôóíêöèè p ∗

×òî òàêîå sumproduct ìàòåìàòè÷åñêè?

Èçíà÷àëüíî áûëî ðàçëîæåíèå

m
p ∗ (X ) = fj (Xj ).
j =1
À ìû ïåðåðàñêëàäûâàåì ôóíêöèþ â ïðîèçâåäåíèå

m n
p ∗ (X ) = φj (Xj ) ψi (xi ),
j =1 i =1
ãäå φj ñîîòâåòñòâóþò óçëàìôóíêöèÿì, à ψi
óçëàìïåðåìåííûì.

Èçíà÷àëüíî, äî ïåðåäà÷è ñîîáùåíèé, φj (Xj ) = fj (Xj ) è
ψi (xi ) = 1.


Ðàçëîæåíèå ôóíêöèè p ∗

Êàæäûé ðàç, êîãäà ïðèõîäèò ñîîáùåíèå rj →i èç ôóíêöèè â
ïåðåìåííóþ, φ è ψ ïåðåñ÷èòûâàþòñÿ:

ψi (xi ) = rj →i (xi ),
j ∈nei(i )
fj (Xj )
φj (Xj ) = .
i ∈nei(j ) rj →i (xi )
Î÷åâèäíî, îáùåå ïðîèçâåäåíèå îò ýòîãî íå ìåíÿåòñÿ.

Óïðàæíåíèå. Äîêàçàòü, ÷òî â ðåçóëüòàòå ýòîãî ïðîöåññà ψi
äåéñòâèòåëüíî ñòàíåò ìàðãèíàëîì
∗ p (xi ). Ýòî äîêàæåò
êîððåêòíîñòü àëãîðèòìà.



Ïîñòàíîâêà çàäà÷è

Ìàðãèíàëèçàöèÿ íå åäèíñòâåííàÿ âîçìîæíàÿ ïîñòàíîâêà
çàäà÷è.

Âîò, íàïðèìåð, çàäà÷à ìàêñèìèçàöèè: íàéòè çíà÷åíèÿ
ïåðåìåííûõ èç X, êîòîðûå ìàêñèìèçèðóþò ôóíêöèþ p∗.
Ìû óæå ðåøàëè å¼ è âèäåëè, êàêèå íóæíû äëÿ ýòîãî
èíñòðóìåíòû.



Îò sumproduct ê maxproduct

Çàäà÷à ìàêñèìèçàöèè p∗ ðåøèòñÿ, åñëè â óçëàõ îïåðàöèþ
ñóììèðîâàíèÿ çàìåíèòü íà max.

Òîãäà íîðìàëèçàöèîííàÿ êîíñòàíòà Z = X p (x )
∗

ïðåâðàòèòñÿ â maxX p (x ), à êàæäûé ìàðãèíàë p (xi )
∗ ∗

ñòàíåò ïîêàçûâàòü ìàêñèìàëüíîå çíà÷åíèå p , êîòîðîãî
∗

ìîæíî äîñòè÷ü â çàâèñèìîñòè îò çíà÷åíèÿ xi ; îòñþäà óæå
òðèâèàëüíî ìîæíî áóäåò íàéòè ìàêñèìèçèðóþùèé íàáîð.



Îò maxproduct ê minsum

Óìíîæàòü äîðîæå, ÷åì ñêëàäûâàòü. Êàê áû íàì íà÷àòü
ñêëàäûâàòü âìåñòî òîãî ÷òîáû óìíîæàòü?



Îò maxproduct ê minsum

Óìíîæàòü äîðîæå, ÷åì ñêëàäûâàòü. Êàê áû íàì íà÷àòü
ñêëàäûâàòü âìåñòî òîãî ÷òîáû óìíîæàòü?

Åñòåñòâåííî, íàäî ëîãàðèôìèðîâàòü (à ïîòîì äîáàâèòü
çíàê ¾ìèíóñ¿); òîãäà èç maxproduct ïîëó÷èòñÿ minsum.
Ìû ýòî óæå ìíîãî ðàç äåëàëè.

Òàêîé àëãîðèòì íàçûâàåòñÿ àëãîðèòìîì Âèòåðáè (Viterbi).



Ñóòü

Sumproduct ðàáîòàåò êîððåêòíî, òîëüêî åñëè ãðàô
äåðåâî (íó, ðàçâå ÷òî ñêðåñòèòü ïàëüöû è ïîìîëèòüñÿ...).

×òî äåëàòü, êîãäà ãðàô ñîäåðæèò öèêëû?

Íóæíî èñïîëüçîâàòü äåðåâüÿ ñî÷ëåíåíèé.



Äåðåâüÿ ñî÷ëåíåíèé íåôîðìàëüíî

Åñëè öèêë íå ñäà¼òñÿ, åãî óíè÷òîæàþò, òî åñòü çàìåíÿþò
âåñü öèêë íà îäíó âåðøèíó.

Ïîëó÷àåòñÿ äåðåâî, â êîòîðîì óæå ìîæíî ðàáîòàòü
îáû÷íûì sumproduct'îì; íî ïðè ýòîì, êîíå÷íî, çàìåíà
íåñêîëüêèõ âåðøèí îäíîé ïðèâîäèò ê å¼
ýêñïîíåíöèàëüíîìó ðàçäóâàíèþ (ìíîæåñòâî çíà÷åíèé
ñîîòâåòñòâóþùåé ïåðåìåííîé äîëæíî ñîäåðæàòü âñå
êîìáèíàöèè çíà÷åíèé èñõîäíûõ ïåðåìåííûõ).

Î òîì, êàê ýòî ñäåëàòü ôîðìàëüíî è ïðàâèëüíî, ìû
ãîâîðèëè íà ëåêöèè ïî áàéåñîâñêèì ñåòÿì.



Äðóãèå ìåòîäû

Åñòü ïðèáëèæ¼ííûå ìåòîäû, ìû ñåé÷àñ ïðèâåä¼ì ïàðó
ïðèìåðîâ.

Íî, êàê ìû óæå âèäåëè, åñòü î÷åíü õîðîøèé ìåòîä
ðàáîòàòü òîãäà, êîãäà íåëüçÿ ïðèìåíÿòü sumproduct.

Ìåòîä çàêëþ÷àåòñÿ â òîì, ÷òîáû ïðèìåíÿòü sumproduct.
:)

Îí ðàáîòàåò äîâîëüíî ÷àñòî äàæå òîãäà, êîãäà â ïðèíöèïå
ðàáîòàòü íå îáÿçàí (êîãäà åñòü öèêëû).


Ìàðãèíàëèçàöèÿ íà ãðàôå Ìåòîä Ëàïëàñà
Ïðèáëèæ¼ííûå ìåòîäû ìàðãèíàëèçàöèè Ìàðãèíàëèçàöèÿ ïî Êèêó÷è

Outline

1 Ìàðãèíàëèçàöèÿ íà ãðàôå
Ñóòü è ïîñòàíîâêà çàäà÷è
Sumproduct è min-sum

2 Ïðèáëèæ¼ííûå ìåòîäû ìàðãèíàëèçàöèè
Ìåòîä Ëàïëàñà
Ìàðãèíàëèçàöèÿ ïî Êèêó÷è



Àïïðîêñèìàöèîííûå ìåòîäû

Êðîìå òî÷íîé ìàðãèíàëèçàöèè, ìîæíî ðàññìàòðèâàòü è
ïðèáëèæ¼ííóþ. Îñîáåííî ýòî âàæíî, êîãäà ðàñïðåäåëåíèÿ
íåïðåðûâíûå òîãäà òî÷íî ìîæåò ïðîñòî âîîáùå íå
ïîëó÷èòüñÿ.

Äëÿ íà÷àëà ðàññìîòðèì ïðîñòåéøèé ìåòîä Ëàïëàñà.

Ýòîò ìåòîä ïðÿìîãî îòíîøåíèÿ ê ìàðãèíàëèçàöèè íå
èìååò ìû ïðîñòî çàìåíèì ñëîæíîå ðàñïðåäåëåíèå íà
ïðîñòîå.



Ñóòü ìåòîäà Ëàïëàñà

Ðàññìîòðèì íåíîðìàëèçîâàííóþ ïëîòíîñòü ðàñïðåäåëåíèÿ
p∗ ñ íîðìàëèçàöèîííîé êîíñòàíòîé Z = p ∗ (x )dx .
Ïðåäïîëîæèì, ÷òî ó p∗ èìååòñÿ ìàêñèìóì â òî÷êå x0 ;
ðàçëîæèì â ðÿä Òåéëîðà ëîãàðèôì p ∗ (x ):
c
ln p
∗
(x ) = ln p ∗ (x0 ) − (x − x0 )2 + . . . ,
2

ãäå
∂2 ∗
c=− ln p (x ) .
∂x 2 x = x0



Ñóòü ìåòîäà Ëàïëàñà

À òåïåðü ïðèáëèçèì p∗ íåíîðìèðîâàííûì ãàóññèàíîì:

c
q ∗ (x ) = p ∗ (x0 )e − 2 (x −x0 ) ,
2

à íîðìàëèçàöèîííóþ êîíñòàíòó ïðèáëèçèì êîíñòàíòîé
ãàóññèàíà:
2π
Zq = p ∗ (x0 ) .
c
Ïîëó÷èòñÿ ãàóññèàí, ëîãàðèôì êîòîðîãî ñîâïàäàåò ñ
ïåðâûìè äâóìÿ ÷ëåíàìè ðÿäà Òåéëîðà ln p .
∗



Îáîáùåíèå ìåòîäà Ëàïëàñà

Ïóñòü òåïåðü p ∗ (x1 , . . . , xk ) ðàáîòàåò â ìíîãîìåðíîì
ïðîñòðàíñòâå.

Òîãäà ïîÿâëÿåòñÿ öåëàÿ ìàòðèöà âòîðûõ ïðîèçâîäíûõ A:

∂2 ∗
Aij = ln p (x ) .
∂xi ∂xj x = x0
À ðÿä Òåéëîðà âûãëÿäèò êàê

(x ) = ln p ∗ (x0 ) − (x − x0 )t A(x − x0 ) + . . . ,
∗ 1
ln p
2

ãäå x è x0 k ìåðíûå âåêòîðû.



Îáîáùåíèå ìåòîäà Ëàïëàñà

Íàêîíåö, íîðìàëèçàöèîííàÿ êîíñòàíòà ãàóññèàíà áóäåò
ðàâíà

(2π)k
Zq = p ∗ (x0 ) .
det A

Óïðàæíåíèå. Äîêàæèòå ýòî.

Òî åñòü ñóòü ìåòîäà Ëàïëàñà ïðîñòî â òîì, ÷òîáû
çàìåíèòü ðàñïðåäåëåíèå ïîõîæèì íà íåãî ãàóññèàíîì.

Âàæíîå çàìå÷àíèå: ÷òîáû ãàóññèàí áûë äåéñòâèòåëüíî
ïîõîæ, íàäî íàéòè ìàêñèìóì. Êàê?



Ïîñòàíîâêà

Íàïîìíèì ïîñòàíîâêó çàäà÷è (÷óòü ñìåíèâ îáîçíà÷åíèÿ).
Ðàññìîòðèì ïåðåìåííûå x = (x0 , . . . , xN −1 ).
Ìíîæåñòâî ïåðåìåííûõ ðàçáèâàåòñÿ íà ðåãèîíû r ⊆ [N ];
ìíîæåñòâî ðåãèîíîâ R.
Ó êàæäîãî ðåãèîíà åñòü ÿäðî αr (xr ), çàâèñÿùåå òîëüêî îò
ïåðåìåííûõ x ∈ r.




Ðàññìîòðèì îáùåå ñîâìåñòíîå ðàñïðåäåëåíèå

1
B (x) = αr (xr ).
Z
r ∈R
Îáîçíà÷èì Bs (xs ) = x[N ]s B (x) ìàðãèíàëû B (x).
Çàäà÷à: íàéòè îäèí èëè íåñêîëüêî ìàðãèíàëîâ Bs (xs )
è/èëè íîðìèðîâî÷íóþ êîíñòàíòó Z.




Ðàññìîòðèì ìíîæåñòâî R è ââåä¼ì íà í¼ì ñòðóêòóðó
÷àñòè÷íî óïîðÿäî÷åííîãî ìíîæåñòâà ïî âêëþ÷åíèþ.

Îáîçíà÷èì:

A(r ) = {s ∈ R |r ⊂ s } (ancestors);
D(r ) = {s ∈ R |s ⊂ r } (descendants);
F(r ) = {s ∈ R |s ⊆ r } (forebears);
P(r ) = {s ∈ R |r s } (parents);
C(r ) = {s ∈ R |s r } (children).
Àðãóìåíòîì ìîæåò áûòü íå îáÿçàòåëüíî ðåãèîí èç R, íî â
ðåçóëüòàòå ïîëó÷àåòñÿ íàáîð ðåãèîíîâ èç R.



Ñòàòèñòè÷åñêàÿ ôèçèêà

È ñíîâà âñïîìíèì ñòàòèñòè÷åñêóþ ôèçèêó.

x ýòî òèïà ñïèí i -é ÷àñòèöû â ñèñòåìå èç N ÷àñòèö.

Îáîçíà÷èì b(x) ðàñïðåäåëåíèå âåðîÿòíîñòåé íà
êîíôèãóðàöèÿõ ñïèíîâ.

Ðàññìîòðèì íåêîòîðóþ R -ðàñêëàäûâàåìóþ ôóíêöèþ
ýíåðãèè:
E (x) = Er (xr ).
r ∈R




Ìîæíî îïðåäåëèòü âàðèàöèîííóþ ñâîáîäíóþ ýíåðãèþ (ïî
Ãåëüìãîëüöó):

F (b(x)) = U (b(x)) − H (b(x)),

ãäå U (b(x)) = x b (x)E (x ) ñðåäíÿÿ ýíåðãèÿ,
H (b(x)) = − x b (x) log b (x) ýíòðîïèÿ ñèñòåìû.
Êàê ñâÿçàòü ýòó ïîñòàíîâêó ñ íàøåé, ãäå íóæíî
ìàðãèíàëèçîâàòü ïåðåìåííûå èç ïðîèçâåäåíèÿ?




Ïîëîæèì Er (xr ) = − log αr (xr ). Òîãäà

E (x) = Er (xr ) = − log α r (xr ) =
r ∈R r ∈R
1
= − log( αr (xr )) − log(Z ) = − log(B (x)) − log(Z ).
Z
r ∈R




Òîãäà âàðèàöèîííàÿ ñâîáîäíàÿ ýíåðãèÿ áóäåò ðàâíà

F (b) = b(x) (− log(B (x)) − log(Z ))+ b(x) log b(x) =
x x
b(x)
= b(x) log − log(Z ) = DKL (b, B ) − log(Z ),
x
B (x)

ãäå DKL (b, B ) ðàññòîÿíèå ÊóëüáàêàËÿéáëåðà
(îòíîñèòåëüíàÿ ýíòðîïèÿ).




KullbackLeibler distance (divergence) ýòî
èíôîðìàöèîííî-òåîðåòè÷åñêàÿ ìåðà òîãî, íàñêîëüêî
äàëåêè ðàñïðåäåëåíèÿ äðóã îò äðóãà.

p (x )
DKL (p , q ) = p (x ) log = H (p ) − H (p , q ).
x q (x )

Åãî åù¼ íàçûâàþò îòíîñèòåëüíîé ýíòðîïèåé.
Èçâåñòíî, ÷òî ýòî ðàññòîÿíèå âñåãäà íåîòðèöàòåëüíî,
ðàâíî íóëþ i p ≡ q.




Çà÷åì ýòî âñ¼ íóæíî? Òåïåðü îêàçàëîñü, ÷òî ó F (b) îäèí
ãëîáàëüíûé ìèíèìóì, êîãäà b = B, è ïðè ýòîì
F0 = − log Z .
Åñëè ìû ðåøèì ýòó çàäà÷ó îïòèìèçàöèè, ìû óçíàåì Z èç
çíà÷åíèÿ ôóíêöèè.

À åñëè ìû ñìîæåì âûðàçèòü F ÷åðåç br (xr ), òî argmin â
ýòîé çàäà÷å îïòèìèçàöèè äàñò íàì ìàðãèíàëüíûå
ðàñïðåäåëåíèÿ.

Îñòàëîñü âûðàçèòü.



Ïðèáëèæåíèå ýíòðîïèè

Ìû õîòèì âûðàçèòü F (b(x)) = U (b(x)) − H (b(x)) ÷åðåç
br (xr ).
Ñî ñðåäíåé ýíåðãèåé äåëî ïðîñòîå, âåäü ýíåðãèÿ è òàê óæå
ðàçëîæåíà:
E (x) = Er (xr ), è
r ∈R
U (b(x)) = br (xr )Er (xr ).
r ∈R xr
À âîò ñ ýíòðîïèåé âñ¼ íå òàê ïðîñòî.




Âîîáùå ãîâîðÿ, H (b(x)) íå ðàñêëàäûâàåòñÿ ïî br (xr ).
Èäåÿ ïðèáëèæåíèÿ Êèêó÷è:

H (b(x)) ≈ kr Hr (br (xr )), ãäå
r ∈R

Hr (br (xr )) = − br (xr ) log br (xr ).
xr

Âîïðîñ: êàêèìè äîëæíû áûòü êîíñòàíòû kr ?




Ðàçóìíî ïîòðåáîâàòü, ÷òîáû òàì, ãäå ìîæíî îæèäàòü
òî÷íîãî îòâåòà, ïðèáëèæåíèå ìîãëî áûòü òî÷íûì.

Òî åñòü ÷òîáû ýòà âçâåøåííàÿ ñóììà ìîãëà äàâàòü òî÷íîå
1
çíà÷åíèå ýíòðîïèè òîãäà, êîãäà b(x) = Z r ∈R αr (xr ), äëÿ
âñÿêèõ αr , r ∈ R .
Ìîãëà äàâàòü ïîòîìó ÷òî âñ¼ ðàâíî íå âñåãäà, à òîëüêî
åñëè ãðàô íàøåãî ÷óìà áóäåò áåç íåíàïðàâëåííûõ öèêëîâ.

Íî ýòèì ìû ñåé÷àñ íå áóäåì çàíèìàòüñÿ; è äîêàçûâàòü
ïðàâèëüíûé îòâåò íå áóäåì.




Îòâåò: êîýôôèöèåíòû kr íóæíî áðàòü ðàâíûìè ôóíêöèè
Ì¼áèóñà íà ÷óìå R ∪ {[N ]}:

kr = −µ(r , [N ]).

Îíè òîãäà áóäóò îäíîçíà÷íî îïðåäåëÿòüñÿ ôîðìóëîé
îáðàùåíèÿ Ì¼áèóñà:

kr = 1 − ks .
s ∈A(r )
×òî âû çíàåòå î ôóíêöèè Ì¼áèóñà?



Ôóíêöèÿ Ì¼áèóñà

Âîçìîæíî, âû çíàåòå ôóíêöèþ Ì¼áèóñà íà íàòóðàëüíûõ
÷èñëàõ: 
1,
 n = p1 . . . p2l ,

µ(n) = −1, n = p1 . . . p2l +1 ,


0, p 2 | n.
Ôóíêöèÿ ñàìà ïî ñåáå î÷åíü èíòåðåñíàÿ, ñî ìíîãèìè
èíòåðåñíûìè ñâîéñòâàìè è ïðèìåíåíèÿìè.




Ãëàâíîå ñâîéñòâî ôîðìóëà îáðàùåíèÿ Ì¼áèóñà: äëÿ
àðèôìåòè÷åñêèõ ôóíêöèé f è g
n
g (n) = f (d ) ⇔ f (n) = µ( )g (d ).
d
d |n d |n
Ôóíêöèÿ Ì¼áèóñà ïîçâîëÿåò îáðàòèòü ñóììó ïî
äåëèòåëÿì. Ìîæíî è íå îáÿçàòåëüíî â öåëûõ ÷èñëàõ:

x x
g (n) = f( ) ⇔ f (x ) = µ(n)g ( ).
n n
n ≤x n ≤x




Ïðèìåíåíèå â ôèçèêå: ðàññìîòðèì ìîäåëü ñâîáîäíîãî
ðèìàíîâà ãàçà (ãäå ÷àñòèöû íå âçàèìîäåéñòâóþò).

Â íåé ôóíäàìåíòàëüíûå ÷àñòèöû (ïðèìîíû) èìåþò
ýíåðãèè log p äëÿ ïðîñòûõ ÷èñåë p.
À îáùèé ãàìèëüòîíèàí ñèñòåìû îïðåäåëÿåòñÿ öåëûì
÷èñëîì:

|n = |p1 , p2 , p3 , . . . = |p1 |p2 |p3 . . .

ò.ê. ÷àñòèöû íå âçàèìîäåéñòâóþò. Ñóììàðíàÿ ýíåðãèÿ
ðàâíà ñóììå ëîãàðèôìîâ.




Òàê âîò, ýòî âñ¼ ðàçóìíî, åñëè ÷àñòèöû ÿâëÿþòñÿ
áîçîíàìè (÷àñòèöàìè ñ öåëûì ñïèíîì: ôîòîí, ìåçîíû).

À åñëè ìû õîòèì ðàññìîòðåòü ãàç èç ôåðìèîíîâ (÷àñòèö ñ
ïîëîâèííûì ñïèíîì: ïðîòîíû, ýëåêòðîíû), òî âîçíèêàåò
ïðèíöèï Ïàóëè: äâà òîæäåñòâåííûõ ôåðìèîíà íå ìîãóò
íàõîäèòüñÿ â îäíîì êâàíòîâîì ñîñòîÿíèè.

Î ÷¼ì ýòî ãîâîðèò? Ïðàâèëüíî, î òîì, ÷òî â ðàçëîæåíèè
öåëîãî ÷èñëà çàïðåùàþòñÿ êâàäðàòû ïðîñòûõ.

Îïåðàòîð, êîòîðûé ðàçäåëÿåò áîçîíû è ôåðìèîíû êàê
ðàç ôóíêöèÿ Ì¼áèóñà.




Êñòàòè, ýòà ìîäåëü ðèìàíîâà ãàçà âîîáùå î÷åíü èíòåðåñíà
ìàòåìàòè÷åñêè.

Ïîìíèòå íîðìèðîâî÷íóþ êîíñòàíòó Z? Îíà â ôèçèêå
íàçûâàåòñÿ ñòàòèñòè÷åñêîé ñóììîé (partition function) è
èãðàåò âàæíóþ ðîëü, ÷åðåç íå¼ âûðàæàþòñÿ
òåðìîäèíàìè÷åñêèå ïàðàìåòðû âñÿêèå.

À â ìîäåëè ðèìàíîâà ãàçà Z áóäåò â òî÷íîñòè
äçåòà-ôóíêöèåé Ðèìàíà...

Íî âåðí¼ìñÿ ê ôóíêöèè Ì¼áèóñà.




Îáîáùèì ôóíêöèþ Ì¼áèóñà ñ öåëûõ ÷èñåë.

Äëÿ âñÿêîãî ëîêàëüíî êîíå÷íîãî ÷óìà è êîììóòàòèâíîãî
êîëüöà ñ åäèíèöåé R ìîæíî îïðåäåëèòü àëãåáðó
èíöèäåíòíîñòè.
Å¼ ýëåìåíòû ôóíêöèè f , êîòîðûå äåéñòâóþò íà
ìíîæåñòâå èíòåðâàëîâ: f ([a, b]) ∈ R .
Ñëîæåíèå è óìíîæåíèå íà ñêàëÿð áóäóò ïîêîìïîíåíòíûìè,
óìíîæåíèå ôóíêöèé ñâ¼ðòêà

(f ∗ g )(a, b) = f (a, x )g (x , b).
a ≤x ≤b
Êàêàÿ áóäåò åäèíèöà â ýòîé àëãåáðå?




Åäèíèöà ýòî äåëüòà-ôóíêöèÿ:

1, a = b,
δ(a, b) =
0, a b.

Åù¼ îäíà èíòåðåñíàÿ ôóíêöèÿ äçåòà-ôóíêöèÿ
ζ(a, b) = 1 (ò.å. êîíñòàíòà).

Óìíîæåíèå íà ζ ýòî âðîäå èíòåãðèðîâàíèÿ.




ζ,
Òàê âîò, îêàçûâàåòñÿ, ìîæíî îáðàòèòü. Îáðàòíàÿ ê
ôóíêöèè ζ ýòî è åñòü ôóíêöèÿ Ì¼áèóñà µ.
Êëàññè÷åñêàÿ ôóíêöèÿ Ì¼áèóñà íà ÷èñëàõ ïîëó÷àåòñÿ,
åñëè ðàññìîòðåòü ÷óì íàòóðàëüíûõ ÷èñåë, óïîðÿäî÷åííûõ
ïî äåëèìîñòè.

Óïðàæíåíèå. Ïðîâåðüòå!




À åñëè âçÿòü íàòóðàëüíûå ÷èñëà ñ íîðìàëüíûì ïîðÿäêîì,
ïîëó÷èòñÿ ðàçíîñòíûé îïåðàòîð ∆:

1,
 y − x = 0,

µ(x , y ) = − 1, y − x = 1,


0, y − x 1.

Êàê âèäèòå, ôóíêöèÿ Ì¼áèóñà ýòî äåéñòâèòåëüíî âðîäå
äèôôåðåíöèðîâàíèÿ.




À åñëè ó ôóíêöèé ïðèðàâíÿòü çíà÷åíèÿ
f (a, b) = f (a + c , b + c ), îñòàíóòñÿ ïîñëåäîâàòåëüíîñòè
ýëåìåíòîâ R.
È ïîëó÷èòñÿ êîëüöî ôîðìàëüíûõ ñòåïåííûõ ðÿäîâ ñ
êîýôôèöèåíòàìè èç R (ñâ¼ðòêà äâóõ ôóíêöèé â
òî÷íîñòè ïðîèçâåäåíèå ðÿäîâ).

Ïðè òàêîì ïîäõîäå δ ýòî ôîðìàëüíûé ðÿä (1, 0, 0, . . .),
ò.å. 1 (δ(a, b ) =1 i a = b ).

ζ ýòî ôîðìàëüíûé ðÿä (1, 1, 1, . . .), ò.å.
1 +x + x2 + x3 + . . ..




Íî ìû æå âñå óìååì îáðàùàòü òàêîé ðÿä:
1
1 + x + x2 + . . . = 1−x .
Ò.å. µ ýòî ðÿä âèäà (1, −1, 0, 0, . . .) ðîâíî òàê, êàê
ïîëó÷àëîñü äâà ñëàéäà íàçàä.

Âîò òàêàÿ ÷óäåñíàÿ ôóíêöèÿ Ì¼áèóñà.




Íî íàì íóæåí íåìíîæêî äðóãîé ïðèìåð áóëåâà àëãåáðà
ïîäìíîæåñòâ íåêîòîðîãî ìíîæåñòâà X.
Òîãäà (äîêàçûâàòü íå áóäåì) ôóíêöèÿ Ì¼áèóñà
µ(T , S ) = (−1)S T .
Ýòî íàçûâàåòñÿ ïðèíöèï âêëþ÷åíèÿèñêëþ÷åíèÿ:

g (S ) = f (T ) ⇔ f (S ) = (−1)S T g (T ).
T ⊆S T ⊆S
Ïðèìåðíî òàêîé áóäåò è ôóíêöèÿ Ì¼áèóñà íà íàøåì ÷óìå
èç ðåãèîíîâ.

Âñ¼, ëèðè÷åñêîå îòñòóïëåíèå çàêîí÷èëîñü.



Àïïðîêñèìàöèÿ ïî Êèêó÷è

Âåðí¼ìñÿ ê íàøèì ìàðãèíàëèçàöèÿì.

Èòàê, ìû ïðèáëèçèëè ýíòðîïèþ:

H (b(x)) ≈ kr Hr (br (xr )).
r ∈R
×òî äàëüøå?




Îïðåäåëèì ∆R ñåìåéñòâî R -ìàðãèíàëîâ âñåõ
âåðîÿòíîñòíûõ ðàñïðåäåëåíèé.

Ò.å. {br (xr )} ∈ ∆R i {br (xr )} ÿâëÿþòñÿ ìàðãèíàëüíûìè
ðàñïðåäåëåíèÿìè íåêîòîðîãî b(x).
Âñïîìíèì çàäà÷ó ìèíèìèçàöèè:

F0 = min F (b(x)) = F (B (x)) = − log Z .
b(x)




Òåïåðü å¼ ìîæíî ïåðåïèñàòü êàê

F0 = min FR ({br (xr )}),
{br (xr )}∈∆R

∗
{br (xr )} = argmin{br (xr )}∈∆R FR ({br (xr )}), ãäå

FR ({br (xr )}) = min F (b(x)).
b(x):{br } ìàðãèíàëû b
Òåïåðü äàâàéòå âñ¼ ñâåä¼ì âîåäèíî.




Ïîëó÷èëàñü çàäà÷à ìèíèìèçàöèè

∗ K
{Br (xr )} ≈ {br (xr )} = argmin{br (xr )}∈∆K FR ({br (xr )}), ãäå
R
K
FR ({br (xr )}) = br (xr )Er (xr )+ kr br (xr ) log(br (xr )),
r ∈R xr r ∈R xr

∆K = {{br (xr ), r ∈ R } :
R
∀t , u ∈ R , t ⊂ u , bu (xu ) = bt (xt ),
xu t

∀u ∈ R , bu (xu ) = 1}.
xu




K
FR ∆K
Òî åñòü çàäà÷à ìèíèìèçàöèè ïðè îãðàíè÷åíèÿõ R
(êîòîðûå çàäàþò ñîâìåñòèìîñòü br ).
K
FR íàçûâàåòñÿ ñâîáîäíîé ýíåðãèåé Êèêó÷è.
Çàäà÷ îñòàëîñü äâå: êàê-íèáóäü ïîñòàðàòüñÿ ñäåëàòü òàê,
÷òîáû
K
FR áûëî êàê ìîæíî áîëüøå ïîõîæå íà F, è ÷òîáû
∆K
R áûëî ïîõîæå íà ∆R .
Çà ñ÷¼ò ÷åãî? Âðîäå áû íå îñòàëîñü ñòåïåíåé ñâîáîäû.




Íà ñàìîì äåëå íåìíîæêî åù¼ îñòàëîñü. Äàâàéòå
ðàññìîòðèì ìíîæåñòâî ðåãèîíîâ R0 (èñõîäíîå) è ÿäåð
α0 (xr ), r ∈ R 0 .
r
Ìû áû õîòåëè ðåøèòü çàäà÷ó ìàðãèíàëèçàöèè äëÿ R0 è
{α0 }.
r
Ââåä¼ì íîâîå ìíîæåñòâî ðåãèîíîâ R òàê, ÷òîáû

∀r ∈ R 0 ∃r ∈ R r ⊇ r.




Ìû òîãäà ñìîæåì ïîñòðîèòü íîâîå ìíîæåñòâî ÿäåð
{αr (xr ), r ∈ R } òàê, ÷òîáû

0
− log(α r (xr )) = − log(α r (xr )) = E (x).
r ∈R r ∈R 0
È åñëè ìû òåïåðü îïðåäåëèì βr = s ⊂r αs (xs ), òî

0 kr
B (x) = r ∈R 0 αr (xr ) = r ∈R αr (xr ) = r ∈R βr (xr ) ,
Z Z Z
ïîòîìó ÷òî r ⊂s kr = 1 äëÿ âñåõ s ∈ R.




Òî åñòü ìû ìîæåì ìîäèôèöèðîâàòü íàáîð ðåãèîíîâ, íà
êîòîðîì ïðîâîäèì îïòèìèçàöèþ.

Îò ýòîãî ìîæåò èçìåíèòüñÿ êà÷åñòâî ïðèáëèæåíèÿ,
õîòåëîñü áû îïòèìèçèðîâàòü.

Íî ýòè çàäà÷è ìû ðåøàòü ñåé÷àñ íå áóäåì.



Ñïàñèáî çà âíèìàíèå!

Lecture notes è ñëàéäû áóäóò ïîÿâëÿòüñÿ íà ìîåé
homepage:
http://logic.pdmi.ras.ru/∼sergey/index.php?page=teaching
Ïðèñûëàéòå ëþáûå çàìå÷àíèÿ, ðåøåíèÿ óïðàæíåíèé,
íîâûå ÷èñëåííûå ïðèìåðû è ïðî÷åå ïî àäðåñàì:
sergey@logic.pdmi.ras.ru, snikolenko@gmail.com
Çàõîäèòå â ÆÆ smartnik.


20080413 machine learning_nikolenko_lecture09

More Related Content

What's hot (13)

Viewers also liked (20)

More from Computer Science Club (20)

20080413 machine learning_nikolenko_lecture09