20111202 machine learning_nikolenko_lecture03
0 likes265 views
Документ описывает алгоритмы передачи сообщений и байесовский вывод в графических моделях, сосредоточившись на приближенных методах, таких как sum-product и max-sum. Основное внимание уделяется структуре графов, условной независимости и способам упрощения сложных вероятностных распределений через использование локальных распределений в байесовских сетях. Обсуждаются также задачи нормализации и маргинализации, а также сложности, связанные с решением этих задач.
20111202 machine learning_nikolenko_lecture03
- 1. Алгоритм передачи сообщений Приближённый вывод Графические модели и байесовский вывод на них Сергей Николенко Computer Science Club, Екатеринбург, 2011 Сергей Николенко Графические модели и байесовский вывод на них
- 2. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Outline 1 Алгоритм передачи сообщений Графические модели Sum–product и max–sum 2 Приближённый вывод Сложная структура графа Сложные факторы Сергей Николенко Графические модели и байесовский вывод на них
- 3. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum В чём же проблема В предыдущих лекциях мы рассмотрели задачу байесовского вывода, ввели понятие сопряжённого априорного распределения, поняли, что наша основная задача – найти апостериорное распределение. Но если всё так просто – взяли интеграл, посчитали, всё получилось – о чём же здесь целая наука? Проблема заключается в том, что распределения, которые нас интересуют, обычно слишком сложные (слишком много переменных, сложные связи). Но, с другой стороны, в них есть дополнительная структура, которую можно использовать, структура в виде независимостей и условных независимостей некоторых переменных. Сергей Николенко Графические модели и байесовский вывод на них
- 4. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Графические модели с направленными графами Пример: рассмотрим распределение трёх переменных и запишем его по формуле полной вероятности: p(x, y , z) = p(x | y , z)p(y | z)p(z). Теперь нарисуем граф, в котором стрелки указывают, какие условные вероятности заданы. Пока граф полносвязный, это нам ничего не даёт – любое распределение p(x1 , . . . , xn ) так можно переписать. Но если некоторых связей нет, это даёт нам важную информацию и упрощает жизнь. Сергей Николенко Графические модели и байесовский вывод на них
- 5. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Графические модели с направленными графами Рассмотрим направленный ациклический граф на вершинах x1 , . . . , xk и зададим в каждой вершине распределения p(xi | pa(xi )). Тогда будем говорить, что граф с этими локальными распределениями является графической моделью (байесовской сетью доверия) для совместного распределения вероятностей k p(x1 , . . . , xk ) = p(xi | pa(xi )). i=1 Другими словами, если мы можем разложить большое совместное распределение в произведение локальных распределений, каждое из которых связывает мало переменных, это хорошо. :) Сергей Николенко Графические модели и байесовский вывод на них
- 6. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Графические модели с направленными графами Пример: обучение параметров распределения по нескольким экспериментам (плашки, можно нарисовать параметры явно): n p(x1 , . . . , xn , θ) = p(θ) p(xi | θ). i=1 Что можно сказать о (не)зависимости случайных величин xi и xj ? Задача вывода на графической модели: в некоторой части вершин значения наблюдаются, надо пересчитать распределения в других вершинах (подсчитать условные распределения). Например, из этой модели получатся и задача обучения параметров, и задача последующего предсказания. Сергей Николенко Графические модели и байесовский вывод на них
- 7. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Графические модели с направленными графами d -разделимость – условная независимость, выраженная в структуре графа: последовательная связь, p(x, y , z) = p(x)p(y | x)p(z | y ): если y не наблюдается, то p(x, z) = p(x) p(y | x)p(z | y )dy = p(x)p(z | x); если y наблюдается, то p(x, z | y ) = p(x,y ) = p(x)p(y |x)p(z|y ) = p(x | y )p(z | y ), p(y ,z) p(y ) получили условную независимость. Сергей Николенко Графические модели и байесовский вывод на них
- 8. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Графические модели с направленными графами расходящаяся связь, p(x, y , z) = p(x)p(y | x)p(z | x), – так же: если y не наблюдается, то p(x, z) = p(x)p(z | x) p(y | x)dy = p(x)p(z | x); если y наблюдается, то p(x, z | y ) = p(x,y ) = p(x)p(y |x)p(z|x) = p(x | y )p(z | y ), p(y ,z) p(y ) получили условную независимость. Сергей Николенко Графические модели и байесовский вывод на них
- 9. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Графические модели с направленными графами Интересный случай – сходящаяся связь, p(x, y , z) = p(x)p(y )p(z | x, y ): если z не наблюдается, то p(x, y ) = p(x)p(y ), независимость есть; если z наблюдается, то p(x, y | z) = p(x,y ,z) = p(x)p(y )p(z|x,y ) , и условной p(z) p(z) независимости нету. Обобщение: если наблюдается хотя бы один из потомков z, уже может не быть независимости между x и y . Сергей Николенко Графические модели и байесовский вывод на них
- 10. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Графические модели с направленными графами Можно сформулировать, как структура графа соотносится с условной независимостью: в графе, где вершины из множества Z получили означивания (evidence), две ещё не означенные вершины x и y условно независимы при условии множества означенных вершин Z , если любой (ненаправленный) путь между x и y : либо проходит через означенную вершину z ∈ Z с последовательной или расходящейся связью; либо проходит через вершину со сходящейся связью, в которой ни она, ни её потомки не получили означиваний. Сергей Николенко Графические модели и байесовский вывод на них
- 11. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Графические модели с направленными графами Можно сказать, что граф задаёт некоторое семейство распределений – не все распределения на вершинах графа будут соответствовать тем ограничениям по условной независимости, которые накладывает структура графа. Теорема (без доказательства): это семейство распределений в точности совпадает с семейством тех распределений, которые можно разложить в произведение k p(x1 , . . . , xk ) = p(xi | pa(xi )). i=1 Сергей Николенко Графические модели и байесовский вывод на них
- 12. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Пример байесовской сети Сергей Николенко Графические модели и байесовский вывод на них
- 13. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Markov blanket Интересный вопрос: какие вершины нужно означить, чтобы наверняка отрезать одну вершину (Markov blanket)? Иначе говоря, для какого минимального множества вершин X p(xi | xj=i ) = p(xi | X )? Сергей Николенко Графические модели и байесовский вывод на них
- 14. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Markov blanket Сергей Николенко Графические модели и байесовский вывод на них
- 15. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Графические модели с ненаправленными графами Можно сделать и так, чтобы условие независимости было (более) локальным. Для этого нужно задавать модели ненаправленными графами. В них условие совсем естественное: множество вершин X условно независимо от множества вершин Y при условии множества вершин Z , если любой путь от X к Y проходит через Z . В частности, очевидно, p(xi , xj | xk=i,j ) = p(xi | xk=i,j )p(xj | xk=i,j ) тогда и только тогда, когда xi и xj не соединены ребром. Такие модели называются марковскими сетями (Markov random fields). Сергей Николенко Графические модели и байесовский вывод на них
- 16. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Условная независимость в ненаправленных моделях Сергей Николенко Графические модели и байесовский вывод на них
- 17. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Графические модели с ненаправленными графами Поэтому в ненаправленных моделях локальные распределения соответствуют кликам в графе, и факторизация получается в виде 1 p(x1 , . . . , xk ) = ψC (xC ), Z где C – максимальные клики, ψC – неотрицательные функции (потенциалы), а Z – нормировочная константа (partition function). Поскольку ψC ≥ 0, их обычно представляют как экспоненты: ψC (xC ) = exp (−EC (xC )) , EC – функции энергии, они суммируются в полную энергию системы (это всё похоже на статистическую физику, отсюда и терминология). Сергей Николенко Графические модели и байесовский вывод на них
- 18. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Графические модели с ненаправленными графами Интересный факт: назовём идеальной картой (perfect map) распределения D графическую модель G , если все условные независимости, присутствующие в D, отображены в G , и наоборот (ничего лишнего). Тогда идеальные карты в виде направленных моделей существуют не у всех распределений, в виде ненаправленных тоже не у всех, и эти множества существенно различаются (бывают распределения, которые нельзя идеально выразить направленной моделью, но можно ненаправленной, и наоборот). Сергей Николенко Графические модели и байесовский вывод на них
- 19. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Фактор-графы Важная для вывода модификация – фактор-граф (можно построить и по направленной модели, и по ненаправленной). Фактор-граф – двудольный граф функций и переменных. Функция, соответствующая графу, – произведение всех входящих в него функций (т.е. то самое разложение и есть). Пример: p(x1 , x2 , x3 ) = f1 (x1 )f2 (x2 )f3 (x3 )f4 (x1 , x2 )f5 (x2 , x3 ). Сергей Николенко Графические модели и байесовский вывод на них
- 20. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Три представления Сергей Николенко Графические модели и байесовский вывод на них
- 21. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Функция в общем виде Чтобы поставить задачу в общем виде, рассмотрим функцию m ∗ p (X ) = fj (Xj ), j=1 где X = {xi }n , Xj ⊆ X . i=1 Т.е. мы рассматриваем функцию, которая раскладывается в произведение нескольких других функций. Сергей Николенко Графические модели и байесовский вывод на них
- 22. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Задачи m Задача нормализации: найти Z = X j=1 fj (Xj ). Задача маргинализации: найти pi∗ (xi ) = p ∗ (X ). k=i Также может понадобиться, например, pi1 i2 , но реже. Поиск гипотезы максимального правдоподобия: x∗ = arg maxX p(X ). Сергей Николенко Графические модели и байесовский вывод на них
- 23. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Задачи Все эти задачи NP-трудные. То есть, если мир не рухнет, сложность их решения в худшем случае возрастает экспоненциально. Но можно решить некоторые частные случаи. Сергей Николенко Графические модели и байесовский вывод на них
- 24. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Пример Давайте начнём с графа в виде (ненаправленной) цепи: 1 p(x1 , . . . , xn ) = ψ1,2 (x1 , x2 ) . . . ψn−1,n (xn−1 , xn ). Z Мы хотим найти p(xk ) = ... ... p(x1 , . . . , xn ). x1 xk−1 xk+1 xn Сергей Николенко Графические модели и байесовский вывод на них
- 25. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Пример Очевидно, тут можно много чего упростить; например, справа налево: p(x1 , . . . , xn ) = xn 1 = ψ1,2 (x1 , x2 ) . . . ψn−2,n−1 (xn−2 , xn−1 ) ψn−1,n (xn−1 , xn ). Z xn Эту сумму можно вычислить отдельно и продолжать в том же духе справа налево, потом аналогично слева направо. Сергей Николенко Графические модели и байесовский вывод на них
- 26. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Пример В итоге процесс сойдётся на узле xk , куда придут два сообщения : слева µα (xk ) = ψk−1,k (xk−1 , xk ) . . . ψ2,3 (x2 , x3 ) ψ1,2 (x1 , x2 ) . . . , xk−1 x2 x1 справа µβ (xk ) = ψk,k+1 (xk , xk+1 ) . . . ψn−1,n (xn−1 , xn ) . . . . xk+1 xn Каждую частичную сумму можно рассматривать как сообщение от узла к своему соседу, причём это сообщение – функция от соседа. Сергей Николенко Графические модели и байесовский вывод на них
- 27. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Алгоритм передачи сообщений Чтобы обобщить, удобно рассмотреть опять фактор-граф. Предположим, что фактор-граф – дерево (если не дерево, так просто не сработает). Алгоритм передачи сообщений решает задачу маргинализации для функции вида p(x1 , . . . , xn ) = s fs (Xs ), заданной в виде фактор-графа. Передаём сообщения по направлению к нужному узлу от переменных к функциям и наоборот. Сергей Николенко Графические модели и байесовский вывод на них
- 28. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Передача сообщений Сергей Николенко Графические модели и байесовский вывод на них
- 29. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Алгоритм передачи сообщений Чтобы найти p(xk ), запишем p(x1 , . . . , xn ) = s∈ne(xk ) Fs (xk , Xs ), где Xs – переменные из поддерева с корнем в fs . Тогда p(xk ) = p(x1 , . . . , xn ) = Fs (xk , Xs ) = xi =k s∈ne(xk ) Xs = µfs →xk (xk ), s∈ne(xk ) где µfs →xk (xk ) – сообщения от соседних функций к переменной xk . Сергей Николенко Графические модели и байесовский вывод на них
- 30. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Алгоритм передачи сообщений Чтобы найти µfs →xk (xk ), заметим, что Fs (xk , Xs ) тоже можно разложить по соответствующему подграфу: Fs (xk , Xs ) = fs (xk , Ys ) Gy (y , Xs,y ), y ∈Ys где Ys – переменные, непосредственно связанные с fs (кроме xk ), Xs,y – соответствующие поддеревья. Итого получаем µfs →xk (xk ) = fs (xk , Ys ) Gy (y , Xs,y ) = Ys y ∈Ys Xs,y = fs (xk , Ys ) µy →fs (y ). Ys y ∈Ys Сергей Николенко Графические модели и байесовский вывод на них
- 31. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Алгоритм передачи сообщений Можно аналогично подсчитать, что µy →fs (y ) = f ∈ne(y )fs µf →y (y ). Сергей Николенко Графические модели и байесовский вывод на них
- 32. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Алгоритм передачи сообщений Итак, получился простой и понятный алгоритм: как только узел получил сообщения от всех соседей, кроме одного, он сам начинает передавать сообщение в этого соседа; сообщение по ребру между функцией и переменной является функцией от этой переменной; узел-переменная x передаёт сообщение µx→f (x) = µg →x (x); g ∈ne(x)f узел-функция f (x, Y ) передаёт сообщение µf →x (x) = f (x, Y ) µy →f (y ); y ∈Y y ∈Y начальные сообщения в листьях µx→f (x) = 1, µf →x (x) = f (x). Сергей Николенко Графические модели и байесовский вывод на них
- 33. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Алгоритм передачи сообщений Когда сообщения придут из всех соседей в какую-то переменную xk , можно будет подсчитать p(xk ) = µf →xk (xk ). f ∈ne(xk ) Когда сообщения придут из всех соседей в какой-то фактор fs (Xs ), можно будет подсчитать совместное распределение p(Xs ) = fs (Xs ) µy →fs (y ). y ∈ne(fs ) За два прохода (по каждому ребру туда и обратно) можно будет подсчитать маргиналы во всех узлах. Сергей Николенко Графические модели и байесовский вывод на них
- 34. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Алгоритм передачи сообщений Это называется алгоритм sum-product, потому что сообщение вычисляется как µf →x (x) = f (x, Y ) µy →f (y ). y ∈Y y ∈Y Задача максимизации arg maxx p(x1 , . . . , xn ) решается так же, но алгоритмом max-sum: сумма заменяется на максимум, а произведение на сумму. Сергей Николенко Графические модели и байесовский вывод на них
- 35. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Передача сообщений Сергей Николенко Графические модели и байесовский вывод на них
- 36. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Так что же делать с байесовской сетью? Для модели не в виде фактор-графа надо просто представить её в виде фактор-графа тем или иным способом. Для байесовской сети это значит, что её сначала нужно представить в виде марковской сети, а потом добавить факторы в явном виде. Сергей Николенко Графические модели и байесовский вывод на них
- 37. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Так что же делать с байесовской сетью? Сергей Николенко Графические модели и байесовский вывод на них
- 38. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Так что же делать с байесовской сетью? Сергей Николенко Графические модели и байесовский вывод на них
- 39. Алгоритм передачи сообщений Графические модели Приближённый вывод Sum–product и max–sum Так что же делать с байесовской сетью? Сергей Николенко Графические модели и байесовский вывод на них
- 40. Алгоритм передачи сообщений Сложная структура графа Приближённый вывод Сложные факторы Outline 1 Алгоритм передачи сообщений Графические модели Sum–product и max–sum 2 Приближённый вывод Сложная структура графа Сложные факторы Сергей Николенко Графические модели и байесовский вывод на них
- 41. Алгоритм передачи сообщений Сложная структура графа Приближённый вывод Сложные факторы Приближённый вывод Когда граф – дерево, и в каждом узле всё считается явно и аналитически, можно посчитать быстро и точно. Но что делать, когда зубная щётка недоступна? Могут быть две проблемы: 1 сложная структура графа, с циклами; 2 сложные факторы – результат маргинализации в отдельном узле неудобный. Сергей Николенко Графические модели и байесовский вывод на них
- 42. Алгоритм передачи сообщений Сложная структура графа Приближённый вывод Сложные факторы Суть Sum–product работает корректно, только если граф дерево (ну, разве что скрестить пальцы и помолиться...). Что делать, когда граф содержит циклы? Нужно использовать деревья сочленений. Сергей Николенко Графические модели и байесовский вывод на них
- 43. Алгоритм передачи сообщений Сложная структура графа Приближённый вывод Сложные факторы Деревья сочленений неформально Если цикл не сдаётся, его уничтожают, то есть заменяют весь цикл на одну вершину. Получается дерево, в котором уже можно работать обычным sum–product’ом; но при этом, конечно, замена нескольких вершин одной приводит к экспоненциальному раздуванию соответствующего фактора (множество значений соответствующей переменной должно содержать все комбинации значений исходных переменных). Сергей Николенко Графические модели и байесовский вывод на них
- 44. Алгоритм передачи сообщений Сложная структура графа Приближённый вывод Сложные факторы Другие методы Если цикл всё-таки большой, то есть хороший общий метод, который применяют, когда нельзя применять sum–product. Метод заключается в том, чтобы применять sum–product. :) Он работает довольно часто даже тогда, когда в принципе работать не обязан (когда есть циклы). Сергей Николенко Графические модели и байесовский вывод на них
- 45. Алгоритм передачи сообщений Сложная структура графа Приближённый вывод Сложные факторы Передача сообщений с циклами Сергей Николенко Графические модели и байесовский вывод на них
- 46. Алгоритм передачи сообщений Сложная структура графа Приближённый вывод Сложные факторы Вариационные методы Если факторы простые, а структура сложная, можно приближать сложное распределение более простой формой, разрывая связи в графе: вариационные приближения (из матфизики). Т.е. надо будет выбрать распределение из некоторого более простого семейства, которое лучше всего приближает сложное распределение. Похожесть можно определить по расстоянию Кульбака–Лейблера p(x) d (p, q) = p(x) ln dx. q(x) Сергей Николенко Графические модели и байесовский вывод на них
- 47. Алгоритм передачи сообщений Сложная структура графа Приближённый вывод Сложные факторы Вариационные методы Например: давайте искусственно разорвём связи, оставив только рёбра внутри подмножеств вершин Xi . Иначе говоря, будем предполагать, что любой фактор q(Z ) представляется в виде q(Z ) = qi (Zi ), где Zi = Z ∪ Xi . Затем оптимизируем параметры, минимизируя расстояние между исходным распределением и таким факторизованным; это соответствует методу самосогласованного поля (mean field theory) в физике. Более подробно мы рассматривать вариационные методы сейчас не будем. Сергей Николенко Графические модели и байесовский вывод на них
- 48. Алгоритм передачи сообщений Сложная структура графа Приближённый вывод Сложные факторы Expectation propagation Если структура простая, но сложные факторы (результат не представляется в виде распределения нужной формы), можно его приближать простыми распределениями. Если в нашем факторизованном распределении 1 p(θ | D) = fi (θ) p(D) i слишком сложные факторы fi , мы хотим их заменить на какие-нибудь простые (из экспоненциального семейства, например, гауссианы): 1 q(θ | D) = ^ fi (θ). Z i И тоже минимизировать расстояние Кульбака–Лейблера между p и q. Сергей Николенко Графические модели и байесовский вывод на них
- 49. Алгоритм передачи сообщений Сложная структура графа Приближённый вывод Сложные факторы Expectation propagation Для одного фактора всё это очень просто было бы – посчитать среднее и дисперсию (moment matching). ^ Для многих факторов надо приближать все fi одновременно. Можно доказать (мы не будем), что это можно делать последовательно, приближая фактор за фактором и итерируя, пока Таким образом, алгоритм Expectation Propagation на самом деле очень простой: 1 запустить алгоритм передачи сообщений, но на каждом шаге вместо сообщения µfs →xk (xk ) считать его приближение µfs →xk (xk ) из какого-нибудь простого ^ семейства; 2 повторять передачу сообщений, пока не сойдётся. Сергей Николенко Графические модели и байесовский вывод на них
- 50. Алгоритм передачи сообщений Сложная структура графа Приближённый вывод Сложные факторы Thank you! Спасибо за внимание! Сергей Николенко Графические модели и байесовский вывод на них