Сергей Николенко, Deloitte Analytics Institute, Высшая Школа Экономики, «От наивного байеса к topic modeling»

От наивного байеса к topic modeling
Тематическое моделирование
Сергей Николенко
DataFest2
, 6 марта 2016 г.
Сергей Николенко Тематическое моделирование

Naive Bayes
pLSA
Outline
1 От наивного байеса к topic modeling
Naive Bayes
pLSA
2 Тематическое моделирование
LDA
Расширения LDA

Naive Bayes
pLSA
Категоризация текстов
Классическая задача машинного обучения и information
retrieval – категоризация текстов.
Дан набор текстов, разделённый на категории. Нужно
обучить модель и потом уметь категоризовать новые
тексты.
Атрибуты w1, w2, . . . , wn – это слова, v – тема текста (или
атрибут вроде «спам / не спам»).
Bag-of-words model: забываем про порядок слов,
составляем словарь. Теперь документ – это вектор,
показывающий, сколько раз каждое слово из словаря в
нём встречается.

Naive Bayes
pLSA
Naive Bayes
Заметим, что даже это – сильно упрощённый взгляд: для
слов ещё довольно-таки важен порядок, в котором они
идут...
Но и это ещё не всё: получается, что
p(w1, w2, . . . , wn|x = v) – это вероятность в точности
такого набора слов в сообщениях на разные темы.
Очевидно, такой статистики взять неоткуда.
Значит, надо дальше делать упрощающие предположения.
Наивный байесовский классификатор – самая простая
такая модель: давайте предположим, что все слова в
словаре условно независимы при условии данной
категории.

Naive Bayes
pLSA
Naive Bayes
Иначе говоря:
p(w1, w2, . . . , wn|x = v) = p(w1|x = v)p(w2|x = v) . . . p(wn|x = v).
Итак, наивный байесовский классификатор выбирает v как
vNB(w1, w2, . . . , wn) = arg maxv∈V p(x = v)
n
i=1
p(wi |x = v).
В парадигме классификации текстов мы предполагаем, что
разные слова в тексте на одну и ту же тему появляются
независимо друг от друга. Однако, несмотря на такие
бредовые предположения, naive Bayes на практике работает
очень даже неплохо (и этому есть разумные объяснения).

Naive Bayes
pLSA
Naive Bayes: графическая модель

Naive Bayes
pLSA
Как можно обобщить наивный байес
В наивном байесе есть два сильно упрощающих дело
предположения:
мы знаем метки тем всех документов;
у каждого документа только одна тема.
Мы сейчас уберём оба эти ограничения.
Во-первых, что можно сделать, если мы не знаем метки
тем, т.е. если датасет неразмеченный?

Naive Bayes
pLSA
Кластеризация
Тогда это превращается в задачу кластеризации.
Её можно решать EM-алгоритмом
(Expectation-Maximization, используется в ситуациях, когда
есть много скрытых переменных, причём если бы мы их
знали, модель стала бы простой):
на E-шаге считаем ожидания того, какой документ какой
теме принадлежит;
на M-шаге пересчитываем наивным байесом вероятности
p(w | t) при фиксированных метках.
Это простое обобщение.

Naive Bayes
pLSA
Как ещё можно обобщить наивный байес
А ещё в наивном байесе у документа только одна тема.
Но это же не так! На самом деле документ говорит о
многих темах (но не слишком многих).
Давайте попробуем это учесть.

Naive Bayes
pLSA
pLSA
Рассмотрим такую модель:
каждое слово в документе d порождается некоторой темой
t ∈ T;
документ порождается некоторым распределением на
темах p(t | d);
слово порождается именно темой, а не документом:
p(w | d, t) = p(w | d);
итого получается такая функция правдоподобия:
p(w | d) =
t∈T
p(w | t)p(t | d).
Эта модель называется probabilistic latent semantic analysis,
pLSA (Hoﬀmann, 1999).

Naive Bayes
pLSA
pLSA: графическая модель документа

Naive Bayes
pLSA
pLSA
EM-алгоритмом. На E-шаге ищем, сколько слов w в
документе d из темы t:
ndwt = ndw p(t | d, w) = ndw
φwtθtd
s∈T φwsθsd
.
А на M-шаге пересчитываем параметры модели:
nwt = d ndwt, nt = w nwt, φwt = nwt
nt
,
ntd = w∈d ndwt, θtd = ntd
nd
.
Вот и весь вывод в pLSA.

Naive Bayes
pLSA
pLSA
Можно даже не хранить всю матрицу ndwt, а двигаться по
документам, каждый раз добавляя ndwt сразу к счётчикам
nwt, ntd .
Чего тут не хватает?
Во-первых, разложение такое, конечно, будет сильно не
единственным.
Во-вторых, параметров очень много, явно будет
оверфиттинг, если корпус не на порядки больше числа тем.
А совсем хорошо было бы получать не просто устойчивое
решение, а обладающее какими-нибудь заданными
хорошими свойствами.
Всё это мы можем решить как?

Naive Bayes
pLSA
pLSA
Правильно, регуляризацией. Есть целая наука о разных
регуляризаторах для pLSA (К.В. Воронцов).
В общем виде так: добавим регуляризаторы Ri в логарифм
правдоподобия:
d∈D w∈d
ndw ln
t∈T
φwtθtd +
i
τi Ri (Φ, Θ).

Naive Bayes
pLSA
pLSA
Тогда в EM-алгоритме на M-шаге появятся частные
производные R:
nwt =
d∈D
ndwt + φwt
∂R
∂φwt
+
,
ntd =
w∈d
ndwt + θtd
∂R
∂θtd
+
Чтобы доказать, EM надо рассмотреть как решение задачи
оптимизации через условия Каруша-Куна-Такера.

Naive Bayes
pLSA
pLSA
И теперь мы можем кучу разных регуляризаторов вставить
в эту модель:
регуляризатор сглаживания (позже, это примерно как
LDA);
регуляризатор разреживания: максимизируем
KL-расстояние между распределениями φwt и θtd и
равномерным распределением;
регуляризатор контрастирования: минимизируем
ковариации между векторами φt, чтобы в каждой теме
выделилось своё лексическое ядро (характерные слова);
регуляризатор когерентности: будем награждать за слова,
которые в документах стоят ближе друг к другу;
и так далее, много всего можно придумать.

LDA
Outline
1 От наивного байеса к topic modeling
Naive Bayes
pLSA
2 Тематическое моделирование
LDA

LDA
LDA
Развитие идей pLSA – LDA (Latent Dirichlet Allocation),
фактически байесовский вариант pLSA.
Задача та же: смоделировать большую коллекцию текстов
(например, для information retrieval или классификации).
У одного документа может быть несколько тем. Давайте
построим иерархическую байесовскую модель:
на первом уровне – смесь, компоненты которой
соответствуют «темам»;
на втором уровне – мультиномиальная переменная с
априорным распределением Дирихле, которое задаёт
«распределение тем» в документе.

LDA
LDA
Если формально: слова берутся из словаря {1, . . . , V };
слово – это вектор w, wi ∈ {0, 1}, где ровно одна
компонента равна 1.
Документ – последовательность из N слов w. Нам дан
корпус из M документов D = {wd | d = 1..M}.
Генеративная модель LDA выглядит так:
выбрать θ ∼ Di(α);
для каждого из N слов wn:
выбрать тему zn ∼ Mult(θ);
выбрать слово wn ∼ p(wn | zn, β) по мультиномиальному
распределению.

LDA
LDA: графическая модель

LDA
LDA: что получается [Blei, 2012]

LDA
LDA: вывод
Два основных подхода к выводу в сложных вероятностных
моделях, в том числе LDA:
вариационные приближения: рассмотрим более простое
семейство распределений с новыми параметрами и найдём
в нём наилучшее приближение к неизвестному
распределению;
сэмплирование: будем набрасывать точки из сложного
распределения, не считая его явно, а запуская марковскую
цепь под графиком распределения (частный случай –
сэмплирование по Гиббсу).
Сэмплирование по Гиббсу обычно проще расширить на
новые модификации LDA, но вариационный подход
быстрее и часто стабильнее.

LDA
Варианты и расширения модели LDA
В последние десять лет эта модель стала основой для
множества различных расширений.
Каждое из этих расширений содержит либо вариационный
алгоритм вывода, либо алгоритм сэмплирования по Гиббсу
для модели, которая, основываясь на LDA, включает в
себя ещё и какую-либо дополнительную информацию или
дополнительные предполагаемые зависимости.
Обычно – или дополнительная структура на темах, или
дополнительная информация.

LDA
Коррелированные тематические модели
В базовой модели LDA распределения слов по темам
независимы и никак не скоррелированы; однако на самом
деле, конечно, некоторые темы ближе друг к другу, многие
темы делят между собой слова.
Коррелированные тематические модели (correlated topic
models, CTM) – меняем априорное распределение на более
выразительное, которое может моделировать корреляции.
Предлагается алгоритм вывода, основанный на
вариационном приближении.

LDA
Марковские тематические модели
Марковские тематические модели (Markov topic models,
MTM): марковские случайные поля для моделирования
взаимоотношений между темами в разных частях датасета
(разных корпусах текстов).
Несколько копий гиперпараметров βi в LDA, описывающих
параметры разных корпусов с одними и теми же темами.
Гиперпараметры βi связаны между собой в марковском
случайном поле (Markov random ﬁeld, MRF).

LDA
Марковские тематические модели
В результате тексты из i-го корпуса
порождаются как в обычном LDA,
используя соответствующее βi .
В свою очередь, βi подчиняются
априорным ограничениям, которые
позволяют «делить» темы между
корпусами, задавать «фоновые»
темы, присутствующие во всех
корпусах, накладывать ограничения
на взаимоотношения между темами
и т.д.

LDA
Реляционная тематическая модель
Реляционная тематическая модель (relational topic model,
RTM) – иерархическая модель, в которой отражён граф
структуры сети документов.
Генеративный процесс в RTM работает так:
сгенерировать документы из обычной модели LDA;
для каждой пары документов d1, d2 выбрать бинарную
переменную y12, отражающую наличие связи между d1 и
d2:
y12 | zd1 , zd2 ∼ ψ(· | zd1 , zd2 , η).
В качестве ψ берутся разные сигмоидальные функции;
разработан алгоритм вывода, основанный на
вариационном приближении.

LDA
Модели, учитывающие время
Ряд важных расширений LDA касается учёта трендов, т.е.
изменений в распределениях тем, происходящих со
временем.
Цель – учёт времени, анализ «горячих» тем, анализ того,
какие темы быстро становятся «горячими» и столь же
быстро затухают, а какие проходят «красной нитью» через
весь исследуемый временной интервал.

LDA
Topics over Time
В модели TOT (Topics over Time) время предполагается
непрерывным, и модель дополняется
бета-распределениями, порождающими временные метки
(timestamps) для каждого слова.
Генеративная модель модели Topics over Time такова:
для каждой темы z = 1..T выбрать мультиномиальное
распределение φz из априорного распределения Дирихле
β;
для каждого документа d выбрать мультиномиальное
распределение θd из априорного распределения Дирихле
α, затем для каждого слова wdi ∈ d:
выбрать тему zdi из θd ;
выбрать слово wdi из распределения φzdi
;
выбрать время tdi из бета-распределения ψzdi
.

LDA
Topics over Time
Основная идея заключается в том, что каждой теме
соответствует её бета-распределение ψz, т.е. каждая тема
локализована во времени (сильнее или слабее, в
зависимости от параметров ψz).
Таким образом можно как обучить глобальные темы,
которые всегда присутствуют, так и подхватить тему,
которая вызвала сильный краткий всплеск, а затем
пропала из виду; разница будет в том, что дисперсия ψz
будет в первом случае меньше, чем во втором.

LDA
Topics over Time

LDA
Динамические тематические модели
Динамические тематические модели представляют
временную эволюцию тем через эволюцию их
гиперпараметров α и/или β.
Бывают дискретные ([d]DTM), в которых время
дискретно, и непрерывные, где эволюция гиперпараметра
β (α здесь предполагается постоянным) моделируется
посредством броуновского движения: для двух документов
i и j (j позже i) верно, что
βj,k,w | βi,k,w , si , sj ∼ N(βi,k,w , v∆si ,sj
),
где si и sj – это отметки времени (timestamps) документов
i и j, ∆(si , sj ) – интервал времени, прошедший между
ними, v – параметр модели.
В остальном генеративный процесс остаётся неизменным.

LDA
Непрерывная динамическая тематическая модель
(cDTM)

LDA
DiscLDA
Дискриминативное LDA (DiscLDA), расширение модели
LDA для документов, снабжённых категориальной
переменной y, которая в дальнейшем станет предметом
для классификации.
Для каждой метки класса y в модели DiscLDA вводится
линейное преобразование Ty : RK → RL
+, которое
преобразует K-мерное распределение Дирихле θ в смесь
L-мерных распределений Дирихле Ty θ.
В генеративной модели меняется только шаг порождения
темы документа z: вместо того чтобы выбирать z по
распределению θ, сгенерированному для данного
документа,
сгенерировать тему z по распределению Ty
θ, где Ty
–
преобразование, соответствующее метке данного
документа y.

LDA
DiscLDA

LDA
TagLDA
TagLDA: слова имеют теги, т.е. документ не является
единым мешком слов, а состоит из нескольких мешков, и в
разных мешках слова отличаются друг от друга.
Например, у страницы может быть название – слова из
названия важнее для определения темы, чем просто из
текста. Или, например, теги к странице, поставленные
человеком – опять же, это слова гораздо более важные,
чем слова из текста.
Математически разница в том, что теперь распределения
слов в темах – это не просто мультиномиальные
дискретные распределения, они факторизованы на
распределение слово-тема и распределение слово-тег.

LDA
TagLDA

LDA
Author-Topic model
Author-Topic modeling: кроме собственно текстов,
присутствуют их авторы.
У автора тоже вводится распределение на темах, на
которые он пишет, и тексты автора будут скорее о более
вероятных для него темах.
Т.е. это всё же скорее об авторах научных статей, чем об
атрибуции текстов (там другие методы).

LDA
Author-Topic model
Базовая генеративная модель
Author-Topic model (остальное
как в базовом LDA):
для каждого слова w:
выбираем автора x для
этого слова из
множества авторов
документа ad ;
выбираем тему из
распределения на темах,
соответствующего
автору x;
выбираем слово из
распределения слов,
соответствующего этой
теме.

LDA
LDA для sentiment analysis
LDA для sentiment analysis: можно ли выделить из,
например, обзоров продуктов разные темы (аспекты):
например, для отеля – место, качество обслуживания, еда,
комнаты и т.п.
К этому ещё добавляется, что разные слова в разных
аспектах могут нести разную нагрузку.
Здесь есть несколько расширений LDA.

LDA
JST
Joint Sentiment-Topic model
(JST):
тема зависит от
сентимента;
сентимент берётся из
распределений сентимента
πd ;
у слов тоже есть метки
сентимента λ;
а слова в документах
зависят от пар
«тема–сентимент».

LDA
ASUM
Aspect and Sentiment Uniﬁcation
Model (ASUM): примерно то
же, что JST, но делим обзор на
предложения и предполагаем,
что одно предложение всегда
говорит об одном аспекте
(SentenceLDA).

LDA
USTM
User-aware Sentiment Topic
Model (USTM): а теперь
добавим данные о конкретном
пользователе, выраженные как
теги документов aj , взятые из
соответствующих
распределений ψd .

LDA
Наши последние результаты
Все эти модели для определения окрашенных слов
модифицируют их априорные распределения β, т.е.
фактически подставляют готовый словарь окрашенных
слов.
Но на практике не всегда словарь по данному аспекту есть,
а когда есть, его всё равно неплохо бы расширить.
Поэтому идея такая:
инициализируем β по имеющемуся словарю;
EM-схема – повторяем до сходимости:
немножко обучаем тематическую модель с
фиксированными β;
переобучаем β по обучившимся темам.

LDA
SVD-LDA
LDA для рекомендательных систем: как нам
рекомендовать тексты?
Можно просто обучить темы и построить «профили
интересов».
Но можно и лучше: можно обучить темы так, чтобы темы
лучше соответствовали тому, что мы хотим рекомендовать.
Это делается при помощи варианта модели Supervised
LDA.

LDA
Supervised LDA
Supervised LDA: документы снабжены дополнительной
информацией, дополнительной переменной отклика
(обычно известной).
Распределение отклика моделируется обобщённой
линейной моделью (распределением из экспоненциального
семейства), параметры которой связаны с полученным в
документе распределением тем.
Т.е. в генеративную модель добавляется ещё один шаг:
после того как темы всех слов известны,
сгенерировать переменную–отклик y ∼ glm(z, η, δ), где z –
распределение тем в документе, а η и δ – другие
параметры glm.
К примеру, в контексте рекомендательных систем
дополнительный отклик может быть реакцией
пользователя.

LDA
SVD-LDA
В качестве связей можно представить себе SVD. Но фактор
получается слишком сложный, для каждого сэмпла нужно бегать по
всему рекомендательному датасету. Мы разработали приближённую
схему сэмплирования.

LDA
TwitterLDA
TwitterLDA – тематическая модель для коротких текстов.
Вряд ли один твит может содержать сразу много разных
тем.
Но при этом у твитов есть авторы, и у авторов-то уже есть
любимые темы.
Поэтому TwitterLDA устроен так:
распределение θ – не у текста, а у автора;
из него сэмплируется тема сразу на весь твит;
и потом из этой темы сэмплируются все слова.
Похоже на SentenceLDA.

LDA
Neural topic models
Совсем недавние работы – как скрестить topic modeling и
deep learning?
Одна идея – изменить понятие темы:
раньше было мультиномиальное распределение, и все
слова были независимы;
теперь пусть будет распределение в семантическом
пространстве word2vec;
в [Sridhar, 2015] тема – это смесь гауссианов в
семантическом пространстве.

LDA
Neural topic models
Другая идея – neural topic models [Cao et al., 2015]:
рассмотрим базовое уравнение тематических моделей
p(w | d) = t p(w | t)p(t | d) = φ(w) θ(d);
и представим φ(w) и θ(d) нейронными сетями:

LDA
Выводы
Тематические модели берут на вход корпус текстов и без
учителя обучают распределения слов в темах и тем в
документах.
Фактически получается сжатое представление матрицы
слова×документы как произведение матриц слова×темы и
темы×документы.
Можно просто обучить стандартный LDA и потом темы
использовать для ваших целей как features, как сжатое
представление текстов.
А можно использовать одно из многочисленных
расширений LDA, которое, теоретически :), должно
работать лучше.

LDA
Thank you!
Thank you for your attention!

Сергей Николенко, Deloitte Analytics Institute, Высшая Школа Экономики, «От наивного байеса к topic modeling»

More Related Content

What's hot (20)

Viewers also liked (20)

Similar to Сергей Николенко, Deloitte Analytics Institute, Высшая Школа Экономики, «От наивного байеса к topic modeling» (6)

More from Mail.ru Group (20)

Сергей Николенко, Deloitte Analytics Institute, Высшая Школа Экономики, «От наивного байеса к topic modeling»