Sem01 naivebayes

Наивный Байесовский классификатор
Александр Сизов, Сергей Николенко
1/41 Александр Сизов, Сергей Николенко Наивный Байесовский классификатор

Naive Bayes
Outline
1 Naive Bayes
2 Multinomial vs. multivariate
Многомерная модель
Мультиномиальная модель
Сравнение моделей
3 Semi-Naive Bayes
Методы, модифицирующие атрибуты
Методы с зависимыми атрибутами
4 Насколько хорош Naive Bayes

Naive Bayes
Классификация
В машинном обучении под классификацией понимают
задачу определения категории, к которой принадлежит
ранее не встречавшийся образец, на основании
обучающего множества, для элементов которого эти
категории известны. Это является примером обучения с
учителем (supervised learning).
Существует множество подходов к классификации: деревья
принятия решений, нейронные сети, вероятностные методы
и т.д.

Naive Bayes
Вывод формул
Дано:
Каждый пример x принимает значения из множества V и
описывается атрибутами a1, a2, . . . , an .
Нужно найти наиболее вероятное значение данного
атрибута, т.е.
vMAP = arg maxv∈V p(x = v|a1, a2, . . . , an).
По теореме Байеса,
vMAP = arg maxv∈V
p(a1, a2, . . . , an|x = v)p(x = v)
p(a1, a2, . . . , an)
=
= arg maxv∈V p(a1, a2, . . . , an|x = v)p(x = v).

Naive Bayes
vMAP = arg maxv∈V
p(a1, a2, . . . , an|x = v)p(x = v)
p(a1, a2, . . . , an)
=
Оценить p(x = v) легко: будем оценивать частоту его
встречаемости.
Но оценить разные p(a1, a2, . . . , an|x = v) не получится —
их слишком много; нам нужно каждый случай уже
пронаблюдать несколько раз, чтобы получилось как надо.

Naive Bayes
vMAP = arg maxv∈V
p(a1, a2, . . . , an|x = v)p(x = v)
p(a1, a2, . . . , an)
=
Пример: классификация текстов.
Атрибуты a1, a2, . . . , an – это слова, v – тема текста (или
атрибут вроде «спам / не спам»).
Тогда p(a1, a2, . . . , an|x = v) – это вероятность в точности
такого набора слов в сообщениях на разные темы.
Очевидно, такой статистики взять неоткуда.
Заметим, что даже это – сильно упрощённый взгляд: для
слов ещё важен порядок, в котором они идут...

Naive Bayes
vMAP = arg maxv∈V
p(a1, a2, . . . , an|x = v)p(x = v)
p(a1, a2, . . . , an)
=
Поэтому давайте предположим условную независимость
атрибутов при условии данного значения целевой
функции. Иначе говоря:
p(a1, a2, . . . , an|x = v) = p(a1|x = v)p(a2|x = v) . . . p(an|x = v).

Naive Bayes
vMAP = arg maxv∈V
p(a1, a2, . . . , an|x = v)p(x = v)
p(a1, a2, . . . , an)
=
Итак, наивный байесовский классификатор выбирает v как
vNB(a1, a2, . . . , an) = arg maxv∈V p(x = v)
n
i=1
p(ai|x = v).
За счет предположения независимости параметры каждого
атрибута могут быть обучены отдельно, и это значительно
упрощает обучение. Особенно когда количество атрибутов
велико. Например, в классификации текстов.
В парадигме классификации текстов мы предполагаем,
что разные слова в тексте на одну и ту же тему
появляются независимо друг от друга.

Multinomial vs. multivariate
Outline
1 Naive Bayes
3 Semi-Naive Bayes

Multinomial vs. multivariate
Два подхода
В деталях реализации наивного байесовского
классификатора прячется небольшой дьяволёнок.
Сейчас мы рассмотрим два разных подхода к naive Bayes,
которые дают разные результаты: мультиномиальный
(multinomial) и многомерный (multivariate).
Разница особенно отчётливо проявляется в классификации
текстов. Она заключается в том, как именно порождается
документ (это называется генеративной моделью).
В дальнейшем мы будем использовать терминологию из
мира текстов и документов.

Multinomial vs. multivariate Многомерная модель
В многомерной модели документ – это вектор бинарных
атрибутов, показывающих, встретилось ли в документе то
или иное слово.
Когда мы подсчитываем правдоподобие документа, мы
перемножаем вероятности того, что встретилось каждое
слово из документа и вероятности того, что не встретилось
каждое (словарное) слово, которое не встретилось.
Получается модель многомерных испытаний Бернулли.
Наивное предположение в том, что события «встретилось
ли слово» предполагаются независимыми.
Для применения требуется зафиксировать словарь, а
количество повторений каждого слова теряется.

Математически: пусть V = {wt}
|V |
t=1 – словарь. Тогда
документ di – это вектор длины |V |, состоящий из битов
Bit; Bit = 1 iﬀ слово wt встречается в документе di.
Правдоподобие принадлежности di классу cj:
p(di | cj) =
|V |
t=1
(Bitp(wt | cj) + (1 − Bit)(1 − p(wt | cj))) .
Для обучения такого классификатора нужно обучить
вероятности p(wt | cj).

Обучение – дело нехитрое: пусть дан набор документов
D = {di}
|D|
i=1, которые уже распределены по классам cj
(возможно, даже вероятностно распределены), дан словарь
V = {wt}
|V |
t=1, и мы знаем биты Bit (знаем документы).
Тогда можно подсчитать оптимальные оценки
вероятностей того, что то или иное слово встречается в
том или ином классе (при помощи лапласовой оценки):
p(wt | cj) =
1 +
|D|
i=1 Bitp(cj | di)
2 +
|D|
i=1 p(cj | di)
.

Априорные вероятности классов можно подсчитать как
p(cj) = 1
|D|
|D|
i=1 p(cj | di).
Тогда классификация будет происходить как
c = arg maxjp(cj)p(di | cj) =
= arg maxj

 1
|D|
|D|
i=1
p(cj | di)


|V |
t=1
(Bitp(wt | cj) + (1 − Bit)(1 − p(wt | cj))) =
= arg maxj

log(
|D|
i=1
p(cj | di)) +
|V |
t=1
log (Bitp(wt | cj) + (1 − Bit)(1 − p(wt | cj)))



Multinomial vs. multivariate Мультиномиальная модель
В мультиномиальной модели документ – это
последовательность событий. Каждое событие – это
случайный выбор одного слова из того самого «bag of
words».
Когда мы подсчитываем правдоподобие документа, мы
перемножаем вероятности того, что мы достали из мешка
те самые слова, которые встретились в документе.
Наивное предположение в том, что мы достаём из мешка
разные слова независимо друг от друга.
Получается мультиномиальная генеративная модель,
которая учитывает количество повторений каждого слова,
но не учитывает, каких слов нет в документе.

Математически: пусть V = {wt}
|V |
t=1 – словарь. Тогда
документ di – это вектор длины |di|, состоящий из слов,
каждое из которых «вынуто» из словаря с вероятностью
p(wt | cj).
Правдоподобие принадлежности di классу cj:
p(di | cj) = p(|di|)|di|!
|V |
t=1
1
Nit!
p(wt | cj)Nit
,
где Nit – количество вхождений wt в di.
Для обучения такого классификатора тоже нужно обучить
вероятности p(wt | cj).

Обучение: пусть дан набор документов D = {di}
|D|
i=1,
которые уже распределены по классам cj (возможно, даже
вероятностно распределены), дан словарь V = {wt}
|V |
t=1, и
мы знаем вхождения Nit.
Тогда можно подсчитать оптимальные оценки
вероятностей того, что то или иное слово встречается в
том или ином классе (тоже сгладив по Лапласу):
p(wt | cj) =
1 +
|D|
i=1 Nitp(cj | di)
|V | +
|V |
s=1
|D|
i=1 Nisp(cj | di)
.

Априорные вероятности классов можно подсчитать как
p(cj) = 1
|D|
|D|
i=1 p(cj | di).
Тогда классификация будет происходить как
c = arg maxjp(cj)p(di | cj) =
= arg maxj

 1
|D|
|D|
i=1
p(cj | di)

 p(|di|)|di|!
|V |
t=1
1
Nit!
p(wt | cj)Nit
=
= arg maxj

log


|D|
i=1
p(cj | di)

 +
|V |
t=1
Nit log p(wt | cj)

 .

Multinomial vs. multivariate Сравнение моделей
Сравнение
Многомерная Мультиномиальная
Документ - Событие Документ - набор событий
Наличие или отсутствие слов
- атрибуты события
Событие - наличие индивиду-
ального слова
Легко добавлять нетекстовые
признаки
Нельзя добавлять напрямую
в словарь
Плохо с этим справляются,
т.к. больше вероятность, что
слово возникнет в длинном
тексте, вне зависимости от
класса
Более точная классификация
для данных с большой дис-
персией длины текстов

Неявный учет отсутствующих слов
Может показаться, что у многомерной модели есть
некоторое преимущество в том, что она учитывает
обоснованность (evidence) тех слов, которые не
встретились в тексте.
Однако, это не совсем так. Мультиномиальная модель
неявно учитывает эту информацию в вероятностных
распределениях для каждого класса.
Например, если рассматривать тексты из области
распознавания диктора, то слово speaker будет одним из
самых популярных. Т.е. будет иметь высокую вероятность
для этого класса текстов и заберет часть вероятностной
массы у других слов. Соответственно, если оно не
встретиться в тексте, то в нем будут только слова с
меньшей вероятностью для этого класса и это снизит
шансы текста быть из области распознавания диктора.

Производительность
На основе экспериментов, проведенных McCallum and Nigam
(1998), можно заключить, что многомерная модель если и
имеет меньшую ошибку предсказания, то только на маленьких
словарях (несколько сотен слов). Когда размер словарей
измеряется тысячами слов, то всегда выигрывает
мультиномиальная. В среднем ее ошибка предсказаний на 27%
меньше.

Semi-Naive Bayes
Outline
1 Naive Bayes
3 Semi-Naive Bayes

Semi-Naive Bayes
Классификация semi-naive методов
Хоть NB и показывает неплохие результаты, было разработано
множество методов, которые пытались улучшить точность
предсказаний за счет
”
смягчения“ предположения об условной
независимости атрибутов. Эти методы можно разделить на две
категории:
1 Первые применяют NB к модифицированному множеству
атрибутов, которое получается в результате удаления и
объединения исходных атрибутов.
2 Вторые добавляют связи между атрибутами. Т.е.
учитывают зависимости между атрибутами. Эту группу
можно также разделить на
eager learning methods, которые обучаются в фазе
обучения.
lazy learning methods, которые откладывают обучения до
начала классификации новых данных.

Semi-Naive Bayes Методы, модифицирующие атрибуты
Зависимость между атрибутами
Naive Bayes использует все атрибуты для классификации.
Однако, когда два атрибута сильно зависимы друг от друга, то
NB может переоценить их совместное влияние и это может
увеличить ошибку предсказания.
Рассмотрим это на примере. Пусть имеются три атрибута,
тогда:
p(x = v|a1, a2, a3) ∝ p(v)p(a1|v)p(a2|v)p(a3|v).
Если добавить a4 = a2, то
p(x = v|a1, a2, a3, a4) ∝ p(v)p(a1|v)p(a2|v)2
p(a3|v).

Backwards Sequential Elimination (BSE)
Метод BSE оставляет только подмножество изначальных
атрибутов.
Это достигается с помощью последовательного удаления
атрибутов, каждый раз выбирая тот, удаление которого
сильнее всего улучшит точность классификатора.
Процесс останавливается, когда уже больше нельзя
достичь улучшения точности.
Классификация производится как и в NB, только на
выбранном множестве атрибутов (¯a = ag1 , . . . , agh
):
vBSE(ag1 , . . . , agh
) = arg maxv∈V p(x = v)
gh
i=g1
p(ai|x = v).

Forward Sequential Selection (FSS)
FSS отличается от предыдущего метода только тем, что
начинает с пустого множества атрибутов и на каждом шаге
добавляет по одному атрибуту.

Backward Sequential Elimination and Joining
Еще одним подходом при обнаружении зависимостей
между атрибутами, является создание составных
атрибутов. BSEJ использует точность предсказаний в
качестве критерия объединения двух атрибутов. В
результате получается новых атрибут, принимающий
значения из их Декартова произведения.
Во время работы алгоритм объединяет или удаляет
атрибуты, исходя из того, какое действие сильнее всего
улучшит точность предсказаний.
Процесс останавливается, когда уже больше нельзя
достичь улучшения точности.

Backward Sequential Elimination and Joining
Если al1 , . . . , alq — оставшееся подмножество исходных
атрибутов, а joing1 , . . . , joingh
— новые атрибуты, то
vBSEJ (al1 , . . . , alq , joing1 , . . . , joingh
) =
arg maxv∈V p(x = v)
gh
i=g1
p(joini|x = v)
lq
r=l1
p(ar|x = v).

Semi-Naive Bayes Методы с зависимыми атрибутами
x-зависимость
Определение
Байесовский классификатор называется x-зависимым
(x-dependent), если каждый атрибут зависит от класса и от не
более чем x других атрибутов.
NB и три предыдущих метода являются 0-зависимым.
Следующие 5 методов, которые мы рассмотрим, будут
x-зависимыми (x ≥ 1).

Tree Augment Naive Bayes (TAN)
Этот метод устанавливает зависимости между атрибутами на
основе следующего алгоритма:
Для каждого класса v вычисляется I(ai, aj|v) - взаимная
информация между всеми парами атрибутов.
Затем стоится неориентированный граф, вершинами
которого являются атрибуты, а ребро между ai и aj имеет
вес I(ai, aj|v).
В этом графе находится максимальное покрывающее
дерево. После чего в произвольном порядке расставляются
направления ребер.

Tree Augment Naive Bayes (TAN)
Этот метод устанавливает зависимости между атрибутами на
основе следующего алгоритма:
Для каждого класса v вычисляется I(ai, aj|v) - взаимная
информация между всеми парами атрибутов.
Затем стоится неориентированный граф, вершинами
которого являются атрибуты, а ребро между ai и aj имеет
вес I(ai, aj|v).
В этом графе находится максимальное покрывающее
дерево. После чего в произвольном порядке расставляются
направления ребер.
Если π(ai) - это родитель ai. Тогда
vT AN (a1, a2, . . . , an) = arg maxv∈V p(x = v)
n
i=1
p(ai|x = v, π(ai)).

SuperParent TAN (SP-TAN)
SP-TAN — это вариация TAN, в которой используется другой
подход для построения функции π(ai).
Сирота (orphan) — это любой атрибут, у которого нет
родителя.
Если провести дуги из вершины ai до всех атрибутов из
множества сирот, то ai будет называться супер-родителем
(SuperParent).

Если вершину ai по очереди соединять с каждым сиротой и
тестировать точность предсказаний в таком графе, то сирота с
лучшей связью называется любимым потомком (FavoriteChild)
Алгоритм построения зависимостей между атрибутами
следующий:
1 Выбираем супер-родителя, дающего лучшие предсказания.
2 Выбираем любимого потомка для этого супер-родителя.
3 Если ребро между ними улучшает предсказания, то
фиксируем его и возвращаемся к п.1

Классификация в SP-TAN производится также как и в TAN:
vSP−TAN (a1, a2, . . . , an) = arg maxv∈V p(x = v)
n
i=1

Классификация в SP-TAN производится также как и в TAN:
vSP−TAN (a1, a2, . . . , an) = arg maxv∈V p(x = v)
n
i=1
Тем не менее можно выделить несколько отличий между TAN
и SP-TAN:
TAN добавляет N-1 ребро, тогда как SP-TAN может иметь
и меньше зависимостей между атрибутами.
TAN выбирает направления ребер произвольно, а в
SP-TAN они всегда идут от супер-родителя к любимому
потомку.

NBTree
NBTree — это комбинация NBC и дерева принятие решений.
Идея состоит в том, что на основании значений некоторых
атрибутов мы разделяем данные, так, что получается дерево. А
затем в каждом листе этого дерева создаем локальный NBC.

NBTree
Полезность узла (utility of a node) — точность предсказаний
NBC в этом узле, определяемая с помощью 5-fold
cross-validation test.

NBTree
Полезность узла (utility of a node) — точность предсказаний
NBC в этом узле, определяемая с помощью 5-fold
cross-validation test.
Полезность разделения (utility of a split) — взвешенная сумма
полезностей получаемых в итоге разделения узлов. Веса узлов
пропорциональны количеству попавших в них данных.

Рекурсивный алгоритм работы NBTree
Для каждого атрибута ai вычислить полезность
разделения по этому атрибуту u(ai).
Пусть j = arg maxiu(ai).
Если u(aj) не является значимо лучше, чем полезность
текущего узла, создать NBC в текущем узле и вернуться
на уровень выше. (Разделение является значимым, если
относительное уменьшение ошибки не менее 5% и
разделяемый атрибут содержит не менее 30 экземпляров).
Разделить данные на основании атрибута aj.
Для каждого дочернего узла рекурсивно вызвать
алгоритм, на той части данных, которые совпадают со
значением атрибута.

Классификация с помощью NBTree
Пусть S = S1, . . . , Sg — множество тестовых атрибутов на пути
к листу дерева, а R = R1, . . . , Rn−g — множество оставшихся
атрибутов, тогда:
vNBTree(R|s) = arg maxv∈V p(x = v|s)
n−g
i=1
p(ri|x = v, s).
Где s ∈ S, rj ∈ Rj.

Lazy Bayesian Rules (LBR)
Результаты работы LBR похожи на NBTree, только LBR
использует lazy learning и для каждого тестового примера
генерирует новый путь в дереве решений.
Классификация производится аналогично NBTree:
vLBR(R|s) = arg maxv∈V p(x = v|s)
n−g
i=1
p(ri|x = v, s).
Так как NBTree строит одно дерево для всей обучающей
выборки, то в нем могут образоваться листья, содержащие
всего несколько элементов из выборки. И это может
ухудшить классификацию. С этой проблемой и борется
LBR.
LBR хорошо подходит, когда надо классифицировать
немного элементов.

Averaged One-Dependence Estimators (AODE)
AODE усредняет предсказания всех подходящих 1-зависимых
классификаторов. Это делается, чтобы:
не производить выбор модели (model selection),
сохранить эффективность 1-зависимых классификаторов.
Пусть E — тестовый элемент. Для ∀ значения атрибута aj,
p(x = v, E) = p(x = v, aj)p(E|x = v, aj).
Поэтому,
p(x = v, E) =
j:1≤j≤n∧F(aj)≥m p(x = v, aj)p(E|x = v, aj)
|j : 1 ≤ j ≤ n ∧ F(aj) ≥ m|
,
где F(aj) — частота aj в базе обучения, а m = 30.

Averaged One-Dependence Estimators (AODE)
p(x = v, E) =
j:1≤j≤n∧F(aj)≥m p(x = v, aj)p(E|x = v, aj)
|j : 1 ≤ j ≤ n ∧ F(aj) ≥ m|
,
где F(aj) — частота aj в базе обучения, а m = 30.
Если p(aj) — мала, то оценка p(E|x = v, aj) может быть
ненадежной. Для этого выбирается порог m.
Классификация производится по формуле:
vAODE(a1, a2, . . . , an|x = v) =
= arg maxv∈V
j:1≤j≤n∧F(aj)≥m
p(x = v, aj)
n
h=1
p(ah|x = v, aj).

Вычислительная сложность
Обучение Классификация
Алгоритм Время Память Время Память
NB O(nt) O(knv) O(kn) O(knv)
BSE и FSS O(tkn2
) O(tn + knv) O(kn) O(knv)
BSEJ O(tkn3
) O(tn + kvn
) O(kn) O(kvn
)
TAN O(tn2
+ kn2
v2
+ n2
log n) O(k(nv)2
) O(kn) O(knv2
)
SP-TAN O(tkn3
) O(tn + k(nv)2
O(kn) O(knv2
)
NBTree O(t2
kn2
/v) O(tk(n − logvt)v) O(kn) O(tk(n − logv t)v)
LBR O(tn) O(tn) O(tkn2
) O(tn)
AODE O(tn2
) O(k(nv)2
) O(kn2
) O(k(nv)2
)
k — количество классов
n — количество атрибутов
v — среднее количество значений для атрибута
t — количество элементов в обучающей базе

Сравнение качества работы
В результате крупномасштабных экспериментов (Zheng and
Webb,2005) были получены следующие результаты:
Алгоритмы с наименьшим смещением: NBTree, BSJE,
LBR, (AODE, TAN), SP-TAN.
Алгоритмы с наименьшей дисперсией: NB, AODE, (LBR,
SP-TAN, BSE).
При выборе алгоритма можно исходить из того, что для
больших наборов обучающих данных основной вклад в
ошибку вносит смещение, а при малых — дисперсия.
AODE — неплохой
”
среднячок“.

Насколько хорош Naive Bayes
Outline
1 Naive Bayes
3 Semi-Naive Bayes

Насколько хорош naive Bayes
На самом деле наивный байесовский классификатор
гораздо лучше, чем кажется.
Его оценки вероятностей оптимальны, конечно, только в
случае независимости.
Но сам классификатор оптимален в куда более широком
классе задач.

Объяснения качества NB
Есть два (в том числе формальных) общих объяснения
этому факту.
1 Атрибуты, конечно, зависимы, но их зависимость
одинакова для разных классов и «взаимно сокращается»
при оценке вероятностей.
2 Для оценки вероятностей наивный байесовский
классификатор очень плох, но как классификатор гораздо
лучше. Например, возможно, что на самом деле
p(x = v0 | D) = 0.51 и p(x = v1 | D) = 0.49, а наивный
классификатор выдаст p(x = v0 | D) = 0.99 и
p(x = v1 | D) = 0.01; но классификация от этого не
изменится.

Недостатки объяснений
Однако, объяснение в пунке 2 достаточно поверхностное,
потому что не показывает, что мешает сильным
зависимостям повлиять на классификацию.
Ключевым моментом является то, что нужно знать, как
зависимости влияют на классификацию и при каких
условиях они не влияют на классификацию.
Сейчас будт показано, что классификация NB зависит, не
от самих зависимостей между переменными, а от
распределения этих зависимостей.

Повторение
Предположим, что у нас есть только два класса: V = {+, −}.
E = (a1, . . . , an)) — пример для классификации. Тогда E
сопоставляется классу C = + тогда и только тогда, когда
fb(E) =
p(C = +|E
p(C = −|E)
≥ 1
Если сделать наивное Байесовское предположение, то получим
fnb(E) =
p(C = +
p(C = −)
n
i=1
p(ai|C = +)
p(ai|C = −)
≥ 1

Augmented naive Bayes
NB — это простейшая форма Байесовской сети, в которой
все атрибуты независимы друг от друга при условии
класса.
Если несколько расширить эту структуру и включить в
явном виде зависимости между атрибутами, то получим
augmented naive Bayes network(ANB).
Пусть G — это ANB, тогда
pG(a1, . . . , an, v) = p(v)
n
i=1
p(ai|π(ai), v)
Доказано, что любая Байесовская сеть может быть
представлена в виде ANB. То есть любое совместное
распределение может быть представленно в виде ANB.

Augmented naive Bayes
Пусть G — это ANB, тогда
pG(a1, . . . , an, v) = p(v)
n
i=1
p(ai|π(ai), v)
Доказано, что любая Байесовская сеть может быть
представлена в виде ANB. То есть любое совместное
распределение может быть представленно в виде ANB.
Таким образом, мы можем выбрать ANB как истинное
вероятностное распределение, и попытаться установить,
при каких условиях NB классифицирует в точности также,
как и истинное распределение.

Эквивалентность
Определение 1
Пусть есть образец E. Два классификатора f1 и f2 называются
равными на E при условии 0-1 потерь (zero-one loss), если
f1(E) ≥ 1 ⇔ f2(E) ≥ 1, обозначается f1(E)
.
= f2(E). Если это
выполнятеся для любого E, то f1 и f2 называются равными
при условии 0-1 потерь, f1
.
= f2.

Локальная зависимость
Зависимость между узлом и его родителем называется
локальной зависимостью узла.
Для узла a в графе G, являющемся ANB, производные
локальной зависимости (local dependence derivative) узла a в
классах {+, −} определяются как:
dd+
G(a|π(a)) =
p(a|π(a), +)
p(a|+)
,
dd−
G(a|π(a)) =
p(a|π(a), −)
p(a|−)
.

Отношение производных
Для узла a в графе G, являющемся ANB, отношение
производных локальной зависимости (local dependence
derivative ratio) узла a в классах {+, −} определяtтся как:
ddrG(a) =
dd+
G(a|π(a))
dd−
G(a|π(a))
.

Распределение зависимостей
Теорема
Пусть для атрибутов (A1, . . . , An) задан ANB граф G и
соответствующий ему NB граф Gnb. Предположим, что fb и fnb
— классификаторы, соответствующие G и Gnb. Для любого
образца E = (a1, . . . , an) выполняется
fb(a1, . . . , an) = fnb(a1, . . . , an)
n
i=1
ddrG(ai),
где n
i=1 ddrG(ai) называется фактором распределения
зависимостей образца E и обозначается DFG(E).

Теорема 2
Теорема
Пусть дан образец E = (a1, . . . , an), ANB граф G равен
соответствующему naive Bayes графу Gnb при условии 0-1
потерь, т.е. fb(E)
.
= fnb(E) тогда и только тогда, когда либо
fb(E) ≥ 1 и DFG(E) ≤ fb(E) либо, fb(E) < 1 и
DFG(E) > fb(E).

Результаты
1 Когда DFG(E) = 1 зависимости в ANB графе G не
влияют на классификацию. DFG(E) = 1 в трех случаях:
зависимостей между атрибутами не существует.
для ∀ атрибута A ∈ G, ddrG(a) = 1, т.е. локальное
распределение каждого атрибута распределено равномерно
в обоих классах.
Влияние, которое оказывают некоторые локальные
зависимости в поддержку класса V = + сокращается
влиянием, оказываемым другими локальными
зависимостями в поддержку класса V = −.

2 Чтобы выполнялось fb(E)
.
= fnb(E), не требуется
DFG(E) = 1. Этот факт объясняет, почему NB дает
хорошие результаты даже для data set-ов с сильными
зависимостями между атрибутами.

2 Чтобы выполнялось fb(E)
.
= fnb(E), не требуется
DFG(E) = 1. Этот факт объясняет, почему NB дает
хорошие результаты даже для data set-ов с сильными
зависимостями между атрибутами.
3 Зависимости в графе ANB влияют на классификацию,
только в случае, когда не выполняются условия теоремы 2.

Таким образом, теорема 2 дает нам необходимые и
достаточные условия оптимальности наивного Байесовского
классификатора для образца E. Если условия теоремы
выполняются для всех E, то fb
.
= fnb. Т.е. NB является
глобально оптимальным.

Thank you!
Спасибо за внимание!

Sem01 naivebayes

More Related Content

Similar to Sem01 naivebayes (6)

Sem01 naivebayes