20080309 efficientalgorithms kulikov_lecture15

с/к “Эффективные алгоритмы”
Лекция 15: Полиномиальный алгоритм для задачи
линейного программирования

А. Куликов

Computer Science клуб при ПОМИ
http://logic.pdmi.ras.ru/∼infclub/

А. Куликов (CS клуб при ПОМИ) 15. Алгоритм Кармаркара 1 / 31

План лекции

1 Введение



1 Введение

2 Масштабирование и направление скорейшего спуска



1 Введение


3 Постановка задачи, потенциал
Постановка задачи
Потенциал



1 Введение


Потенциал

4 Алгоритм Кармаркара



1 Введение


Потенциал


5 Анализ алгоритма



1 Введение


Потенциал




Общий вид задачи линейного программирования

Общий вид задачи линейного программирования
минимизировать cT x
при условиях Ax = b
x ≥ 0,

где c ∈ Rn , b ∈ Rm , A — матрица полного ранга размера m × n, m < n.


Общая идея симплекс-метода




Множество допустимых решений является выпуклым
многогранником.



Симплекс-метод переходит от одной вершины этого
многогранника к другой до тех пор, пока это улучшает значение
целевой функции.



Симплекс-метод переходит от одной вершины этого
многогранника к другой до тех пор, пока это улучшает значение
целевой функции.
Известны примеры, на которых симплекс-метод будет работать
экспоненицально долго (такие примеры, однако, не встречаются
на практике).


Общая идея метода внутренней точки




Выбирается произвольная точка x 0 внутри многогранника
допустимых решений.



Найдем преобразование , для которого c T (x) < c T x.



На каждой итерации переходим от x k к x k+1 = (x k ), оставаясь
внутри многогранника.



На каждой итерации переходим от x k к x k+1 = (x k ), оставаясь
внутри многогранника.
Когда значение c T (x k ) станет достаточно маленьким, перейдём
из текущей точки в ближайшую вершину многогранника, которая
и будет решением.


Основные составляющие алгоритма Кармаркара

Основные составляющие



1 масштабирование (scaling)



2 направление быстрейшего спуска (steepest descent direction)



2 направление быстрейшего спуска (steepest descent direction)
3 потенциал (potential function)



1 Введение


Потенциал




Обобщенная задача

Обобщенная задача
минимизировать f (x)
x ≥ 0,

где f : Rn → R, b ∈ Rm , A — матрица полного ранга размера m × n,
≥0
m < n.


Общие идеи алгоритма




Мы представим для этой задачи алгоритм, основанный на методе
скорейшего спуска, в начале каждой итерации которого
производится масштабирование.



Мы представим для этой задачи алгоритм, основанный на методе
скорейшего спуска, в начале каждой итерации которого
производится масштабирование.
Каждая итерация начинается с точки x k , а масштабирование
выглядит следующим образом: x → y = X −1 x, где
X = diag(x1 , . . . , xn ) (таким образом, x k переходит в e).
k k


Алгоритм

Алгоритм
Допустим, что дана исходная допустимая точка x 0 > 0 и число
∈ (0, 1]. Положим k = 0 и будем повторять (до некоторого момента)
следующие шаги:


Алгоритм

Алгоритм
¯ ¯
Масштабирование: X ← diag(x k , . . . , xn ), A ← AX , f (y ) ← f (Xy ).
k
1


Алгоритм

Алгоритм
k k ¯ ¯
Масштабирование: X ← diag(x1 , . . . , xn ), A ← AX , f (y ) ← f (Xy ).
(︀ T )︀−1
¯
Направление: h ← −P∇f (e), где P ← I − AT AA ¯ ¯¯ ¯
A—
¯
проектор на ядро Null(A).


Алгоритм

Алгоритм
k k ¯ ¯
(︀ T )︀−1
¯
A—
¯
¯ ¯
Поиск на прямой: найти ∈ argmin{f (e + h)| ≥ 0, e + h ≥ 0}.


Алгоритм

Алгоритм
k k ¯ ¯
(︀ T )︀−1
¯
A—
¯
¯ ¯
¯
Результат: y * ← e + h.


Алгоритм

Алгоритм
k k ¯ ¯
(︀ T )︀−1
¯
A—
¯
¯ ¯
¯
Обратно: x k+1 ← Xy * .


Алгоритм

Алгоритм
k k ¯ ¯
(︀ T )︀−1
¯
A—
¯
¯ ¯
¯
k ← k + 1.



1 Введение


Потенциал




Вид задачи

Вид задачи
при условиях Ax = 0
x ≥ 0,



Дополнительные предположения




Множество допустимых решений S = {x ∈ Rn |Ax = 0}
+
ограничено.



+
Точка x 0 = e допустима. (Известны процедуры нахождения
начальной допустимой точки x 0 . Масштабированием такую точку
можно перевести в e.)



+
c T x не константа на S.



+
c T x не константа на S.
Значение любого оптимального решения x есть c T x = 0. (Очень
ˆ ˆ
сильное условие, от которого, тем не менее, можно избавиться.)



1 Введение


Потенциал




Потенциал

Потенциал
n
∑︁ (c T x)n
x∈ Rn
>0
T
↦→ f (x) = n log(c x) − log xi = log ∏︀n .
i=1 i=1 xi


Потенциал

Потенциал
n
∑︁ (c T x)n
x∈ Rn
>0
T
i=1 i=1 xi

Задача
Найти x ∈ S, такой что f (x) < −2nL.


Потенциал

Потенциал
n
∑︁ (c T x)n
x∈ Rn
>0
T
i=1 i=1 xi

Задача
Найти x ∈ S, такой что f (x) < −2nL.

Интуитивно
Мы хотим, чтобы первое слагаемое в определении x было бы как
можно меньше. Второе же слагаемое (логарифмический барьер)
неограниченно возрастает у границы Rn и ограничено снизу,
≥0
поскольку S ограничено.



1 Введение


Потенциал




Алгоритм Кармаркара

Допустим, что даны x 0 = e ∈ S и L > 0. Положим k = 0 и будем
повторять:



повторять:
k ¯
Масштабирование: X ← diag(x k , . . . , xn ), A ← AX , c ← Xc.
¯
1



повторять:
k k ¯
Масштабирование: X ← diag(x1 , . . . , xn ), A ← AX , c ← Xc.
¯
(︀ T )︀−1
n ¯ ¯¯
Направление: h ← − c T e P¯ + e, где P ← I − AT AA
c ¯
A—
¯
¯



повторять:
k k ¯
¯
(︀ T )︀−1
n ¯ ¯¯
c ¯
A—
¯
¯
¯ ¯



повторять:
k k ¯
¯
(︀ T )︀−1
n ¯ ¯¯
c ¯
A—
¯
¯
¯ ¯
¯



повторять:
k k ¯
¯
(︀ T )︀−1
n ¯ ¯¯
c ¯
A—
¯
¯
¯ ¯
¯
k ← k + 1.
пока f (x k ) ≥ −2nL.



1 Введение


Потенциал




Важное свойство алгоритма (без доказательства)

Лемма
f (x k+1 ) < f (x k ) − 0.1.



Лемма
f (x k+1 ) < f (x k ) − 0.1.

Замечания



Лемма
f (x k+1 ) < f (x k ) − 0.1.

Замечания
Из этого следует, что не более чем через 30nL итераций
потенциал уменьшится хотя бы на 3nL.



Лемма
f (x k+1 ) < f (x k ) − 0.1.

Замечания
Из этого следует, что не более чем через 30nL итераций
потенциал уменьшится хотя бы на 3nL.
Мы также покажем, что такого уменьшения потенциала
достаточно, чтобы найти оптимальное значение.


Исходная задача

x ≥ 0,




x ≥ 0,


Замечание
Допустим, что многогранник допустимых решений ограничен и что все
числа целые (или, что эквивалентно, рациональные).


Определение числа L




Пусть l равно общей длине битового представления входных
данных.



данных.
Заметим, что любое выражение, содержащее суммы и
произведения чисел из входных матриц и векторов без
повторений, не может иметь значение больше 2l .



данных.
Определитель матрицы не превосходит произведения норм
столбцов, поэтому | det M| ≤ 2l для любой квадратной
подматрицы матрицы [A|b].



данных.
Определитель матрицы не превосходит произведения норм
столбцов, поэтому | det M| ≤ 2l для любой квадратной
подматрицы матрицы [A|b].
Пусть L = l + n + 1.


Ключевая лемма

Лемма



Лемма
Для любой вершины x многогранника и для любого i либо xi = 0,
либо xi > 2−L .



Лемма
Для любой вершины x многогранника либо c T x = 0, либо
c T x > 2−L .



Лемма
c T x > 2−L .
Для любой допустимой точки x c T x ≤ 2L и e T x ≤ 2L .



Лемма
c T x > 2−L .

Доказательство



Лемма
c T x > 2−L .

Система Ax = b может быть разбита на AB xB + AN xN = b, где
xB — вектор, составленный из положительных компонент x.



Лемма
c T x > 2−L .

Тогда xN = 0 и система может быть переписана как AB xB = b.



Лемма
c T x > 2−L .

Тогда xN = 0 и система может быть переписана как AB xB = b.
Если x — вершина, то столбцы AB линейно независимы.


Доказательство (продолжение)




Будем считать, что AB — квадратная матрица (в противном
случае, выкинем лишние уравнения).



Тогда xi = ∆i /∆, где ∆ = det AB , а ∆i — определитель матрицы,
полученной заменой столбца Ai на b.



Пусть l1 , lc суть количества битов в записи {A, b} и c.



Первое утверждение верно, поскольку ∆i — целое, а
|∆| ≤ 2l1 ≤ 2L .



|∆| ≤ 2l1 ≤ 2L .
Второе утверждение следует из первого и того факта, что c —
целочисленный.



|∆| ≤ 2l1 ≤ 2L .
Второе утверждение следует из первого и того факта, что c —
целочисленный.
Для доказательства третьего утверждения рассмотрим вершину x
многогранника.


Доказательство (завершение)




Тогда e T x ≤ n2l1 ≤ 2L и c T x ≤ n2l1 +lc ≤ 2L .



Третье утверждение, таким образом, доказано для всех вершин



Поскольку многогранник ограничен, любая его внутренняя точка
может быть представлена в виде выпуклой комбинации его
вершин.



вершин.
Итак, пусть x = j∈J j x j , где xj ≥ 0 и j∈J j = 1.
∑︀ ∑︀



вершин.
∑︀ ∑︀

Тогда c T x = j∈J j c T x j ≤ 2L j∈J j = 2L .
∑︀ ∑︀



вершин.
∑︀ ∑︀

Тогда c T x = j∈J j c T x j ≤ 2L j∈J j = 2L .
∑︀ ∑︀

Оценка на e T x доказывается аналогично.


Ещё один факт

Факт
Существует алгоритм, находящий по допустимой точке x за время
O(n3 ) вершину многогранника x , такую что
¯

c T x ≤ c T x.
¯


Основная теорема

Теорема
Алгоритм Кармаркара находит оптимальное значение за не более чем
O(nL) итераций (и O(n4 L) арифметических операций).



Теорема




Теорема

f (x 0 ) = f (e) = n log(c T e) ≤ n log 2L ≤ nL
(︀ )︀



Теорема

(︀ )︀

f (x k ) < f (x 0 ) − 0.1k ≤ nL − 0.1k



Теорема

(︀ )︀

f (x k ) < f (x 0 ) − 0.1k ≤ nL − 0.1k
Значит, через не более чем 30nL итераций алгоритм остановится
на точке
n
∑︁
f (x k ) = n log(c T x k ) − log xik < −2nL
i=1
.



∑︀n k
i=1 log xi < nL, а значит, log(c T x k ) < −L.



∑︀n k
Тогда c T x k < e −L < 2−L .



∑︀n k
Тогда c T x k < e −L < 2−L .
При нахождении такой точки идём от нее к вершине-решению.


Что мы узнали за сегодня?




Симплекс-метод ходит по вершинам многоугольника допустимых
решений, улучшая значение целевой функции. Время работы
может быть экспоненицальным.



Метод внутренней точки тоже переходит от точки к точке,
улучшая значение целевой функции, но остаётся при это во
внутренности многогранника.



Подобравшись достаточно близко к вершине-решению, быстро
находит эту вершину.



Подобравшись достаточно близко к вершине-решению, быстро
находит эту вершину.
Алгоритм Кармаркара основан на методе внутренней точки и
имеет время работы O(n4 L), где L — длина битовой записи
входных данных.


Спасибо за внимание!


20080309 efficientalgorithms kulikov_lecture15

More Related Content

What's hot (20)

Viewers also liked (20)

Similar to 20080309 efficientalgorithms kulikov_lecture15 (20)

More from Computer Science Club (20)

20080309 efficientalgorithms kulikov_lecture15