SlideShare a Scribd company logo
劣モジュラ最適化と機械学習
~2.0−2.3 劣モジュラ関数の基本性質・例・最適化~
@gen_goose_gen
自己紹介と注意
● @gen_goose_gen
●
某高専 電気系学科 卒業
● 関西の某国立大の情報系学科に編入(作成時B3)
●
情報・機械学習ともに初学者
– 間違えている可能性があるので疑問がある場合は上記の
ツイッターアカウントまでご一報ください
スライドで用いる表記
●
スカラー:ローマン体
●
ベクトル:小文字のボールド体
●
行列:大文字のボールド体
●
集合:カリグラフィー文字
(特に断らない場合列ベクトルとする)
コンテンツ
●
凸関数・凹関数・凸集合とは?
●
劣モジュラ関数の定義と具体例
●
モジュラ関数の種類・性質・基本操作
●
劣モジュラ関数最適化問題(最大化・最小化)
コンテンツ
●
凸関数・凹関数・凸集合とは?
●
劣モジュラ関数の定義と具体例
●
モジュラ関数の種類・性質・基本操作
●
劣モジュラ関数最適化問題(最大化・最小化)
凸関数と凹関数
・凸関数の定義:
ただし , ,
・凹関数の定義:-hが凸関数の時、hは凹関数
ある2点を決めて、その2点の
内分点の関数値が
決めた2点の関数値よりも低い
・凸関数最小化・凹関数最大化は最適化問題として扱いやすい
凸関数と凸集合
・凸関数の定義:
・凹集合の定義:点集合     が凸集合である
ただし ,
凸集合 凸集合ではない
コンテンツ
●
凸関数・凹関数・凸集合とは?
●
劣モジュラ関数の定義と具体例
●
モジュラ関数の種類・性質・基本操作
●
劣モジュラ関数最適化問題(最大化・最小化)
劣モジュラ関数の概要
・n次元0-1ベクトル集合上の凸関数としても捉えられる概念
→最小化問題は多項式時間で解ける
・同時に凹性のような性質も同時に持っている
→最大化問題はNP困難であることが多いが
 かなり良い近似を多項式時間で計算できる  
※劣モジュラ最適化アルゴリズムはこれらを必ず使っていることに注意わけではない
◯最適化する場合の性質の良さ
◯応用範囲の広さ離散問題に対して
重要な概念
凸関数とは別物なので
そのイメージばかりを持たないように
劣モジュラ関数の定義①
台集合
集合関数
台集合の任意の部分集合
集合関数の定義域
これでは劣モジュラ関数が何を表しているかわかりづらい
他の表現はないのか?
劣モジュラ関数の定義②
台集合
集合関数
台集合の任意の部分集合
集合関数の定義域
ただし
任意の要素
集合として小さいほど新しい要素を加えた時に
生じる変化量が大きい
劣モジュラ関数の定義の関係
等価
定義①:
定義②:
等価なことの証明はあとから行う
まずはこれらが正しいとした時のモジュラ関数の
具体例を通してイメージを固める
劣モジュラ関数の具体例①
〜カバー関数〜
台集合
(センサの集合)
台集合の任意の部分集合
(ONにするセンサの集合)
定義が確かに成り立つ
劣モジュラ関数の具体例①
〜カバー関数〜
台集合
(センサの集合)
台集合の任意の部分集合
(ONにするセンサの集合)
現在ONであるが多いほど新しいセンサをONにした時に
カバーできる点の増加が小さくなるのは明らか
(厳密にはONのセンサが少ないほうの増加が多い方よりも大きくならない)
定義成立→劣モジュラ関数
劣モジュラ関数の具体例②
〜無向グラフのカット関数〜
無向グラフを2つに分割するときに切断する枝容量の総和
台集合
(頂点集合)
台集合の任意の部分集合
(切断するグラフの頂点集合)
枝集合
S と SVをつなぐ枝集合
枝容量
(フローのようなもの)
無向グラフ
すべての
定義が確かに成り立つ
劣モジュラ関数の具体例③
〜有向グラフのカット関数〜
有向グラフを2つに分割するときに切断する枝容量の総和
台集合
(頂点集合)
台集合の任意の部分集合
(切断するグラフの頂点集合)
枝集合
S から SVをつなぐ枝集合
枝容量
(フローのようなもの)定義が確かに成り立つ
有向グラフ
すべての
劣モジュラ関数の具体例②③
〜無向グラフと有向グラフのカット関数の関係〜
無向グラフの枝e={u,v}
有向グラフの枝 e'={u,v}, e”={v,u}
この時有向グラフと無向グラフのカット関数は同じになる
無向グラフは有向グラフの特殊例
すべての枝を変換
劣モジュラ関数の具体例②③
〜カット関数が劣モジュラ関数であることの証明〜
劣モジュラ関数の具体例②③
〜カット関数が劣モジュラ関数であることの証明〜
の枝の
枝容量の総和
定義成立→劣モジュラ関数
劣モジュラ関数の具体例④
〜凹関数が生成する集合関数〜
凹関数:h(x) ただし        ,
Ex)
⊿x
⊿x
⊿x
→xが大きくなるほど小さくなる→xが大きくなるほど小さくなる→xが大きくなるほど小さくなる
劣モジュラ関数の具体例④
〜凹関数が生成する集合関数〜
:Sに含まれる要素数
【証明】
:変化量
∵h(x)は凸関数
定義成立→劣モジュラ関数
劣モジュラ関数の具体例④
〜凹関数が生成する集合関数〜
:Sに含まれる要素数
拡張
重み付き版:
劣モジュラ関数の定義の関係の証明
等価
定義①:
定義②:
定義①→定理②、 定理②→定理①を証明することによっ
て等価であることを証明する
劣モジュラ関数の定義①(再掲)
台集合
集合関数
台集合の任意の部分集合
集合関数の定義域
これでは劣モジュラ関数が何を表しているかわかりづらい
他の表現はないのか?
劣モジュラ関数の定義②(再掲)
台集合
集合関数
台集合の任意の部分集合
集合関数の定義域
ただし
任意の要素
集合として小さいほど新しい要素を加えた時に
生じる変化量が大きい
劣モジュラ関数の定義の関係の証明
定義①:
定義②:
定義①:
定義②:
劣モジュラ関数の定義の関係の証明
定義①:
定義②:
の時→自明・
・ の時
以下のようにおく
定義②に代入
劣モジュラ関数の定義の関係の証明
定義①:
定義②:
の時→自明・
・ の時
k=1からk=mまで
和を取る
定義①:
コンテンツ
●
凸関数・凹関数・凸集合とは?
●
劣モジュラ関数の定義と具体例
●
モジュラ関数の種類・性質・基本操作
●
劣モジュラ関数最適化問題(最大化・最小化)
劣モジュラ関数のタイプ分け
列モジュラ関数が他にどんな性質を持っているかは重要
 ∵性質によって最適化の計算効率・精度が異なる
→
◯正規化:
※    の場合も とすれば正規化可能
◯非負:すべての
◯単調:すべての
(非減少)
◯対称:任意の
について
について
について
劣モジュラ関数のタイプ分け
→
◯正規化:
※    の場合も とすれば正規化可能
◯非負:すべての
◯単調:すべての
(非現象)
◯対称:任意の
について
について
について
劣モジュラ関数のタイプ分け
→
◯正規化:
※    の場合も とすれば正規化可能
◯非負:すべての
◯単調:すべての
(非現象)
◯対称:任意の
について
について
について
優モジュラ関数・モジュラ関数
劣モジュラ関数f
優モジュラ関数g
-gが劣モジュラ関数
モジュラ関数g
gが劣モジュラ関数
かつ優モジュラ関数
モジュラ関数の性質
正規化されたモジュラ関数g
( )
正規化されたモジュラ関数が次元ベクトル
と同一視できる
値はベクトルの成分の部分和と対応付けられる
劣モジュラ関数の基本操作
〜和とスカラー倍〜
モジュラ関数の加減算:
以下の操作をして作られた関数も劣モジュラ関数である
スカラー倍:
劣モジュラ関数の加算:
優モジュラ関数の減算:
正規化された優モジュラ関数
正規化されたモジュラ関数
正規化された劣モジュラ関数
ただし
正のスカラー
定義から簡単に証明可能
劣モジュラ関数の基本操作
〜制限と縮約〜
劣モジュラ関数の台集合を小さくする操作
操作を繰り返して得られた劣モジュラ関数:fのマイナー
◯制限:台集合をSに制限する Sの中の部分集合として
取れるものを台集合としている
◯縮約:台集合をSを含む部分集合に制限して正規化する
Sのの補集合を部分集合として
取れるものを台集合としている
コンテンツ
●
凸関数・凹関数・凸集合とは?
●
劣モジュラ関数の定義と具体例
●
モジュラ関数の種類・性質・基本操作
●
劣モジュラ関数最適化問題(最大化・最小化)
劣モジュラ関数の最適化
〜例:最小カット問題と最大カット問題〜
◯グラフを2つに分けるときにカットする枝容量を
 最小・最大化する問題
・無向グラフの最小カット問題
・無向グラフの最大カット問題
最小カット 最大カット与えられたグラフ
カット関数は劣モジュラ関数
 →劣モジュラ最適化問題
劣モジュラ関数の最適化
〜基本形〜
:目的関数
:実行可能領域
(制約を満たすVの部分集合からなる集合族)
:実行可能解
:最適解
:最適値
劣モジュラ関数の最適化
〜最適化問題の性質〜
劣モジュラ関数の性質によって問題の性質が変わる
一般の関数?非負?単調?対称?構造は?
様々な性質を持っている→良いアルゴリズムが設計可能
様々な性質を使ったアルゴリズム→適用範囲が狭い
トレードオフ関係
問題の劣モジュラ関数が
どのように与えられているか考えることが大事
劣モジュラ関数の最適化
〜アルゴリズムの計算量〜
の値を呼び出すことは1回の基本操作であると仮定
(関数値オラクルの呼び出しによって関数値が得られる)
計算量解析:基本演算の回数と関数値の呼び出し回数
      を問題とする
多項式時間アルゴリズム:
基本演算・関数値呼び出し回数がともにnに関する
多項式のオーダー
Ex)
関数値オラクルの呼び出し回数
基本演算の回数
アルゴリズム の計算量:
基本演算1回よりも関数値オラクルの
呼び出し1回のほうが手間がかかる
劣モジュラ関数の最適化
〜(制約なし)劣モジュラ関数最小化〜
・多項式時間アルゴリズムが存在する
現在の最小計算量: [Orlin,2009]
これでも大きい
最大でかかる計算量保証
・多項式性は保証されないが実用的なアルゴリズムがある
(最小ノルム点アルゴリズム)
・関数fによっては高速に最適解が見つかる
(Ex:最小s-tカット問題)
劣モジュラ関数の最適化
〜対称劣モジュラ関数最小化〜
:自明解になる→取り除いて最適解を見つける
∵任意の に対して
・効率的なアルゴリズムが存在: [Queyranne,1998]
・Ex:無向グラフの最小カット問題
劣モジュラ関数の最適化
〜(単調な)劣モジュラ関数最大化〜
すべての について
・NP困難問題
(多項式時間では解けないと考えられているが種名されていない問題)
・近似的な解は多項式時間で求められる
貪欲法の一種で最適値の0.63倍以上の目的関数値を達成可能
[Nemhauser,Wolsey,Fisher,1978]
劣モジュラ関数の最適化
〜非負な劣モジュラ関数最大化〜
すべての について
・NP困難問題
(多項式時間では解けないと考えられているが種名されていない問題)
・近似的な解は多項式時間で求められる
貪欲法の一種で最適値の0.5倍以上の目的関数値を達成可能
[Buchbinder,Feldman,Naor,Schwartz,2012]
・Ex:無向グラフの最大カット問題
貪欲法の一種で最適値の0.878倍以上の目的関数値を達成可能
まとめ
・劣モジュラ関数は台集合に定義される関数
・凸性と凹性のような性質を同時に持つ
・集合として小さいほど新しい要素を加えた時に生じる変化
量が大きい
・劣モジュラ関数が他に持つ性質で最適化アルゴリズムの
性能が決まり、一般性とアルゴリズム性能はトレードオフ
・最小化問題は多項式時間で解けるがより高速なアルゴリ
ズムが多数存在
・最大化問題はNP困難問題であるが多項式時間で近似解
を求めるアルゴリズムが考案されている
ありがとうございました!

More Related Content

PPTX
劣モジュラ最適化と機械学習 3章
PPTX
『劣モジュラ最適化と機械学習』 4章
PPTX
劣モジュラ最適化と機械学習 2.4節
PPTX
劣モジュラ最適化と機械学習 2.5節
PPTX
劣モジュラ最適化と機械学習1章
PPTX
変分ベイズ法の説明
PDF
PRML輪読#4
PPTX
深層学習の非常に簡単な説明
劣モジュラ最適化と機械学習 3章
『劣モジュラ最適化と機械学習』 4章
劣モジュラ最適化と機械学習 2.4節
劣モジュラ最適化と機械学習 2.5節
劣モジュラ最適化と機械学習1章
変分ベイズ法の説明
PRML輪読#4
深層学習の非常に簡単な説明

What's hot (20)

PDF
機械学習のためのベイズ最適化入門
PPTX
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
PDF
ICML 2020 最適輸送まとめ
PDF
アンサンブル木モデル解釈のためのモデル簡略化法
PPTX
[DL輪読会]World Models
PDF
PRML輪読#5
PDF
機械学習モデルのハイパパラメータ最適化
PPTX
確率的バンディット問題
PDF
Sparse estimation tutorial 2014
PDF
POMDP下での強化学習の基礎と応用
PPTX
[DL輪読会]相互情報量最大化による表現学習
PDF
Layer Normalization@NIPS+読み会・関西
PDF
1次式とノルムで構成された最適化問題とその双対問題
PDF
【博士論文発表会】パラメータ制約付き特異モデルの統計的学習理論
PPTX
【解説】 一般逆行列
PPTX
深層学習の数理
PPTX
心理学者のためのGlmm・階層ベイズ
PPTX
[DL輪読会]When Does Label Smoothing Help?
PDF
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
PDF
統計的学習理論チュートリアル: 基礎から応用まで (Ibis2012)
機械学習のためのベイズ最適化入門
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
ICML 2020 最適輸送まとめ
アンサンブル木モデル解釈のためのモデル簡略化法
[DL輪読会]World Models
PRML輪読#5
機械学習モデルのハイパパラメータ最適化
確率的バンディット問題
Sparse estimation tutorial 2014
POMDP下での強化学習の基礎と応用
[DL輪読会]相互情報量最大化による表現学習
Layer Normalization@NIPS+読み会・関西
1次式とノルムで構成された最適化問題とその双対問題
【博士論文発表会】パラメータ制約付き特異モデルの統計的学習理論
【解説】 一般逆行列
深層学習の数理
心理学者のためのGlmm・階層ベイズ
[DL輪読会]When Does Label Smoothing Help?
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
統計的学習理論チュートリアル: 基礎から応用まで (Ibis2012)
Ad

More from Akiyoshi Hara (6)

PDF
スパース性に基づく機械学習 4.1 ノイズなしL1ノルム最小化問題の問題設定
PDF
スパース性に基づく機械学習 3.2 L1ノルム正則化
PDF
強くなるロボティック・プレイヤーの作り方 6章
PDF
強くなるロボティック・プレイヤーの作り方 5章
ODP
続わかりやすいパターン認識8章
ODP
続わかりやすいパターン認識7章
スパース性に基づく機械学習 4.1 ノイズなしL1ノルム最小化問題の問題設定
スパース性に基づく機械学習 3.2 L1ノルム正則化
強くなるロボティック・プレイヤーの作り方 6章
強くなるロボティック・プレイヤーの作り方 5章
続わかりやすいパターン認識8章
続わかりやすいパターン認識7章
Ad

Recently uploaded (9)

PDF
限外ろ過膜調査レポート:市場規模、シェア、産業分析データ、最新動向2025-2031 YH Research
PDF
商用ウェブカメラ市場:世界の産業現状、競合分析、シェア、規模、動向2025-2031年の予測
PDF
Qlik TECH TALK セミナー:What's New In Qlik ~ 2025年7月リリース最新機能のご紹介
PDF
口腔内スキャナー市場:世界の産業現状、競合分析、シェア、規模、動向2025-2031年の予測
PDF
液体クラトム抽出物供給側分析:世界の生産能力・販売量・平均価格動向(2025-2031)
PDF
XCMSを用いた質量分析データ処理_BioCAsia2021_yamamoto.pdf
PDF
グローバルロープウェイ用スチールワイヤーロープ市場2025:主要企業のシェア、売上動向、競争戦略
PDF
【QYResearch】人形ロボット産業の市場構造と今後の発展方向に関する分析レポート
PDF
世界半導体用酸化ハフニウム市場のサプライチェーン解析:上流、下流、収益モデル分析2025-2031
限外ろ過膜調査レポート:市場規模、シェア、産業分析データ、最新動向2025-2031 YH Research
商用ウェブカメラ市場:世界の産業現状、競合分析、シェア、規模、動向2025-2031年の予測
Qlik TECH TALK セミナー:What's New In Qlik ~ 2025年7月リリース最新機能のご紹介
口腔内スキャナー市場:世界の産業現状、競合分析、シェア、規模、動向2025-2031年の予測
液体クラトム抽出物供給側分析:世界の生産能力・販売量・平均価格動向(2025-2031)
XCMSを用いた質量分析データ処理_BioCAsia2021_yamamoto.pdf
グローバルロープウェイ用スチールワイヤーロープ市場2025:主要企業のシェア、売上動向、競争戦略
【QYResearch】人形ロボット産業の市場構造と今後の発展方向に関する分析レポート
世界半導体用酸化ハフニウム市場のサプライチェーン解析:上流、下流、収益モデル分析2025-2031

劣モジュラ最適化と機械学習 2.0-2.3 劣モジュラ関数の基本性質・例・最適化