KDD2015読み会 Matrix Completion with Queries
Download as PPTX, PDF0 likes714 views
KDD2015 勉強会（関東） 2015/08/29 10:30～＠リクルートテクノロジーズ http://atnd.org/events/69002 ※ 当日は、文字化け＆ページ欠落など多数不具合あり 失礼しました。こちらで修正されています。
![問題設定
記号
真の行列 𝑇 のうち、観測できている要素（マスク） ： Ω
観測された行列 ： 𝑇Ω
新規に観測する要素（クエリ） : 𝑄
問題 [ACTIVECOMPLETION]
行列 𝑇（ランク 𝑟 > 0）の一部の要素 Ω のみが既知（𝑇Ω）
さらに追加で要素 𝑄 を観測（𝑇Ω′ ; Ω′
= Ω ∪ 𝑄）
𝑇Ω′から行列補完を行った推定値 𝑇Ω′ の相対誤差
𝑅𝐸𝐿𝐸𝑅𝑅𝑂𝑅 𝑇Ω′ =
𝑇− 𝑇Ω′
𝑇
が最小となるクエリ 𝑄 を見つける。
※ 𝑋 = 𝑖=1
𝑛1
𝑗=1
𝑛2
𝑋𝑖𝑗
2
2015/8/294](https://image.slidesharecdn.com/kdd2015rsjptoshihironakae-150829124544-lva1-app6892/85/KDD2015-Matrix-Completion-with-Queries-4-320.jpg)
KDD2015読み会 Matrix Completion with Queries
- 1. KDD2015読み会 Matrix Completion with Queries 2015/08/29 中江 俊博 （NTTデータ数理システム）
- 2. 対象論文 Matrix Completion with Queries Natali Ruchansky, Mark Crovella, Evimaria Terzi http://www.cs.bu.edu/faculty/crovella/paper- archive/kdd15-active-mc.pdf 2015/8/292
- 3. 概要 行列の要素の一部だけが観測されており、観測された 要素のみから、未観測の値を補完（completion）したい。 元の行列はランク（正確には effective rank）が ある値 𝑟 > 0 であることを仮定。 更に、未観測の値を追加で観測することで、 行列補完の精度を高めることができないか？ 2015/8/293
- 4. 問題設定 記号 真の行列 𝑇 のうち、観測できている要素（マスク） ： Ω 観測された行列 ： 𝑇Ω 新規に観測する要素（クエリ） : 𝑄 問題 [ACTIVECOMPLETION] 行列 𝑇（ランク 𝑟 > 0）の一部の要素 Ω のみが既知（𝑇Ω） さらに追加で要素 𝑄 を観測（𝑇Ω′ ; Ω′ = Ω ∪ 𝑄） 𝑇Ω′から行列補完を行った推定値 𝑇Ω′ の相対誤差 𝑅𝐸𝐿𝐸𝑅𝑅𝑂𝑅 𝑇Ω′ = 𝑇− 𝑇Ω′ 𝑇 が最小となるクエリ 𝑄 を見つける。 ※ 𝑋 = 𝑖=1 𝑛1 𝑗=1 𝑛2 𝑋𝑖𝑗 2 2015/8/294
- 5. 行列補完の方法 行列 𝑇Ω を 𝑇Ω = 𝑋𝑌 として分解し、掛け算して補完 𝑋, 𝑌 の値は、既知の値から線形方程式を 繰り返し解くことで計算する。 𝑟 = 2の場合 2015/8/295 𝑇𝑖𝑗 = 𝑥𝑖1 𝑦1𝑗 + 𝑥𝑖2 𝑦2𝑗 𝑇𝑖′𝑗 = 𝑥𝑖′1 𝑦1𝑗 + 𝑥𝑖′2 𝑦2𝑗 ↓ 𝑦についての線形方程式 𝐴 𝑥 𝑦 = 𝑡 を解けばいい ↓ この作業の繰り返し 既知 推定 既知 𝑛2 𝑛1 𝑇 𝑟 𝑟 𝑋 𝑌 𝐴 𝑥 𝑦 𝑡 未知
- 6. マスクグラフ 𝐺Ω 次をノード・エッジとして持つような2部グラフ 𝐺Ω ノード： 行列𝑇のすべての行・すべての列 エッジ ： マスクΩに含まれるセル（観測できたセル） エッジは対応する行ノードと列ノードをつなぐ。 2015/8/296 マスク Ωマスクグラフ 𝐺Ω
- 7. アルゴリズム “Sequential” “Sequential” 全ての行・列の探索順序 𝜋 があらかじめ決まっている。 各ステップで、マスクグラフにおいて計算対象ノードから エッジで結ばれたすでに計算済みのノードの値を用いて計算。 𝑟 = 2の場合 2015/8/297 𝑇𝑖𝑗 = 𝑥𝑖1 𝑦1𝑗 + 𝑥𝑖2 𝑦2𝑗 𝑇𝑖′𝑗 = 𝑥𝑖′1 𝑦1𝑗 + 𝑥𝑖′2 𝑦2𝑗 𝑇𝑋 𝑌 マスクグラフ 𝐺Ω 計算対象 ノード ●…計算済み ○…未計算（行） （列）
- 8. “Sequential” の問題点と解決策 問題点 そもそも探索順序 𝜋 をどう与えればよいかが自明でない。 順序が適切でない場合、逆行列を解くのに 必要な次元数が得られない（incomplete） 逆行列が必要なので𝑋のどの𝑟行も、 𝑌のどの𝑟列も 独立でないといけないが、一般には成り立たない。 逆行列が解けても、相関が強ければ、解は 安定でなくなる（unstable） → 観測ノイズに頑健でなくなる。 解決策 ノードを事前に適切にソートして、探索順序を決める（Order） 探索中に逆行列が解けない場合や、解が安定でない場合、 都度、行列の要素を追加で観測する（Extend） 2015/8/298
- 9. 提案法 “Order & Extend” 概略 まず全てのノードを適切な順序 𝜋 に並び替える（Order） for ノード in 𝜋 if 線形方程式に用いる t が足りない（incomplete） then 足りない 𝑇 を追加観測 while 𝐴 𝑥 𝑦 = t が安定ではない（stable） do 安定にするために次に観測すべき要素 𝑖∗ を 探索し（Stabilize）、要素 𝑇𝑖∗,𝑗を追加観測 𝑦 = 𝐴 𝑥 𝑇 𝐴 𝑥 −1 𝐴 𝑥 𝑡 （最小二乗解 ; 線形回帰） ※ 行を解く場合も、𝑥, 𝑦 を交換して同様の処理を実施 2015/8/299
- 10. 適切なノード順序の決め方（Order） 次数の最も小さなものを最後尾に持っていく。 最後尾に移動したノードのエッジは削除して 次に次数の小さなものを後ろに.. この探索を順次繰り返す。 この順序で並べ替えた後に、順序の前から後ろに向かって エッジに向きがついた有向グラフを考える。 𝜋 を先頭から探索していき、そのノードについて indegree ≤ 𝑟 の場合（親が少ない → 親を増やす戦略） そのノードの子供のうち、一番後ろにいるノードの直後に並べる。 indegree > 𝑟 の場合（親が多い → 親を減らす戦略） そのノードの親のうち、先頭から𝑟番目のノードの直後に並べる。 ※ ただし先頭のノード 𝑟 個の探索はスキップ（のはず。その記載はなし） 2015/8/2910
- 11. 提案法 “Order & Extend” 概略 まず全てのノードを適切な順序 𝜋 に並び替える（Order） for ノード in 𝜋 if 線形方程式に用いる t が足りない（incomplete） then 足りない 𝑇 を追加観測 while 𝐴 𝑥 𝑦 = t が安定ではない（stable） do 安定にするために次に観測すべき要素 𝑖∗ を 探索し（Stabilize）、要素 𝑇𝑖∗,𝑗を追加観測 𝑦 = 𝐴 𝑥 𝑇 𝐴 𝑥 −1 𝐴 𝑥 𝑡 （最小二乗解 ; 線形回帰） ※ 行を解く場合も、𝑥, 𝑦 を交換して同様の処理を実施 2015/8/2911
- 12. 安定性と評価指標 安定性 𝐴 𝑥 𝑦 = 𝑡 の解 𝑦 = 𝐴 𝑥 −1t について 𝐴 𝑥, 𝑡 それぞれに ノイズが付加されても、解 𝑦 が大きく変動しないなら安定。 安定性の評価指標 local condition number 𝑙 𝐴 𝑥, 𝑡 = 𝐴 𝑥 −1 𝑡 𝑦 この値がしきい値 𝜃(= 1) を超えた場合に不安定とみなす。 今は最小二乗解を見つけるので、代わりに次を計算する 𝑙 𝐴 𝑥, 𝑡 = 𝐴 𝑥 𝑇 𝐴 𝑥 −1 𝐴 𝑥 𝑡 𝑦 安定性の評価の問題点 逆行列の計算コストが高いのが難点。 2015/8/2912
- 13. 観測する位置を決める（Stabilize） 𝐴 𝑥 𝑦 = 𝑡 が不安定の場合、追加で観測したら、 local condition number が最小になるような 𝑖∗ を探す。 この計算のために毎回未観測の要素 𝑇𝑖∗ 𝑗を新規に 観測するのは大変なので、とりあえず乱数を埋める（！） 2015/8/2913 𝑥𝑖∗1 𝑥𝑖∗2 𝑇𝑖∗ 𝑗 未観測の要素 とりあえず乱数を埋める （同じ行・列から値を拝借） 𝐴 𝑥 α 𝑡 𝜏 𝑦 既知 既知 既知
- 14. 要素追加後の local condition number 愚直に計算する場合 𝑙 𝐴 𝑥, 𝑡 = 𝐴 𝑥 𝑇 𝐴 𝑥 −1 𝐴 𝑥 𝑡 𝑦 これを毎回計算するのはコスト高い。 便利な更新式（Sherman-Morison Formula） 追加要素以外の逆行列 𝐶 = 𝐴 𝑥 𝑇 𝐴 𝑥 −1 だけ先に計算しておく。 追加要素を含めた逆行列 𝐷 = 𝐴 𝑥 𝑇 𝐴 𝑥 −1 = 𝐶 − 𝐶𝛼 𝑇 𝛼𝐶 1+𝛼𝐶𝛼 𝑇 𝑦 = 𝐷 𝐴 𝑥 𝑡 Local condition number : 𝐷 𝐴 𝑥 𝑡 𝑦 → 逆行列の計算を回避。 2015/8/2914 𝐴 𝑥 𝑡 = =
- 15. Stabilize （論文より） 2015/8/2915 ↑ 逆行列を伴わない local condition number の計算 （一旦乱数で𝑇𝑖∗ 𝑗を計算）
- 16. Order & Extend （論文より） 2015/8/2916 ← ここでQueryを要求 ← ここでQueryを要求
- 17. 検証 検証 各種データセットに対して、一様乱数でマスクを生成。 比較対象アルゴリズムとして次の2つを行列補完アルゴリズム： OptSpace : SVD-Based LmaFit : Alternate Least-Square Method 他の2つのアルゴリズムについては、クエリをランダムに生成。 2015/8/2917
- 18. 検証結果（１） 横軸：クエリ回数（budget）, 縦軸： 相対誤差 2015/8/2918
- 20. （報告者の）考察 行列補完アルゴリズムの中に、追加観測が 入り込んでいる。観測が終わるまで先に進まない。 観測をバッチ的にやるのは、そもそも無理。 （報告者は、これができることを期待していた…） レスポンスが返ってくるまで時間のかかるケースなども苦しい。 DBなどにアクセスするのにコスト（費用）はかかるが レスポンスが早いケースなどに向きそう。 一旦乱数を入れて、観測すべきインデックスだけ 先に洗い出してから、バッチ的に観測するなどの 作戦が有効かもしれない。 2015/8/2920