![実験
• データ: ENZYMES, PROTEINS, AIRWAYS,
SYNTHETIC
• 評価尺度: 計算時間, 分類精度(10-fold cross
validation)
• 比較相手:
– Propergation kernel (PROP)[ECML,12]
– Shortest pass kernel (SP) [ICDM,05]
– connected matching subgraph kernel (CSM)
[ICML,12],
– Weisfeiler-Lehman kernel (WL)[NIPS,09]](https://image.slidesharecdn.com/nips2013readingtabei-140123100228-phpapp02/85/NIPS2013-Scalable-kernels-for-graphs-with-continuous-attributes-16-320.jpg)
![データーセット
• ノード属性の類似度
kn (v, v ) = exp(
|||A(v)
A(v )|2 )
• ENZYMES [NAR,2004]
• PROTEINS [JMB,2003]
• AIRWAYS [IPMI,2011]
Number of nodes
Number of edges
Graph diameter
Node attribute dimension
Dataset size
Class size
ENZYMES
32.6
46.7
12.8
18
600
6 ⇥ 100
PROTEINS
39.1
72.8
11.6
1
1113
663/450
AIRWAYS
221
220
21.1
1
1966
980/986
SYNTHETIC
100
196
7
1
300
150/150
Table 1: Data statistics: Average node and edge counts and graph diameter, dataset and class sizes.](https://image.slidesharecdn.com/nips2013readingtabei-140123100228-phpapp02/85/NIPS2013-Scalable-kernels-for-graphs-with-continuous-attributes-17-320.jpg)
![分類精度と計算時間
Kernel
GraphHopper
PROP-diff [16]
PROP-WL [16]
SP [17]
CSM [14]
WL [2]
ENZYMES
69.6 ± 1.3 (120 1000 )
37.2 ± 2.2 (1300 )
48.5 ± 1.3 (10 900 )
71.0 ± 1.3 (3 d)
69.4 ± 0.8
48.0 ± 0.9 (1800 )
PROTEINS
74.1 ± 0.5 (2.8 h)
73.3 ± 0.4 (2600 )
73.1 ± 0.8 (20 4000 )
75.5 ± 0.8 (7.7 d)
OUT OF MEMORY
75.6 ± 0.5 (20 5100 )
AIRWAYS
66.8 ± 0.5 (1 d 7 h)
63.5 ± 0.5 (40 1200 )
61.5 ± 0.6 (80 1700 )
OUT OF TIME
OUT OF MEMORY
62.0 ± 0.6 (70 4300 )
SYNTHETIC
86.6 ± 1.0 (120 1000 )
46.1 ± 1.9 (10 2100 )
44.5 ± 1.2 (10 5200 )
85.4 ± 2.1 (3.4 d)
OUT OF TIME
43.3 ± 2.3 (20 800 )
Table 2: Mean classification accuracies with standard deviation for all experiments, significantly
best accuracies in bold. OUT OF MEMORY means that 100 GB memory was not enough. OUT
OF TIME indicates that the kernel computation did not finish within 30 days. Runtimes are given in
parentheses; see Section 3.1 for further runtime studies. Above, x0 y 00 means x minutes, y seconds.
• SPは精度が高いが遅い
• WLは離散ラベルに応用
• PROPは, 属性に対してLSHをかけて, 既存の
カーネルを使う(精度が悪い)
• 精度はSPと同程度でありながら高速](https://image.slidesharecdn.com/nips2013readingtabei-140123100228-phpapp02/85/NIPS2013-Scalable-kernels-for-graphs-with-continuous-attributes-18-320.jpg)
NIPS2013読み会: Scalable kernels for graphs with continuous attributes
- 1. NIPS reading@Univ of Tokyo, Jan. 23, 2014 Scalable kernels for graphs with continuous attributes A.Feragen, N.KasenBurg, J.Petersen, M.Bruijne, K.Borgwardt 読む人: 田部井 靖生 (JST)
- 2. 発表概要 • 連続値ベクトルをノード属性として, 長さをエッジ として持つグラフに対するカーネルを提案 – カーネル 類似度 • GraphHopper Kernel – ２つのグラフ中に存在する同じ長さの最短路のノードの類 似度を足し算 – 前向き後ろ向き計算(message-passing)で効率的に計算 可能 • 結果: 高速, 分類性能は既存のカーネルと同じぐらい
- 3. Graph kernels • グラフの類似度計算に関する機械学習の一分野 • グラフG,G のカーネルは特徴ベクトル , (G )の内積で定義 K(G, G ) =< (G), (G ) > – KはG,G の類似度 • 応用 – 分類 (SVM), 回帰, 検定 etc
- 5. Graph kernels • グラフカーネルは共通する部分グラフの数をカ ウントする – (G) = パス,木,サイクルetcを成分とするベクトル • すべての部分グラフをカウントするカーネルは NP困難 (Gartner et al., 2003) • これまでに多くのグラフカーネルが提案されて いる (主に離散ラベル) – RW (ICML,2003, COLT,2003) – WLKernel (NIPS, 2009) – NH Kernel (ICDM,2009)
- 7. 実数値をエッジに, 連続値ベクトル をノードに持つグラフ • グラフG=(V,E) with lengths : E d attributes A : V 1.2 2.3 0.1 0.1 1.2 1.3 1.2 3.5 1.2 0.8 1.5 1.2 1.3 0.5 2.2 1.3 • • • • +, タンパク質 化合物 AIRWAYS etc node
- 8. 既存のGraph Kernels • Shortest path kernel (ICDM,2005) – ノード属性の類似度をknで計算, パスの類似度をノー ドペアーの最短距離dGをklで計算 KSP (G, G ) = v,w V v ,w V kn (v, v ) · kl (dG (v, w), dG (v , w )) · kn (w, w ) ノードの 最短路距離の類似度 類似度 • O(n4)時間 (n:ノード数) – 大きいグラフに対しては有効でない ノードの 類似度
- 9. Overview of proposed method • 連続値ベクトルをノードに属性値として持つグラフに対 するカーネルを提案 (GraphHopper Kernel) • 類似度は, ２つのグラフ中に存在するすべての同じ長さ の最短路に沿ったノードの類似度の和 – グラフを渡り歩きながら計算 • 計算を上手く分割することにより, あるノードを通過す る個数を前向き後向き計算で計算可能 O(n2 (m + log n + 2 + d)) 時間 • - n: ノード数, m:エッジ数, δ:直径, d:ノード属性の次元 実際のグラフではO(n2)に振る舞う
- 10. GraphHopper Kernel • 2つのグラフの同じ長さの最短路上の対応する各ノード のカーネルの和 • 長さ1からδ(直径)まで計算 K(G, G ) = kp ( , F, kp ( , )= 0 ) F | | j=1 kn ( (j), (j)) if | | = | | otherwise Kn( n( K Kn( , , , )+ ) + ) 順番が重要
- 11. グラフ間からグラフ内計算 • ノードカーネルの重み付き和として計算可能 – wはグラフの構造をエンコード • wが計算できれば, n n で計算可 k(G, G ) = w(v, v )kn (v, v ) v V,v V w(v, v ) = i=1 j=1 #{ | (i) = v, | | = j}#{ | (i) = v , | | = j} Gに長さjの最短路πでi番目にvが現れる回数 例: ｊ=2の場合 v • グラフ内での計算問題に帰着 v
- 12. ｖを経由する最短路を分割 #{ | (i) = v, | | = j} : 距離jの最短路πでvがi番目に出現する回数 ＝ ( v から距離jの最短路πでvがi番目に出現する回数) ˜ v V ˜ • あるノードから他のすべてのノードへの最短路はDAGとなる ˜ G v v v v ˜ Gv v ˜ ˜ v • DAG Gv 上で ˜ ˜ ( v からvの長さiの最短路の個数) (vから長さj-iの最短路の個数) v V ˜ 前向き計算 後ろ向き計算
- 13. DAG Gv 上のvを前向き計算 ˜ • v から各ノードへの距離j(=1,…,δ)の最短路の個数を計算 ˜ • 各のノードvは距離j(=1,…,δ)の最短路の個数 c(v) v 1. 初期化: c(˜) = 1, それ以外を c(v) = 0 v ˜ 2. v に対する子ノード(j=1のノード)に対して, 0 c(˜)= 01を伝 搬する 3. v から距離j=2,…,δのノードvに対して0c(v)を子ノードに ˜ 伝搬する 1 1 +01 01 +01 01 01 +001 +001 +001 +01 0 0 0 0 0 002 001
- 14. DAG Gv 上の後ろ向き計算 ˜ • vを始点とした, 距離j(=1,…,δ)の最短路の個数 1. 初期化: c(v)=1 2. 入次数0のノードvに隣接するノードに0c(v)=01を伝搬 する 3. vから距離j=2,…,δのノードv に隣接するノードに 0c(v )を伝搬する 133 1 1 1 1 1 1 +011 +01 1 +012 11 12 +01 +01 +01 1 1
- 15. 計算時間 O(n2 (m + log n + d + • • • • • 2 ) 時間 n: ノード数 m: エッジ数 d: ノードattributeの次元 δ: グラフ直径 • 現実世界のグラフでO(n2)に振る舞う
- 16. 実験 • データ: ENZYMES, PROTEINS, AIRWAYS, SYNTHETIC • 評価尺度: 計算時間, 分類精度(10-fold cross validation) • 比較相手: – Propergation kernel (PROP)[ECML,12] – Shortest pass kernel (SP) [ICDM,05] – connected matching subgraph kernel (CSM) [ICML,12], – Weisfeiler-Lehman kernel (WL)[NIPS,09]
- 17. データーセット • ノード属性の類似度 kn (v, v ) = exp( |||A(v) A(v )|2 ) • ENZYMES [NAR,2004] • PROTEINS [JMB,2003] • AIRWAYS [IPMI,2011] Number of nodes Number of edges Graph diameter Node attribute dimension Dataset size Class size ENZYMES 32.6 46.7 12.8 18 600 6 ⇥ 100 PROTEINS 39.1 72.8 11.6 1 1113 663/450 AIRWAYS 221 220 21.1 1 1966 980/986 SYNTHETIC 100 196 7 1 300 150/150 Table 1: Data statistics: Average node and edge counts and graph diameter, dataset and class sizes.
- 18. 分類精度と計算時間 Kernel GraphHopper PROP-diff [16] PROP-WL [16] SP [17] CSM [14] WL [2] ENZYMES 69.6 ± 1.3 (120 1000 ) 37.2 ± 2.2 (1300 ) 48.5 ± 1.3 (10 900 ) 71.0 ± 1.3 (3 d) 69.4 ± 0.8 48.0 ± 0.9 (1800 ) PROTEINS 74.1 ± 0.5 (2.8 h) 73.3 ± 0.4 (2600 ) 73.1 ± 0.8 (20 4000 ) 75.5 ± 0.8 (7.7 d) OUT OF MEMORY 75.6 ± 0.5 (20 5100 ) AIRWAYS 66.8 ± 0.5 (1 d 7 h) 63.5 ± 0.5 (40 1200 ) 61.5 ± 0.6 (80 1700 ) OUT OF TIME OUT OF MEMORY 62.0 ± 0.6 (70 4300 ) SYNTHETIC 86.6 ± 1.0 (120 1000 ) 46.1 ± 1.9 (10 2100 ) 44.5 ± 1.2 (10 5200 ) 85.4 ± 2.1 (3.4 d) OUT OF TIME 43.3 ± 2.3 (20 800 ) Table 2: Mean classification accuracies with standard deviation for all experiments, significantly best accuracies in bold. OUT OF MEMORY means that 100 GB memory was not enough. OUT OF TIME indicates that the kernel computation did not finish within 30 days. Runtimes are given in parentheses; see Section 3.1 for further runtime studies. Above, x0 y 00 means x minutes, y seconds. • SPは精度が高いが遅い • WLは離散ラベルに応用 • PROPは, 属性に対してLSHをかけて, 既存の カーネルを使う(精度が悪い) • 精度はSPと同程度でありながら高速
- 19. est accuracies in bold. OUT OF MEMORY means that OF TIME indicates that the kernel computation did not fin ノード数に対する計算時間 arentheses; see Section 3.1 for further runtime studies. A 4 3.5 3 2.5 2 1.5 1 0.5 0 0 50 100 150 200 250 300 350 400 450 500
- 21. グラフ直径に対する計算時間 （PROTEINS) 0.035 0.03 0.025 0.02 0.015 0.01 0.005 0 0 5 10 15 20 25 runtime on n, and m on synthetic and real graph datasets.
- 22. まとめ • 連続値の属性(ベクトル)をノード, 連続値をエッ ジに持つグラフのためのGraphHopper Kernel • ２つのグラフ中に存在するすべての同じ長さの 最短路上のノードの類似度の足しあわせ – 前向き後向き計算計算 • 精度はshortest path kernelと同程度, 計算時間 は高速