【論文紹介】How Powerful are Graph Neural Networks?
Download as PPTX, PDF4 likes4,843 views
【論文紹介】How Powerful are Graph Neural Networks?
- 1. How Powerful are Graph Neural Networks? 2019-07-05 @ ダイキンアレス青谷 紹介 大知 正直（東京大学） Keyulu Xu, Weihua Hu, Jure Leskovec, Stefanie Jegelka
- 2. とても重要な論文だと思いました ● ICLR(International Conference on Learning Representations：表現学習に関 するトップ会議) 2019のオーラルペーパー ○ Open Review のため，丸見え．投稿してボコボコにされて不採択になると業界内でちょっと 有名になってしまったりする恥ずかしいシステム ● 投稿数1449 papers, 採択率36%, 口頭発表はうち24件 ● 本論文は口頭発表 ０．論文の諸元 ● スタンフォード大CS学部准教授 ● 大規模ネットワークに関する研究が専門 ● 主観 ○ 機械学習手法とそれを用いた分析に関する論文をバランスよく出している ○ 先進的な論文が他から出る→即数学的な整理をして若干スマートな論文を出版 しフォロー，その分野の第一人者になる傾向 ○ SNAPというネットワーク分析ライブラリに取り込み業界標準化を行うJure Leskovec ※ 第３著者は有名人
- 3. GNN, GCN全般の表現力が足りない件について分析した ● 問題意識 ○ GNN,GCNの手法群の精度が頭打ちなのはなぜなのか ● 分析方法&結果 ○ GNN, GCNの表現力をWeisfeiler-Lehman Testというグラフの同型性の判別方法 との類似性を元に分析 ○ GNN, GCNのアーキテクチャを集約(Aggregate)，結合(Combine)，読み出し (Readout)の３つの部分に分け，特にAggregationの部分での差を多重集合 (Multiset)という概念でこれまでのGNN系のAggregation手法を分類，分析を行っ た ○ 分析の結果，最も表現力の高いSummationによるAggregationを行うGIN(Graph Isomorphism Network)という手法を提案し，SOTAを達成 ● 結論 ○ 隣接ノードの集約を行うアーキテクチャの決着をつけ，その先の手法の開拓の必 要性を示した 1. 概要
- 4. Graph Convolutional Network的な手法，多すぎ・・・ ２. 背景 Zhang, Ziwei & Cui, Peng & Zhu, Wenwu. (2018). Deep Learning on Graphs: A Survey.
- 5. GNN, GCNの手法がたくさん提案されている状況だが精度が頭打ち感 ● RNN系：Yujia Li, Daniel Tarlow, Gated graph sequence neural networks: ICLR2016 ● CNN系： ○ William L Hamilton, Rex Ying, and Jure Leskovec., Inductive representation learning on large graphs: NIPS2017 ○ Thomas N Kipf and Max Welling. Semi- supervised classification with graph convolutional networks: ICLR2017 ● Attention系：Petar Velickovic, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Lio, and Yoshua Bengio. Graph attention networks: ICLR2018 ● 無理やりDeepにしてみたよ系：Keyulu Xu, Chengtao Li, Yonglong Tian, Tomohiro Sonobe, Ken-ichi Kawarabayashi, and Stefanie Jegelka. Representation learning on graphs with jumping knowledge networks. ICML2018 2. 背景 Keyulu Xu, Chengtao Li, Yonglong Tian, Tomohiro Sonobe, Ken-ichi Kawarabayashi, and Stefanie Jegelka. Representation learning on graphs with jumping knowledge networks. ICML2018 R-GCN GAT JK-Net
- 6. Graph Neural NetworkはDeepにしても全然精度があがらない 2. 背景 Kipf, Thomas N., and Max Welling. "Semi-supervised classification with graph convolutional networks." arXiv preprint arXiv:1609.02907 (2016).
- 7. 理論解析をして次のブレイクスルーの可能性を示そう ● それぞれの手法の問題点 ○ それぞれが適当なタスクでSOTAを主張している ○ ほとんどのGNNが経験からの直感，ヒューリスティクス，試行錯誤であみだされ たもの ○ GNNの持つ特性，制限に対する理論的な理解，表現能力に対する数理的な解析が ほとんどされていない ● 本論文では ○ GNNの表現力分析に関する理論的フレームワークを提案 ■ Weisfeiler-Lehman Testというグラフ同型判別に関する方法を元にしている ○ グラフの構造と各GNNの表現力の限界について明らかにする 2. 背景
- 8. ● 対象とするタスク ○ ノード分類 ■ ノードにつけられたラベルを予測するタスク ○ グラフ分類 ■ グラフが複数ある状態でグラフにつけられたラベルを予測するタスク ● Graph Neural Networkの定式化 ○ 集約 ○ 結合 ○ 読み出し 3. 準備 ※読み出しは複数グラフの識別の場合に用いる
- 9. ● Aggregate, Combineによる各手法の分類 ○ GraphSAGE ○ GCN 3. 準備
- 10. ● Weisfeiler-Lehman test ○ グラフ同型問題を判定する手法の１つ 3. 準備 グラフ同型判別問題の例 そこそこの精度多重集合(multiset): 重複有りの集合
- 11. WLtestはGCNに似てる ● Weisfeiler-Lehman test a. ラベル付きのノードを想定 （なければ数字をふる） b. 隣接ノードのラベルを集め ，ソート c. ラベル群を並べる d. 新しいラベルをふる e. ラベルごとに各グラフのノ ード数を特徴ベクトル化， 内積で比較 3. 準備
- 12. ● 左のグラフに対し ● WLtestに用いるサブツリーを構築（真ん中） ● GNNのaggregationがWLtestと同等の性能を示す場合，すべてのノードに対 し異なる分散表現を獲得できるはず ● この考え方を元に最も表現力のあるAggregationのしくみを考えていく 4. 提案するフレームワーク
- 13. 5. 強いGNNの構築 ● 最強のGNNとは ○ 異なるグラフ構造を持つ全てのグラフを空間上の異なる点に写像するもの ● 単純化すると，どの構造の異なる２つのG1,G2においても異なるベクトル空間への写 像を行うことができる，ということ ● GNNの各層において，集約f,結合Φにおいて，それぞれ単射されていれば良い ● 最終的なグラフの読み出し層においても単射されていなければならない
- 14. 5. Graph Isomorphism Network(GIN)の提案 ● 最強のGNNとは ○ 異なるグラフ構造を持つ全てのグラフを空間上の異なる点に写像するもの ● 単純化すると，どの構造の異なる２つのG1,G2においても異なるベクトル空間への写 像を行うことができる，ということ ● GNNの各層において，集約f,結合Φにおいて，それぞれ単射されていれば良い ● 最終的なグラフの読み出し層においても単射されていなければならない ● Aggregation&Combination ● Readout GIN
- 15. ● GINでMLPを用いる理由 ○ 1layerのPerceptronだとΣX1=ΣX2の ような場合，同一座標へ写像してし まうため ○ 他の多くのGCN系の手法（GCN， GraphSAGE）では1layerの Perceptronを用いている 5. 強く無いGNNの分析 ● 1layer Perceptronの例(GraphSage)
- 16. 総和によるaggregationが最も表現力が高い ● Aggregationの分析 5. 強く無いGNNの分析 ただしMean Aggregatorはノードラベルが非常に多様な場合は強い
- 17. 総和によるaggregationが最も表現力が高い ● まとめ ○ 表現力はSumが最高 ○ Mean Aggregationはノードが多様なほど表現力がSumと同等になる ○ Max Pooling Aggregationは外れ値に強くグラフの概形（Skelton）を掴むのに有効という報告 がされている 5. 強く無いGNNの分析
- 18. ● Datasets: ○ 9 graph classification benchmarks: ■ 4 bioinformatics datasets (MUTAG, PTC, NCI1, PROTEINS) ● Node ラベル：元素やアミノ酸などの分類 ■ 5 social network datasets (COLLAB, IMDB-BINARY, IMDB-MULTI, REDDIT- BINARY and REDDIT-MULTI5K) ● Nodeラベル：REDDIT：すべて同じラベル，その他：ノードの次数をワンホット ベクトルとしてラベリング ● Models & Configuration ○ GINのパラメータを振ったもの(5GNN layer, 2 MLP layer for each GNN layer) ■ εを学習するか0で固定するか ■ MLPをSLPにするか ■ Aggregationをsum,mean,max-poolingにするか ○ BaseLine ■ 最近報告されている手法の結果を論文で報告されている値から取ってきたもの 6. 実験
- 21. ● GIN：ソーシャル・ネットワークで強い ○ ノード数が多い→Sum aggregationが有効に働きやすい ○ GIN-eよりもGIN-0が良い結果な場合が多いのはモデルの単純さが学習効率をよくしているの ではないか 6. 結果
- 22. ● GNNはせいぜいWLtestと同程度のグラフ判別能力しか持たない ● 設定した条件のもとではWLtestと同等の能力を発揮することができる ● GCNやGraphSAGEでは区別できないようなグラフ構造を特定し，そうした 構造も特定できるようなGNNベースのモデルを提案した ● GINモデルを開発し，それがWLtestと同等の表現力を有することを示した 今後 ● 単なる隣接ノードの情報を集めていく方法は限界で，より抽象的なレベルで の改善が求められる まとめ