Capsule Graph Neural Network
- 1. Capsule Graph Neural Network DLゼミ 2019.11.08 北海道⼤学⼤学院情報科学院 調和系⼯学研究室 博⼠1年 平間友⼤ Zhang Xinyi*, Lihui Chen* *School of Electrical and Electronic Engineering Nanyang Technological University, Singapore 論⽂URL https://openreview.net/pdf?id=Byl8BnRcYm
- 2. 引⽤： Xinyi Zhang and Lihui Chen. Capsule graph neural network. ICLR, 2019. https://openreview.net/pdf?id=Byl8BnRcYm ・タイトル Capsule Graph Neural Network ・発表学会（ポスター） ICLR2019（International Conference on Learning Representations） ・著者 Zhang Xinyi, Lihui Chen ・所属 School of Electrical and Electronic Engineering Nanyang Technological University, Singapore ・実装 Tensorflow：https://github.com/XinyiZ001/CapsGNN Pytorch：https://github.com/benedekrozemberczki/CapsGNN. 論⽂情報
- 3. ・Graph Neural Networks（GNN）から学習した⾼品質のノード埋め込みは、幅広いノー ドベースのアプリケーションに適⽤されており、最先端（SOTA）のパフォーマンスを達成 している。しかし，スカラーノード表現ではノード/グラフの特徴を保存するには不⼗分で あると考える． ・CapsuleNeural Network（CapsNet）で提案されるカプセルの概念を⽤いたカプセルグ ラフニューラルネットワーク（CapsGNN）を提案し、既存のGNNベースのグラフ埋め込 みアルゴリズムの改善を⾏った．10個のグラフ構造化データセットを使⽤した広範な評価に より、CapsGNNはいくつかのグラフ分類タスクで他のSOTAテクニックよりも優れているこ とを検証した． 論⽂概要 Capsule Graph Neural Network（CGNN）構造
- 5. グラフとは Scarselli, Franco, et al. "The graph neural network model." IEEE Transactions on Neural Networks 20.1 (2008): 61-80. https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=4700287 グラフ構造データの例 SNS，辞書，構造式，画像？など，ノードとのつながり
- 6. Graph Convolutional Network Schlichtkrull, Michael, et al. "Modeling relational data with graph convolutional networks." European Semantic Web Conference. Springer, Cham, 2018. https://arxiv.org/pdf/1703.06103.pdf 参考：https://qiita.com/tktktks10/items/98d21133cf3e121676c3 ：ノード における 番⽬の中間層 ：Relation（関係）の集合 ：関係 におけるノードiの隣接ノードの集合 線形結合→活性化関数へ h(l+1) i i l + 1 R N r
- 7. CapusuleNet 畳み込み層 畳み込みカプセル層 (l) DigitCaps (l+1) 畳み込み層: 入力画像から256次元の特徴抽出 畳み込みカプセル層: 32 8次元 DigitCaps層: 16次元 10個(クラス)のベクトル CNN CapsNet ・CNNをベースとし、カプセル構造を持ったCapsNetを提案 - 特徴をスカラー→ベクトルで表現 - 各特徴ベクトル(カプセル)同⼠を繋ぐ - 画像内に存在するエンティティの特性を表現する ・ポーズ(位置,サイズ,⽅向)・幾何形状・速度 ・反射特性・⾊合い・テクスチャ Sabour, Sara, Nicholas Frosst, and Geoffrey E. Hinton. "Dynamic routing between capsules." Advances in neural information processing systems. 2017. 紹介スライド：https://www.slideshare.net/harmonylab/dynamic-routing-between-capsules-86065078
- 10. DigitCaps層から数字の画像を復元するデコーダー CapusuleNet ・DigitCapsは⼊⼒の特徴を捉えており，再現可能 ・Lossの計算に以下の式を加えることでより精度が向上している 紹介論⽂「CapsGNN」でもこれを利⽤(Lkは後述) Reconstruction Loss 復元画素値-⼊⼒値Loss = Lk + 0.0005 × ( )2
- 11. Capsule Graph Neural Network Capsule Graph Neural Network（CGNN）構造の概要 Block1）ノードカプセル抽出ブロック：GNNを適⽤し、異なる受容フィールドを持つローカル頂点の特徴を抽出し、Primary Capsulesを構築 Block2）グラフカプセル抽出ブロック：アテンションとルーティングを⽤いて、グラフカプセルを⽣成 Block3）グラフ分類ブロック：ルーティングを適⽤し、グラフ分類⽤のクラスカプセルを⽣成 →次ページから各ブロックの詳細について説明します． cl = 2 P = 16 d = 8 5層
- 12. Capsule Graph Neural Network Block1 GNN（GCN）を適⽤し、異なる受容フィールド を持つローカル頂点の特徴を抽出し、Primary Capsulesを構築 ：レイヤー のノード特徴量 i ：チャンネルの座標 ：チャンネル数 ：学習する重み⾏列 ：⾮線形活性化関数 ：情報変換⾏列 :グラフGの次数⾏列 ：グラフGの隣接⾏列 Zl l j d Wl f T D A GCNを利⽤したPrimary Capsuleの計算式 ⼊⼒グラフのノード特徴量の計算 正規化ラプラシアン⾏列？
- 13. Capsule Graph Neural Network Block2 Primary Capsuleからアテンションとルーティン グアルゴリズムを⽤いてグラフカプセルを⽣成 ・Attention ・Primary Capsuleのサイズは⼊⼒グラフのサイズに依存 →各ノードカプセルをスケーリングし，異なるグラフから⽣成されるグラフカプセルの サイズが⼤きく異る場合でも，⽐較可能にする ・グラフのより関連性の⾼い部分に着⽬できるようモデルをガイドする ↓ 2層の全結合層によるFFNでAttention値を求める（Additive Attention：加法注意）
- 14. Capsule Graph Neural Network ・Attentionモジュール ・Primary Capsuleをreshape ・2層の全結合層によって各チャンネルのアテンション値を⽣成 ・各⾏ごとに正規化（Node-based Normalization） ・スケーリングされたカプセルとPrimary Capsuleを乗算 ノード の全カプセルを連結n ノード の 番⽬のカプセルn i アテンション値
- 15. Capsule Graph Neural Network Block3 ⽣成されたグラフカプセルにルーティングを適⽤し， クラス分類を⾏うためのクラスカプセルを⽣成 Claasification Loss Reconstruction Loss ⼊⼒グラフがクラスkの場合， および が⼤きい場合における初期学習段階でカプセルの⻑さが短くなることを防⽌ クラス分類の場合0.5，バイナリは1 m + = 0.9,m − +0.1 Tk = 1 λ : K K：クラスk 再構成するのは⼊⼒ノードのヒストグラム ：⼊⼒グラフが持つ属性iのノード数 ：デコードされた値 ：⼊⼒グラフに属性 のノードが含まれる場合1 クラス分類においては，0.1にスケーリング mi di MPi i
- 19. 実験結果 ・カプセルの効果を確認するため，カプセルブロックを 全結合層に置き換えたものと⽐較する（テストデータ：NCI1） dn − dg − P : ノードカプセルの次元 : グラフカプセルの次元 : グラフカプセルの数 dn dg P Accuracy 全結合層の次元数 dg − P
- 22. ハイパーパラメータ