![エンコーダ（GCNではなくGNN）
𝒉𝒋
(𝟏)
= 𝒈 𝒏(𝒙𝒋)
𝒉(𝒊,𝒋)
(𝟏)
= 𝒈 𝒏𝟐𝒆([𝒉𝒊
𝟏
, 𝒉𝒋
(𝟏)
])
𝒉𝒋
(𝟐)
= 𝒈 𝒏𝟐𝒆(
𝒊
𝑵 𝒋
𝒉(𝒊,𝒋)
(𝟏)
)
𝒉(𝒊,𝒋)
(𝟐)
= 𝒈 𝒏𝟐𝒆([𝒉𝒊
𝟐
, 𝒉𝒋
(𝟐)
])
6
1層目
2層目](https://image.slidesharecdn.com/matome-190321051623/85/Graph-Refinement-based-Tree-Extraction-using-Mean-Field-Networks-and-Graph-Neural-Networks-6-320.jpg)
![ノード埋め込みからエッジ埋め込みへ(1層目)
𝒉(𝒊,𝒋)
(𝟏)
= 𝒈 𝒏𝟐𝒆([𝒉𝒊
𝟏
, 𝒉𝒋
(𝟏)
])
• ノード𝒊の特徴 : 𝒉𝒊
𝟏
• ノード𝒋の特徴 : 𝒉𝒋
𝟏
• 𝒈 𝒏𝟐𝒆(∙) : MLP
➡ 𝒉𝒊
𝟏
と𝒉𝒋
𝟏
を連結してMLPに入力
• 𝒉(𝒊,𝒋)
(𝟏)
: エッジ埋め込み（8次元）
• ノード 𝒊 と 𝒋 の特徴から2つノードの関係 𝒉(𝒊,𝒋)
(𝟏)
を出力
8](https://image.slidesharecdn.com/matome-190321051623/85/Graph-Refinement-based-Tree-Extraction-using-Mean-Field-Networks-and-Graph-Neural-Networks-8-320.jpg)
![ノード埋め込みからエッジ埋め込みへ（2層目）
𝒉(𝒊,𝒋)
(𝟐)
= 𝒈 𝒏𝟐𝒆([𝒉𝒊
𝟐
, 𝒉𝒋
(𝟐)
])
• ノード𝒊の特徴 : 𝒉𝒊
𝟐
• ノード𝒋の特徴 : 𝒉𝒋
(𝟐)
• 𝒈 𝒏𝟐𝒆(∙) : MLP
➡ 𝒉𝒊
𝟐
と𝒉𝒋
𝟐
を連結してMLPに入力
• 𝒉(𝒊,𝒋)
(𝟐)
: エッジ埋め込み（8次元）
• ノード 𝒊 と 𝒋 の特徴から2つの関係を 𝒉(𝒊,𝒋)
(𝟐)
出力
10](https://image.slidesharecdn.com/matome-190321051623/85/Graph-Refinement-based-Tree-Extraction-using-Mean-Field-Networks-and-Graph-Neural-Networks-10-320.jpg)
![エンコーダ
𝒉𝒋
(𝟏)
= 𝒈 𝒏(𝒙𝒋)
𝒉(𝒊,𝒋)
(𝟏)
= 𝒈 𝒏𝟐𝒆([𝒉𝒊
𝟏
, 𝒉𝒋
(𝟏)
])
𝒉𝒋
(𝟐)
= 𝒈 𝒏𝟐𝒆(
𝒊
𝑵 𝒋
𝒉(𝒊,𝒋)
(𝟏)
)
𝒉(𝒊,𝒋)
(𝟐)
= 𝒈 𝒏𝟐𝒆([𝒉𝒊
𝟐
, 𝒉𝒋
(𝟐)
])
• 1層でノードの1エッジ分のノードにアクセス
• 層を追加することでエンコーダの受容野を拡大することが可能
11
1層目
2層目](https://image.slidesharecdn.com/matome-190321051623/85/Graph-Refinement-based-Tree-Extraction-using-Mean-Field-Networks-and-Graph-Neural-Networks-11-320.jpg)
Graph Refinement based Tree Extraction using Mean-Field Networks and Graph Neural Networks
- 1. Graph Refinement based Tree Extraction using Mean-Field Networks and Graph Neural Networks 1
- 2. • 完全なグラフからサブグラフを取得するタスクに対して2つのモデルを提案 • Mean Field Networks(MFN) • Graph Neural Networks(GNN) • 胸部CTデータから気道を抽出するタスクで実験を行い， 「EXACT‘09 Challenge」の優勝モデルより精度が良い （MFN・GNNともに精度が良いが，GNNがより良い） • 主にGNNについて説明 2 概要
- 3. 前処理 • 3次元CT画像をLo（2010）の「Vessel-guided airway tree segmentation」の 訓練されたボクセル分類器を使用して確率マップに変換 （ボクセル当たりの強度を気道内腔に属するボクセルの確率に変換） • 気道ツリーの個々の分岐をモデル化するモデルと測定モデルを用いて， ベイズ平滑化を行う 3 CT画像 ボクセル確率画像 グラフ
- 4. 入力するグラフ • ノード情報（14次元） • ３次元画像内の空間位置 : 𝒙 𝒑 = 𝒙, 𝒚, 𝒛 • 局所半径 : 𝒓 • 向き : 𝒗 𝒙, 𝒗 𝒚, 𝒗 𝒛 • 上の７つのパラメータのそれぞれの平均・分散 • 初期接続𝑨𝒊𝒏 • 空間距離が最も近い１０個の隣接ノードを接続 4 グラフ
- 5. 教師データ • 参照隣接行列 ： 教師データの隣接行列 • 2つの気道セグメンテーション方法からの結果を エキスパートユーザが修正を加えることで得られる • Airway tree extraction with locally optimal paths • Vessel-guided airway tree segmentation: A voxel classification approach(EXACT’09優勝モデル) 5 入力グラフ 参照隣接行列による 接続のグラフ
- 6. エンコーダ（GCNではなくGNN） 𝒉𝒋 (𝟏) = 𝒈 𝒏(𝒙𝒋) 𝒉(𝒊,𝒋) (𝟏) = 𝒈 𝒏𝟐𝒆([𝒉𝒊 𝟏 , 𝒉𝒋 (𝟏) ]) 𝒉𝒋 (𝟐) = 𝒈 𝒏𝟐𝒆( 𝒊 𝑵 𝒋 𝒉(𝒊,𝒋) (𝟏) ) 𝒉(𝒊,𝒋) (𝟐) = 𝒈 𝒏𝟐𝒆([𝒉𝒊 𝟐 , 𝒉𝒋 (𝟐) ]) 6 1層目 2層目
- 7. ノード特徴からノード埋め込みへ(1層目) 𝒉𝒋 (𝟏) = 𝒈 𝒏(𝒙𝒋) • ノードの特徴 : 𝒙（ノード𝒋の特徴 : 𝒙𝒋 ）（14次元） • 𝒉𝒋 (𝟏) : ノード埋め込み(8次元) • 𝒈 𝒏(∙) : MLP(𝒏はノードという意味) ➡ 入力はノードの特徴ベクトル • 14次元のノード情報をMLPに入れて8次元のノードの特徴を出力 7
- 8. ノード埋め込みからエッジ埋め込みへ(1層目) 𝒉(𝒊,𝒋) (𝟏) = 𝒈 𝒏𝟐𝒆([𝒉𝒊 𝟏 , 𝒉𝒋 (𝟏) ]) • ノード𝒊の特徴 : 𝒉𝒊 𝟏 • ノード𝒋の特徴 : 𝒉𝒋 𝟏 • 𝒈 𝒏𝟐𝒆(∙) : MLP ➡ 𝒉𝒊 𝟏 と𝒉𝒋 𝟏 を連結してMLPに入力 • 𝒉(𝒊,𝒋) (𝟏) : エッジ埋め込み（8次元） • ノード 𝒊 と 𝒋 の特徴から2つノードの関係 𝒉(𝒊,𝒋) (𝟏) を出力 8
- 9. エッジ埋め込みからノード埋め込みへ（2層目） 𝒉𝒋 (𝟐) = 𝒈 𝒆𝟐𝒏( 𝒊 𝑵 𝒋 𝒉(𝒊,𝒋) (𝟏) ) • 𝒉(𝒊,𝒋) (𝟏) : エッジ埋め込み（8次元） • 𝑵𝒋 : ノード𝒋の隣接ノードのインデックス集合 • 𝒈 𝒆𝟐𝒏(∙) : MLP ➡ 注目ノード 𝒋 とその隣接ノード 𝒊 のエッジ埋め込み（ベクトル）の和 を入力 • 𝒉𝒋 (𝟐) : ノード埋め込み（8次元） • ノード 𝒋 の隣接ノードと隣接しているノードの和から新たにノード 𝒋の特徴を出力 9
- 10. ノード埋め込みからエッジ埋め込みへ（2層目） 𝒉(𝒊,𝒋) (𝟐) = 𝒈 𝒏𝟐𝒆([𝒉𝒊 𝟐 , 𝒉𝒋 (𝟐) ]) • ノード𝒊の特徴 : 𝒉𝒊 𝟐 • ノード𝒋の特徴 : 𝒉𝒋 (𝟐) • 𝒈 𝒏𝟐𝒆(∙) : MLP ➡ 𝒉𝒊 𝟐 と𝒉𝒋 𝟐 を連結してMLPに入力 • 𝒉(𝒊,𝒋) (𝟐) : エッジ埋め込み（8次元） • ノード 𝒊 と 𝒋 の特徴から2つの関係を 𝒉(𝒊,𝒋) (𝟐) 出力 10
- 11. エンコーダ 𝒉𝒋 (𝟏) = 𝒈 𝒏(𝒙𝒋) 𝒉(𝒊,𝒋) (𝟏) = 𝒈 𝒏𝟐𝒆([𝒉𝒊 𝟏 , 𝒉𝒋 (𝟏) ]) 𝒉𝒋 (𝟐) = 𝒈 𝒏𝟐𝒆( 𝒊 𝑵 𝒋 𝒉(𝒊,𝒋) (𝟏) ) 𝒉(𝒊,𝒋) (𝟐) = 𝒈 𝒏𝟐𝒆([𝒉𝒊 𝟐 , 𝒉𝒋 (𝟐) ]) • 1層でノードの1エッジ分のノードにアクセス • 層を追加することでエンコーダの受容野を拡大することが可能 11 1層目 2層目
- 12. デコーダ 𝜶𝒊𝒋 = 𝝈(𝒈 𝒅𝒆𝒄(𝒉 𝒊,𝒋 𝟐 )) • 𝒉(𝒊,𝒋) (𝟐) : ノード 𝒊 と 𝒋 の関係（エッジ埋め込み，8次元ベクトル） • 𝒈 𝒅𝒆𝒄(∙) : 線形層（出力1次元） • 𝝈(∙) : シグモイド関数 • 𝜶𝒊𝒋 : エッジ（1に近いほど接続している可能性が高い） • 出力された 𝜶 がサブグラフの隣接行列になる 12
- 14. データセット • デンマークの肺癌スクリーニング試験で得られた胸部スキャンデータ • 訓練データ:100 • テストデータ:32 14
- 15. • 予測された隣接行列を 使用して気道の中心線を プロット • ピンク GT（気道全体を描画） • 黄 正しく抽出できた部分 • 青 間違って抽出した部分 • 黒 抽出できなかった部分 実験結果 15 Baseline Voxel + RG （Voxel分類器） MFN GNN
- 16. 実験結果 16 • 𝑫𝒊𝒄𝒆 : 隣接行列の類似度 • 𝒅 𝑭𝑷 : 予測されたノードから教師データのノードの最小ユークリッド距離 • 𝒅 𝑭𝑵 : 教師データのノードから予測されたノードの最小ユークリッド距離 • 𝒅 𝒆𝒓𝒓 : (𝒅 𝑭𝑷 + 𝒅 𝑭𝑵)/𝟐 • 𝑻𝑳 : 予測された気道と教師データの気道の全長の割合 • 𝑭𝑷𝑹 : 予測された気道の教師データの気道のボクセルの割合