SuperGlue;Learning Feature Matching with Graph Neural Networks (CVPR'20)

Mobility Technologies Co., Ltd.
SuperGlue
Learning Feature Matching with Graph Neural Networks
株式会社Mobility Technologies
内田祐介
JapanCV
CVPR2020読み会（前編）

コンテキストを考慮した教師あり特徴点マッチング手法
SuperGlue
2
単純な最近傍
＋距離閾値
SuperGlue
緑：正解マッチング
赤：誤マッチング

各画像領域の対応関係、2枚の画像を撮影したカメラ間の位置算出
三次元復元、Visual SLAM、画像検索、AR等で必須の工程
特徴点マッチングは非常に重要な問題
3

SuperGlueの役割
4
通常の画像間特徴点マッチングパイプライン

Detection, Description, and Feature Matching
5
① Detection: Extract local regions
(patches) from images
② Description: Describe the patches
by d-dimensional vectors
③ Matching: Make correspondences
between similar patches
Position (x, y)
Orientation θ
Scale σ
Feature vector f
(e.g., 128-dim SIFT)
Local feature

“Classical” Detector
6
Hessian
Beaudet’78
Harris
Harris’88
LoG
Lindeberg’98
DoG
Lowe’99
SURF
Bay’06
Harris-Laplace
Mikolajczyk’01
Hessian-Affine
Mikolajczyk’04
Harris-Affine
Mikolajczyk’02
FAST
Rosten’05
Affine-invariant
Scale-invariant
Rotation-invariant
LoG scale seletion
Affine adaptation
Multi-scale +
Box filter acceleration
LoG approximation
Hessian-Laplace
Mikolajczyk’01
Oriented FAST
Rublee’11
SUSAN
Smith’97 Simplification
+ tree acceleration
Orientation
Corner-like
Blob-like
(SIFT)
(ORB)

“Classical” Descriptor
7
SIFT
Lowe’99
SURF
Bay’06
BRIEF
Calonder’10
ORB
Rublee’11
GLOH
Mikolajczyk’05
FREAK
Alahi’12
A-KAZE
Alcantarilla’13
LDB
Yang’12
LATCH
Levi’16
BRISK
Leutenegger’11
Real-valued
Binary
(0.56, 0.22, -0.10, …, 0.96)
(1, 0, 0, …, 1)
RootSIFT
Arandjelovic’12
画像検索今昔物語
https://www.slideshare.net/ren4yu/image-retrieval-overview-from-traditional-local-features-to-recent-deep-learning-approaches
Local Feature Detectors, Descriptors, and Image Representations: A Survey
https://arxiv.org/abs/1607.08368

LIFT, DELF, SuperPoint, D2-Net
最近のトレンドはD2-Netのように1つの特徴マップで
detection + descriptionする系？
“Learned” Detector and Descriptor
8

単純なdescriptorの最近傍マッチングでは大量の誤対応が発生
Heuristics
• 閾値：単純に一定距離のマッチングのみを残す
• Ratio test: 最近傍と第二近傍の距離の比を利用
• Mutual check: お互いがお互いの最近傍となるマッチングのみを残す
Learned
• e.g. Learning to Find Good Correspondences, CVPR’18.
Outlier Filtering
9

既存の局所特徴を入力とし、それらのマッチング結果を出力する
SuperGlueの役割
10

正確に言うと…
11

SuperGlueのパイプライン
12
入力
descriptor d
座標 p = (x, y, c)
cは信頼度
Keypoint Encoder

Self layerとcross layerを交互に適用することでdescriptorを
update
Attentional Graph Neural Network
13

Self layer
• 同一画像内のdescriptorで
完全グラフを構成
Cross layer
• 画像間のdescriptorで
完全二部グラフを構成
Self layerとcross layer
14
画像引用元
https://ja.wikipedia.org/wiki/%E5%AE%8C%E5%85%A8%E3%82%B0%E3%83%A9%E3%83%95
https://ja.wikipedia.org/wiki/%E5%AE%8C%E5%85%A82%E9%83%A8%E3%82%B0%E3%83%A9%E3%83%95
画像Aのdescriptor node 画像Bのdescriptor node
画像Aのdescriptor node
画像Bのdescriptor node

Self layerとcross layerを交互に適用することでdescriptorを
update
Attentional Graph Neural Network
15
concat

Message Passing with Self Attention
16
self or cross
qとkの類似度に
基づいた重み
vの重み付け和

完全にBERT
17
BERT入門
https://speakerdeck.com/shimacos/graph-neural-networkswowan-quan-nili-jie-sitai

GNNの出力からmatching descriptor、score matrix Sを計算
• xを線形変換して、内積でSを計算するだけ
Score Matrix
18

Score matrixは、各特徴点のマッチング結果を表現
オクルージョンや再現性のない特徴点はマッチング相手がいない
この情報を明示的に表現するためdustbinを追加
Dustbin追加
19
learnable
parameter z

Score matrixから実際のマッチング結果（割当）を求めたい
Soft assignment problem
Sinkhorn algorithm（row, columnを交互に正規化することを
繰り返す）により二重確率行列化
Sinkhorn algorithm
20

既知の画像間の変換パラメータから
正解ペアと、マッチングしなかった特徴点集合を作成、教師とする
Loss
21
正解ペア
画像Aの
マッチングしなかった
特徴点集合
画像Bの
マッチングしなかった
特徴点集合

RandomなHomography変換（＋photometric distortions）を
行った画像ペアに対してマッチングの精度（P, R）と
homographyの精度（AUC; 10pxまで許容した際の精度曲線）
Homography estimation
22

pose error is the maximum of the angular errors in rotation
and translation
Wide-baseline indoor pose estimation
23

Outdoor pose estimation
24

Ablation Study
25

一部特徴点数Nに対してN^2の計算量なので
もとの特徴が良いに越したことはない
高速化のニーズはありそう
速度
26

徐々に正解にたどり着いている
ように見える
Attention可視化
27

 https://github.com/magicleap/SuperGluePretrained
Network/blob/master/models/superglue.py
実装シンプル
28

教師あり特徴点マッチング手法
任意のdetector/descriptorに適用可能
納得感のあるパイプライン、ステップは多いがシンプル
結果しゅごい
どの程度汎化能力があるのか？
まとめ
29

文章·画像等の内容の無断転載及び複製等の行為はご遠慮ください。
30

SuperGlue;Learning Feature Matching with Graph Neural Networks (CVPR'20)

More Related Content

What's hot (20)

Similar to SuperGlue;Learning Feature Matching with Graph Neural Networks (CVPR'20) (20)

More from Yusuke Uchida (20)