Feature Erasing and Diffusion Network for Occluded Person Re-Identification

Copyright © 2020 調和系工学研究室 - 北海道大学大学院情報科学研究院情報理工学部門複合情報工学分野 – All rights reserved.
Feature Erasing and Diffusion
Network for Occluded Person
Re-Identification
北海道大学大学院情報科学研究院
情報理工学部門複合情報工学分野調和系工学研究室
西浦翼

論文情報 2
著者
・Zhikand Wang, Feng Zhu, Shixiang Tang 他
発表
・CVPR2022
概要
・オクルージョン消去モジュール(OEM)と特徴拡散モジュール(FDM)を導入
したReIDモデル、FEDを提案
・Re-IDのベンチマークでSoTAを達成
リンク
・論文：https://arxiv.org/abs/2112.08740
・git：https://github.com/ZacharyWang-007/FED-Occluded-ReID

3
研究背景
• Person ReID (Re-Identification)
– 異なるカメラ、視点、明るさ、場所で撮影された
人物画像から同一人物の判定をするタスク
– この分野のデータセット・モデルは基本的に、全
身画像が対象
– 実環境ではオクルージョンが発生
ex)駅、学校、病院、ショッピングモールなど
• ReID分野の大きな課題
– NPO (Non-Pedestrian Occlusions)
障害物とのオクルージョンのこと
– NTP (Non-Target Pedestrians)
注目したい人物以外の人物

4
研究背景
• ReIDの最先端手法
– Human key points
人物の特徴的なポイントに注目
– Human parsing information
人間の概形の情報を使用
– 身体情報 → 特徴抽出という流れでNPOを回避
• 最先端手法の課題
1. NTPに弱い（NTPの特徴がノイズとして混入）
2. Human parsingは荷物を認識できない
3. 計算量が多く、リアルタイムに不向き

5
研究背景
• NPOには強いがNTPに弱い
– Pose estimation：HRNet (2019)
– Human parsing：PSPNet (2017)

6
概要
• FED (Feature Erasing and Diffusion network)を提案
– OEM ( Occlusion Erasing Module)
– FDM (Feature Diffusion Module)
– NPOとNTPに強い
• 有効性を検証
– Occluded Datasets 3種類
– Holistic Datasets 2種類
– 特にOccluded DatasetsでRank-1、mAPがSoTA

7
提案モデル FED
NPO
Augmentation
Strategy
Occlusion
Erasing
Module
Feature
Diffusion
Module
• 特徴抽出にはViTを使用
• 2つのブランチでパラメータは共有
• FDMは補助モジュールで推論には使わない

8
NPO Augmentation Strategy
• 従来手法
1. ランダムな矩形をランダムな値で置換
過学習に強い、オクルージョンにロバスト
汎化性能が低い、何とのオクルージョンかわからない
2. 選択した物体や背景を貼り付け
オクルージョンのシミュレーションでロバスト
オクルージョンの領域がわからない
• 提案手法
– オクルージョンの補強
– マスク生成

9
NPO Augmentation Strategy
• オクルージョンの補強
– 経験的に、オクルージョンの発生個所は4か所(上下左右)
– 経験的に、面積は1/4~1/2
– 手動でオブジェクト・背景を切り出してパッチセット作成
– 入力画像にリサイズ・パディング・ランダムクロップ
– ランダムクロップ・リサイズしたパッチを画像に貼り付け
• マスク生成
– オクルージョンは垂直方向と水平方向の2種
– ReIDモデルにとって垂直方向の判別は容易
– 人物矩形を上から4分割
– 水平方向にマスクを適用

10
Occlusion Erasing Module
• OEMは4つのサブモジュールから構成
• FC層、normalization、FC層、シグモイド層
• 第1FC層で次元を1/4にして意味的情報を抽出
• シグモイド層でオクルージョンスコア si を計算
• オクルージョンスコアと特徴量の積を計算
• OEMの学習を監視するため、マスクとMSEを計算

11
Feature Diffusion Module
• NTP対策で複数人画像をシミュレーションしたい
• 画像特徴量の集合、メモリバンクを使用
• 入力特徴量とメモリバンク内の類似別人で cross attention
• FFN(feed forward network)は2つのFCと活性化関数
• 特徴レベルでTPに類似したNTPを生成
• 学習時のみ使用、推論では使用しない

12
損失関数
• ID Loss：クロスエントロピー
• Contrastive Loss：クロスエントロピー
• Final Loss

13
実験
• データセット
– Occluded-DukeMTMC
702人15,629枚の学習、1,629人19,871枚の評価、最難関
– Occluded-REID
200人が各5枚の全身、5枚のオクルージョンで計2,000枚
– Partial-REID
60人600枚で全身、オクルージョン、一部のみなど
– Market-1501
– DukeMTMC-reID

14
実験
• オクルージョンデータセットでの評価
他を圧倒
NPO augmentationに関して
＊なしはO-Dukeのみ、
＊ありはMSMT17からも
パッチを作成

15
実験
• 全身データセットでの評価
SoTAならず

16
アブレーションスタディ
1. Baseline + RE
2. Baseline + NPO Aug
3. Baseline + NPO Aug + OEM
4. Baseline + NPO Aug + FDM
5. FED
順調に精度上がって、当然全部盛りが1番いい

17
• 定性評価
OEMがNPOを特定している
NTPには特に効果なし

18
• Trans ReIDと比較
• 上2段がNPO、下2段がNTP
• 緑が正解、赤が不正解
• 圧倒的に良い

19
結論
• NPOとNTPに対応したReIDモデルFEDを提案
• OEM(occlusion erasing module)でNPOを改善
• FDM(feature diffusion module)でNTPを改善
• 既存のデータセットで評価を行い、オクルー
ジョンを含むデータセットではSoTAを達成

Feature Erasing and Diffusion Network for Occluded Person Re-Identification

More Related Content

What's hot (20)

Similar to Feature Erasing and Diffusion Network for Occluded Person Re-Identification (20)

More from harmonylab (20)

Feature Erasing and Diffusion Network for Occluded Person Re-Identification