論文紹介：Segment Anything, SAM2: Segment Anything in Images and Videos
0 likes7 views
Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C. Berg, Wan-Yen Lo, Piotr Dollar, Ross Girshick, "Segment Anything", ICCV2023 https://openaccess.thecvf.com/content/ICCV2023/html/Kirillov_Segment_Anything_ICCV_2023_paper.html Nikhila Ravi, Valentin Gabeur, Yuan-Ting Hu, Ronghang Hu, Chaitanya Ryali, Tengyu Ma, Haitham Khedr, Roman Rädle, Chloe Rolland, Laura Gustafson, Eric Mintun, Junting Pan, Kalyan Vasudev Alwala, Nicolas Carion, Chao-Yuan Wu, Ross Girshick, Piotr Dollár, Christoph Feichtenhofer, "SAM2: Segment Anything in Images and Videos", arXiv2024 https://arxiv.org/abs/2408.00714
![モデル構造
◼画像エンコーダ
• MAE [He+, CVPR2022]で事前学
習されたViT [Dosovitskiy+,
ICLR2021]
◼マスクデコーダ
• 画像埋め込みとプロンプト埋め
込みをTransformerベースで統合
◼プロンプトエンコーダ
• 点, Bbox
• 位置埋め込み
• マスク
• 畳み込みネットワークで埋め込み
• テキスト
• CLIP [Radford+, ICML2021]を用
いて埋め込む](https://image.slidesharecdn.com/20250626segmentanything-250708062600-600991b3/85/Segment-Anything-SAM2-Segment-Anything-in-Images-and-Videos-6-320.jpg)
![実験
◼ ゼロショット単一点マスク評価
• 1つの点をプロンプトとして与える
• 1つのセグメンテーションマスクを出力
する
◼ データセット
• 23種類の多様なセグメンテーションベ
ンチマーク
◼ 評価方法
1. RITM [Sofiiuk+, ICDM2022]とのmIoU
比較
2. 人間による主観評価(1~10)](https://image.slidesharecdn.com/20250626segmentanything-250708062600-600991b3/85/Segment-Anything-SAM2-Segment-Anything-in-Images-and-Videos-9-320.jpg)
![実験
◼人間による主観評価
◼プロンプトの数を増やした場合
• SimpleClick [Wang+, arXiv2022]
• FocalClick [Chen+, CVPR2023]
◼プロンプトをランダムにした場合](https://image.slidesharecdn.com/20250626segmentanything-250708062600-600991b3/85/Segment-Anything-SAM2-Segment-Anything-in-Images-and-Videos-11-320.jpg)
![モデル構造
◼画像エンコーダ
• MAEで事前学習されたHiera
[Ryali+, ICML2023]
◼プロンプトエンコーダ
• SAMと同様
◼メモリアテンション
• Transformerベースのアテンション機構
• Self-Attebtion:現在フレームの自己注意
• Cross-Attention: メモリバンクの情報を
追加](https://image.slidesharecdn.com/20250626segmentanything-250708062600-600991b3/85/Segment-Anything-SAM2-Segment-Anything-in-Images-and-Videos-19-320.jpg)
![実験
◼PVSタスク
• 任意の動画で,ユーザーからのクリッ
クなどの簡易なプロンプトを使って,
対象オブジェクトを動画全体にセグ
メントできるか
◼比較手法
• SAM + Xmem [Cheng & Schwing,
ECCV2022]
• マスク伝播
• SAM + Cutie [Cheng et al.,
CVPR2023]
• ポイントベースVOS
◼評価方法
• オフライン処理とオンライン処理両
方で評価
• J & Fメトリック
• マスクの重なり(J)とマスクの境界
(F)を評価](https://image.slidesharecdn.com/20250626segmentanything-250708062600-600991b3/85/Segment-Anything-SAM2-Segment-Anything-in-Images-and-Videos-22-320.jpg)
![実験
◼半教師ありVOSタスク
◼比較手法
• SAM + XMem（マスク伝播）
• SAM + Cutie（ポイントベース
VOS）
• Cutie-base / Cutie-base+
• ISVOS [Wang et al., CVPR2022],
DEVA [Cheng et al., ICCV2023],
JointFormer [Zhang et al.,
arXiv2023] などの既存SOTAモデル
◼評価方法
• J & Fメトリック
• Geometry-awareメトリック
• YouTube-VOSの正式評価指標
◼データセット
• MOSE, DAVIS 2017, LVOS, SA-V,
YTVOS 2019](https://image.slidesharecdn.com/20250626segmentanything-250708062600-600991b3/85/Segment-Anything-SAM2-Segment-Anything-in-Images-and-Videos-26-320.jpg)
論文紹介：Segment Anything, SAM2: Segment Anything in Images and Videos
- 1. Segment Anything Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C. Berg, Wan-Yen Lo, Piotr Dollár, Ross Girshick, ICCV2023 SAM2: Segment Anything in Images and Videos Nikhila Ravi, Valentin Gabeur, Yuan-Ting Hu, Ronghang Hu, Chaitanya Ryali, Tengyu Ma, Haitham Khedr, Roman Rädle, Chloe Rolland, Laura Gustafson, Eric Mintun, Junting Pan, Kalyan Vasudev Alwala, Nicolas Carion, Chao-Yuan Wu, Ross Girshick, Piotr Dollár, Christoph Feichtenhofer, arXiv 2024 油谷陽樹（名工大 玉木・丁研） 2025/06/26
- 4. タスク設定 ◼プロンプトの種類 • 画像内の何をセグメンテーションす るかの情報 ▪ex) 座標, Bbox, マスク, テキスト ◼プロンプトをもとに妥当なセグ メンテーションマスクを出力
- 5. モデル構造 ◼処理の流れ 1. 画像を画像エンコーダを用いて埋め込む 2. プロンプトエンコーダでプロンプトの種類ごとに別の手法で埋め込む 3. マスクデコーダを用いて最大3つのマスクと信頼度スコアを生成する 4. 最もスコアの高いマスクを出力する
- 6. モデル構造 ◼画像エンコーダ • MAE [He+, CVPR2022]で事前学 習されたViT [Dosovitskiy+, ICLR2021] ◼マスクデコーダ • 画像埋め込みとプロンプト埋め 込みをTransformerベースで統合 ◼プロンプトエンコーダ • 点, Bbox • 位置埋め込み • マスク • 畳み込みネットワークで埋め込み • テキスト • CLIP [Radford+, ICML2021]を用 いて埋め込む
- 8. データセット ◼Segment Anything 1B (SA-1B) • 1100万枚の高解像度画像 • 11億以上のマスク ◼既存データセットと比較した利点 • 1画像あたりのマスク数が圧倒的に多い • 小さな物体にもマスクがついている • 形状の多様性は既存データセットと遜色 ない
- 9. 実験 ◼ ゼロショット単一点マスク評価 • 1つの点をプロンプトとして与える • 1つのセグメンテーションマスクを出力 する ◼ データセット • 23種類の多様なセグメンテーションベ ンチマーク ◼ 評価方法 1. RITM [Sofiiuk+, ICDM2022]とのmIoU 比較 2. 人間による主観評価(1~10)
- 11. 実験 ◼人間による主観評価 ◼プロンプトの数を増やした場合 • SimpleClick [Wang+, arXiv2022] • FocalClick [Chen+, CVPR2023] ◼プロンプトをランダムにした場合
- 12. 実験 ◼テキストに対するマスク評価 • テキストでセグメンテーション対象を指示 • 「a wheel」「beaver tooth grille」など ◼SAMの訓練時 • プロンプトにはCLIPの画像エンコーダで得たベクトルを使用 ◼テスト時 • CLIPのテキストエンコーダで得たベクトルをそのまま SAM に入力
- 13. 実験 ◼定性的評価 • “a wheel”, “beaver tooth grille” に関しては成功 • 構造が複雑な“whiper”では失敗 • 失敗した場合もプロンプトを 追加することで改善可能
- 14. まとめ ◼ プロンプト可能なセグメンテーションモデル SAM の提案 • 点, ボックス, マスク, テキストに対応する柔軟な入力プロンプト • ゼロショットで多様な画像・タスクに高精度なセグメンテーションを実現 ◼大規模データセット SA-1B の構築 • 11億マスクを含む世界最大級のセグメンテーションデータセット • ほぼ全てを自動生成しつつ, 人手レベルのマスク品質を維持
- 15. SAM2: Segment Anything in Images and Videos
- 16. 概要 ◼Segment Anything Model 2 (SAM2) • SAMを動画にも適用できるように一般化したもの
- 17. タスク設定 ◼Promptable Visual Segmentation (PVS) • 画像セグメンテーションを動画に拡張したタ スク • 任意のフレームでのプロンプトからセグ メントを定義し, 動画全体にそのマスクを 伝播・修正 • 必要に応じて追加フレームで補正プロン プトを与え, インタラクティブに修正可能
- 18. モデル構造 ◼ 処理の流れ 1. 各フレームを画像エンコーダで埋め込み, 特徴マップを得る 2. プロンプトをエンコーダで埋め込む 3. メモリアテンションで現在フレームの特徴に過去フレームの記憶を条件付ける 4. マスクデコーダで最大3つのマスクとスコア（IoU・オクルージョン）を生成する 5. 最もスコアの高いマスクを選択し、結果として出力する 6. 出力結果をメモリエンコーダに通して次フレームのための記憶として保存する
- 19. モデル構造 ◼画像エンコーダ • MAEで事前学習されたHiera [Ryali+, ICML2023] ◼プロンプトエンコーダ • SAMと同様 ◼メモリアテンション • Transformerベースのアテンション機構 • Self-Attebtion:現在フレームの自己注意 • Cross-Attention: メモリバンクの情報を 追加
- 20. モデル構造 ◼マスクデコーダ • 基本はSAMと同様の双方向 Transformer • オクルージョンヘッドを導入して現在 フレームに対象が存在するかを判断 ◼メモリエンコーダ • Hieraエンコーダが生成したイメージ埋め込みを再利用 • 予測されたマスク情報と融合させたメモリ特徴を生成
- 21. データセット ◼Segment Anything-Video (SA-V) • 5万本以上の動画から構成 • 総フレーム数 約420万 • 平均13.8秒/動画 • 合計約642万個のマスクレット • マスク数は 3550万枚以上 • 1000万以上は手動 ◼既存データセットと比較した利点 • 1動画あたりのマスク数が圧倒的に多い • 小さな物体や部品レベルのマスクも豊富 • 消失と再出現、遮蔽など複雑な動きに対応
- 22. 実験 ◼PVSタスク • 任意の動画で,ユーザーからのクリッ クなどの簡易なプロンプトを使って, 対象オブジェクトを動画全体にセグ メントできるか ◼比較手法 • SAM + Xmem [Cheng & Schwing, ECCV2022] • マスク伝播 • SAM + Cutie [Cheng et al., CVPR2023] • ポイントベースVOS ◼評価方法 • オフライン処理とオンライン処理両 方で評価 • J & Fメトリック • マスクの重なり(J)とマスクの境界 (F)を評価
- 24. 実験 ◼半教師ありVOSタスク • 最初のフレームのみプロンプトを与 え, あとは自動でセグメント ◼比較手法 • SAM + Xmem • SAM + Cutie ◼評価方法 • J & Fメトリック • マスクの重なり(J)とマスクの境界 (F)を評価 • JとFの平均 ◼17動画のベンチマークで比較 • DAVIS, MOSE, YouTube-VOS など
- 26. 実験 ◼半教師ありVOSタスク ◼比較手法 • SAM + XMem（マスク伝播） • SAM + Cutie（ポイントベース VOS） • Cutie-base / Cutie-base+ • ISVOS [Wang et al., CVPR2022], DEVA [Cheng et al., ICCV2023], JointFormer [Zhang et al., arXiv2023] などの既存SOTAモデル ◼評価方法 • J & Fメトリック • Geometry-awareメトリック • YouTube-VOSの正式評価指標 ◼データセット • MOSE, DAVIS 2017, LVOS, SA-V, YTVOS 2019
- 28. まとめ ◼時間軸に対応したセグメンテーションモデル SAM 2 の提案 • 点, ボックス, マスクなどのプロンプトをもとに, 画像・動画の両方で高精度な セグメンテーションを実現 • 過去のフレームを記憶するストリーミングアーキテクチャにより, 一貫性のある マスク伝播をゼロショットで達成 ◼動画向け大規模データセット SA-V の構築 • 5万本以上の動画からなる, 3550万個のマスクの動画セグメンテーションデータ セット • 自動マスク生成を活用しつつ, 19万枚の人手アノテーションで品質保証 • 小物体, 部分的可視, 再出現などの難しい事例にも対応