Spatial-Semancic Image Search by Visual Feature Synthesis
- 1. 1 CVPR2017輪読会 Spatial-Semantic Image Search by Visual Feature Synthesis @ketsumedo_yarou 2017/7/8
- 2. 2 Spatial-Semantic Image Search by Visual Feature Synthesis L. Mai 1 , H. Jin 2 , A. Lin 2 , C. Fang 2 , J. Brandt 2 , and F. Liu 1 spotlight 1 Portland State University 2 Adobe Resesarch 概要：「位置＋単語」クエリで画像検索 新しい：「空間＋w2v」のクエリキャンバスの提案
- 3. 3 Spatial-Semantic Image Search by Visual Feature Synthesis L. Mai 1 , H. Jin 2 , A. Lin 2 , C. Fang 2 , J. Brandt 2 , and F. Liu 1 spotlight 1 Portland State University 2 Adobe Resesarch 概要：「位置＋単語」クエリで画像検索 新しい：「空間＋w2v」のクエリキャンバスの提案 http://www.itmedia.co.jp/news/articles/1611/07/news142.html Adobe Max 2016で発表されていた CreativeCanvas?
- 4. 4 特徴量抽出 ➢ DB側の画像からは，GoogLeNet特徴量（InceptionV4, ImageNet pre-trained）を抽出しておく 画像 𝒇 ∈ ℝ40768 変換 𝒇 ∈ ℝ40768 ➢ クエリ側は，「縦＊横＊w2v」（ℝ31×31×300）で表現 ➢ それをGoogLeNet特徴と同じ次元に変換 ➢ そのような変換を求める
- 5. 5 特徴量抽出 ➢ DB側の画像からは，GoogLeNet特徴量（InceptionV4, ImageNet pre-trained）を抽出しておく 画像 𝒇 ∈ ℝ40768 変換 𝒇 ∈ ℝ40768 ➢ クエリ側は，「縦＊横＊w2v」（ℝ31×31×300）で表現 ➢ それをGoogLeNet特徴と同じ次元に変換 ➢ そのような変換を求める cos距離 で比較
- 7. 7 複数窓 犬 猫 分解 犬 猫 要素毎 max (?) ➢ 複数窓の場合は，分解してそれぞれ計算してmax ➢ 結果，一本のベクトルに 𝒇 ∈ ℝ40768
- 8. 8 検索 犬 猫 検索 クエリ ベクトル DBベクトル （各画像からGoogLeNet 特徴量抽出） 𝑅 𝑄, 𝐼 = 1 𝐵 𝑄 𝑏 𝑖∈𝐵 𝑄 max 𝑏 𝑗∈𝐵 𝐼 𝛿 𝑐 𝑏𝑖 = 𝑐 𝑏𝑗 𝑏𝑖 ∩ 𝑏𝑗 𝑏𝑖 ∪ 𝑏𝑗 正解スコア： 窓 ベッド 𝐵 𝑄 = 𝑏1, 𝑏2 𝑐 𝑏1 = 窓 𝑐 𝑏2 = ベッド 𝐵𝐼 = 𝑏1, 𝑏2, 𝑏3 𝑐 𝑏1 = 壁 𝑐 𝑏2 = ベッド 𝑐 𝑏3 = 窓
- 9. 9 結果
- 10. 10 感想 ➢ 領域を探す問題なのに，DB側からは単一の 既存特徴量を取り出すだけであるのが面白い ➢ 複雑はインデクシングがいらない ➢ 特徴量設計を別問題に出来る ➢ 検索が終わったあと，陽にどの領域が当たり かわからないがいいのだろうか ➢ 本当に精度がいいのか？