SlideShare a Scribd company logo
Bag-of-Featuresに基づく物体認識 (1)
                - 特定物体認識 -

          Akisato Kimura @ NTT CS Labs.
                    Twitter ID: @_akisato
特定物体認識とは?
       教科書によると
           画像内にある個別物体(=インスタンス)を認識する処理
           物体の「見え」から物体IDへの変換を意味する

                …いや,これでは全然わかりません…


       要するに ↓↓↓ と見なすタスクが特定物体認識


                        =


    2                       関西CVPRML勉強会 2012.1.14
一般物体認識と何が違うの?
       一般物体認識: 物体のクラスを認識する処理


             =                           =

       特定物体認識: インスタンスを認識する処理


             =                           ≠

    3            関西CVPRML勉強会 2012.1.14
でも,区別は簡単ではない
       一般的には,どんな変動を吸収するか?で区別
           特定物体認識:
            アフィン変換(回転・拡大縮小)・オクルージョン・
            照明変動(に伴う見た目の色の変化) などを吸収
           一般物体認識:
            物体インスタンスの多様性を吸収
       とすると,これらはどっち?




    4                 関西CVPRML勉強会 2012.1.14
何の役に立つのか?
       特殊なマーカを使わずに実世界とwebとをつなぐ




    5             関西CVPRML勉強会 2012.1.14
ある程度は既にできています
       Google goggle
           http://www.google.com/mobile/goggles/
                   Landmark                             Book




                    Artwork                              Logo




    6                           関西CVPRML勉強会 2012.1.14
一般的な実現方法

クエリ画像                                 照合・検証       出力



                              特
         特                    徴
         徴                    量
         量   Visual words     表            画像DB
         抽   (量子化テーブル)        現     (構造化索引集合)
         出                    記
                              述



  DB画像       Visual word
 DB画像
DB画像                                   索引付け
                設計
             (特徴量量子化)

7                  関西CVPRML勉強会 2012.1.14
実現における課題
1. 大規模データに対する高速処理                  2. 各種変動に対する頑健処理
クエリ画像
   → 索引付け・照合で工夫                       → 特徴抽出・特徴量表現で工夫 出力
                                            照合・検証



                 10K~ words              特
             特                           徴
回転・拡大縮小・     徴                           量                        ~1sec
 隠れ・色変化      量       Visual words        表            画像DB
             抽       (量子化テーブル)           現     (構造化索引集合)
             出                           記
                                         述               ~100G Bytes



   DB画像              Visual word
  DB画像
 DB画像                                             索引付け
                        設計
                     (特徴量量子化)
1M~ images
 8                            関西CVPRML勉強会 2012.1.14
特徴量抽出
       どんな変動が起きても値が不変な特徴量が理想
       大域特徴量 or 局所特徴量
           大域特徴量: 計算簡単,でも各種変動に弱い
           局所特徴量: 計算大変,でも各種変動に強い
             特定物体認識における主流は,局所特徴量.


                         大域特徴量
                        (ex. 紫が多い)


                         局所特徴量
                         (ex. 特徴的な
                           黄色数字)


    9                 関西CVPRML勉強会 2012.1.14
局所特徴量
    多くは (特徴点)検出+(特徴量)記述 で構成される
        局所特徴量の提案の多くは,検出と記述がセット
        実際に使われる際には,別々に検討することも多い
    再現性も識別性も高い方が望ましい
        再現性: 各種変動が加わっても同じものを同じと見なせる
        識別性: 異なるものを異なると見なせる

               特徴点検出                        特徴量記述
               各種変動に対して                     抽出した特徴点で
               安定した特徴量が                     各種変動に対して
               取れそうな箇所を                     安定した特徴量を
               特定                           算出


    10              関西CVPRML勉強会 2012.1.14
局所特徴量の具体例
    原点
        [Schmid+ 1997], [Lowe 1999]
    検出の高精度化
        Harris-Laplace [Mikolajczyk+ 2001], MSER [Matas+ 2002],
         Harris-Affine [Mikolajczyk+ 2004]
    大ブレイク
        SIFT [Lowe 2004], PCA-SIFT [Ke+ 2004]
    処理高速化
        SURF [Bay+ 2006], CARD [Ambai+ 2011] etc.
    色情報の考慮
        C-SIFT [Abdel-Hakim+ 2006] etc.

    11                        関西CVPRML勉強会 2012.1.14
参考資料
    黄瀬,岩村 “3日で作る特定物体認識”,情報処理
     学会誌,Vol.49,No.9,pp.1082-1089,2008
     http://imlab.jp/IPSJ_3days/
    人工知能に関する断想録
     http://d.hatena.ne.jp/aidiary/20091018/1255862734
    藤吉,安倍 “局所勾配特徴抽出技術”,精密工学会
     誌,Vol.77, No.12, pp.1109-1116, 2011




    12                   関西CVPRML勉強会 2012.1.14

More Related Content

PDF
20110904cvsaisentan(shirasy) 3 4_3
PDF
第17回関西CVPRML勉強会 (一般物体認識) 1,2節
PDF
関西CVPRML勉強会 2012.2.18 (一般物体認識 - データセット)
PDF
Deep Learningライブラリ 色々つかってみた感想まとめ
PDF
Tutorial-DeepLearning-PCSJ-IMPS2016
PDF
画像認識の初歩、SIFT,SURF特徴量
PDF
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
PDF
Deep Learning Computer Build
20110904cvsaisentan(shirasy) 3 4_3
第17回関西CVPRML勉強会 (一般物体認識) 1,2節
関西CVPRML勉強会 2012.2.18 (一般物体認識 - データセット)
Deep Learningライブラリ 色々つかってみた感想まとめ
Tutorial-DeepLearning-PCSJ-IMPS2016
画像認識の初歩、SIFT,SURF特徴量
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
Deep Learning Computer Build

Similar to 関西CVPRML勉強会(特定物体認識) 2012.1.14 (20)

PDF
Sift特徴量について
PPTX
Introduction to Local Image Features....
PDF
大規模画像認識とその周辺
PDF
20120623 cv勉強会 shirasy
PDF
Tesseract ocr
PPT
Big data解析ビジネス
PDF
Jubatusにおける大規模分散オンライン機械学習
PPTX
CVPR2018 参加報告(速報版)2日目
PDF
Jubatusの特徴変換と線形分類器の仕組み
PDF
文献紹介:Elaborative Rehearsal for Zero-Shot Action Recognition
PDF
20201010 personreid
PDF
Agile Overview In Ono
PPTX
Interop2017
PPTX
Vision-and-Language Navigation: Interpreting visually-grounded navigation ins...
PDF
45分で理解する SQL Serverでできることできないこと
PDF
Creating and Using Links between Data Objects
PDF
[INSIGHT OUT 2011] C12 50分で理解する SQL Serverでできることできないこと(uchiyama)
PDF
Proxy War
ODP
ビジネスインテリジェンス入門~OSSでBIを始めよう~
PDF
Object-oriented Programming / Exception handling
Sift特徴量について
Introduction to Local Image Features....
大規模画像認識とその周辺
20120623 cv勉強会 shirasy
Tesseract ocr
Big data解析ビジネス
Jubatusにおける大規模分散オンライン機械学習
CVPR2018 参加報告(速報版)2日目
Jubatusの特徴変換と線形分類器の仕組み
文献紹介:Elaborative Rehearsal for Zero-Shot Action Recognition
20201010 personreid
Agile Overview In Ono
Interop2017
Vision-and-Language Navigation: Interpreting visually-grounded navigation ins...
45分で理解する SQL Serverでできることできないこと
Creating and Using Links between Data Objects
[INSIGHT OUT 2011] C12 50分で理解する SQL Serverでできることできないこと(uchiyama)
Proxy War
ビジネスインテリジェンス入門~OSSでBIを始めよう~
Object-oriented Programming / Exception handling
Ad

More from Akisato Kimura (20)

PPTX
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
PPTX
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
PDF
多変量解析の一般化
PDF
CVPR2016 reading - 特徴量学習とクロスモーダル転移について
PDF
NIPS2015 reading - Learning visual biases from human imagination
PDF
CVPR2015 reading "Global refinement of random forest"
PDF
CVPR2015 reading "Understainding image virality" (in Japanese)
PDF
Computational models of human visual attention driven by auditory cues
PDF
NIPS2014 reading - Top rank optimization in linear time
PDF
CVPR2014 reading "Reconstructing storyline graphs for image recommendation fr...
PDF
ICCV2013 reading: Learning to rank using privileged information
PDF
ACMMM 2013 reading: Large-scale visual sentiment ontology and detectors using...
PDF
IJCAI13 Paper review: Large-scale spectral clustering on graphs
PDF
関西CVPR勉強会 2012.10.28
PDF
関西CVPR勉強会 2012.7.29
PDF
ICWSM12 Brief Review
PDF
人間の視覚的注意を予測するモデル - 動的ベイジアンネットワークに基づく 最新のアプローチ -
PDF
IBIS2011 企画セッション「CV/PRで独自の進化を遂げる学習・最適化技術」 趣旨説明
PDF
立命館大学 AMLコロキウム 2011.10.20
PDF
広島画像情報学セミナ 2011.9.16
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
多変量解析の一般化
CVPR2016 reading - 特徴量学習とクロスモーダル転移について
NIPS2015 reading - Learning visual biases from human imagination
CVPR2015 reading "Global refinement of random forest"
CVPR2015 reading "Understainding image virality" (in Japanese)
Computational models of human visual attention driven by auditory cues
NIPS2014 reading - Top rank optimization in linear time
CVPR2014 reading "Reconstructing storyline graphs for image recommendation fr...
ICCV2013 reading: Learning to rank using privileged information
ACMMM 2013 reading: Large-scale visual sentiment ontology and detectors using...
IJCAI13 Paper review: Large-scale spectral clustering on graphs
関西CVPR勉強会 2012.10.28
関西CVPR勉強会 2012.7.29
ICWSM12 Brief Review
人間の視覚的注意を予測するモデル - 動的ベイジアンネットワークに基づく 最新のアプローチ -
IBIS2011 企画セッション「CV/PRで独自の進化を遂げる学習・最適化技術」 趣旨説明
立命館大学 AMLコロキウム 2011.10.20
広島画像情報学セミナ 2011.9.16
Ad

関西CVPRML勉強会(特定物体認識) 2012.1.14

  • 1. Bag-of-Featuresに基づく物体認識 (1) - 特定物体認識 - Akisato Kimura @ NTT CS Labs. Twitter ID: @_akisato
  • 2. 特定物体認識とは?  教科書によると  画像内にある個別物体(=インスタンス)を認識する処理  物体の「見え」から物体IDへの変換を意味する  …いや,これでは全然わかりません…  要するに ↓↓↓ と見なすタスクが特定物体認識 = 2 関西CVPRML勉強会 2012.1.14
  • 3. 一般物体認識と何が違うの?  一般物体認識: 物体のクラスを認識する処理 = =  特定物体認識: インスタンスを認識する処理 = ≠ 3 関西CVPRML勉強会 2012.1.14
  • 4. でも,区別は簡単ではない  一般的には,どんな変動を吸収するか?で区別  特定物体認識: アフィン変換(回転・拡大縮小)・オクルージョン・ 照明変動(に伴う見た目の色の変化) などを吸収  一般物体認識: 物体インスタンスの多様性を吸収  とすると,これらはどっち? 4 関西CVPRML勉強会 2012.1.14
  • 5. 何の役に立つのか?  特殊なマーカを使わずに実世界とwebとをつなぐ 5 関西CVPRML勉強会 2012.1.14
  • 6. ある程度は既にできています  Google goggle  http://www.google.com/mobile/goggles/ Landmark Book Artwork Logo 6 関西CVPRML勉強会 2012.1.14
  • 7. 一般的な実現方法 クエリ画像 照合・検証 出力 特 特 徴 徴 量 量 Visual words 表 画像DB 抽 (量子化テーブル) 現 (構造化索引集合) 出 記 述 DB画像 Visual word DB画像 DB画像 索引付け 設計 (特徴量量子化) 7 関西CVPRML勉強会 2012.1.14
  • 8. 実現における課題 1. 大規模データに対する高速処理 2. 各種変動に対する頑健処理 クエリ画像 → 索引付け・照合で工夫 → 特徴抽出・特徴量表現で工夫 出力 照合・検証 10K~ words 特 特 徴 回転・拡大縮小・ 徴 量 ~1sec 隠れ・色変化 量 Visual words 表 画像DB 抽 (量子化テーブル) 現 (構造化索引集合) 出 記 述 ~100G Bytes DB画像 Visual word DB画像 DB画像 索引付け 設計 (特徴量量子化) 1M~ images 8 関西CVPRML勉強会 2012.1.14
  • 9. 特徴量抽出  どんな変動が起きても値が不変な特徴量が理想  大域特徴量 or 局所特徴量  大域特徴量: 計算簡単,でも各種変動に弱い  局所特徴量: 計算大変,でも各種変動に強い  特定物体認識における主流は,局所特徴量. 大域特徴量 (ex. 紫が多い) 局所特徴量 (ex. 特徴的な 黄色数字) 9 関西CVPRML勉強会 2012.1.14
  • 10. 局所特徴量  多くは (特徴点)検出+(特徴量)記述 で構成される  局所特徴量の提案の多くは,検出と記述がセット  実際に使われる際には,別々に検討することも多い  再現性も識別性も高い方が望ましい  再現性: 各種変動が加わっても同じものを同じと見なせる  識別性: 異なるものを異なると見なせる 特徴点検出 特徴量記述 各種変動に対して 抽出した特徴点で 安定した特徴量が 各種変動に対して 取れそうな箇所を 安定した特徴量を 特定 算出 10 関西CVPRML勉強会 2012.1.14
  • 11. 局所特徴量の具体例  原点  [Schmid+ 1997], [Lowe 1999]  検出の高精度化  Harris-Laplace [Mikolajczyk+ 2001], MSER [Matas+ 2002], Harris-Affine [Mikolajczyk+ 2004]  大ブレイク  SIFT [Lowe 2004], PCA-SIFT [Ke+ 2004]  処理高速化  SURF [Bay+ 2006], CARD [Ambai+ 2011] etc.  色情報の考慮  C-SIFT [Abdel-Hakim+ 2006] etc. 11 関西CVPRML勉強会 2012.1.14
  • 12. 参考資料  黄瀬,岩村 “3日で作る特定物体認識”,情報処理 学会誌,Vol.49,No.9,pp.1082-1089,2008 http://imlab.jp/IPSJ_3days/  人工知能に関する断想録 http://d.hatena.ne.jp/aidiary/20091018/1255862734  藤吉,安倍 “局所勾配特徴抽出技術”,精密工学会 誌,Vol.77, No.12, pp.1109-1116, 2011 12 関西CVPRML勉強会 2012.1.14