cvpaper.challenge@CVPR2015(Attribute)

cvpaper.challenge
Twitter@CVPaperChalleng
http://www.slideshare.net/cvpaperchallenge
MAILTO: cvpaper.challenge[at]gmail[dot]com
Attribute

Keywords:Task-Assistant CNN, Attribute,
新規性・差分
手法
結果
概要
Task-Assistant CNN(TA-CNN)を用いた歩行者検出．歩行者
AttributeとシーンAttributeを含んだSemantic Tasks歩行者検
出を最適化する．歩行者Attributeとしてはバックパックや性
別，シーンAttributeとしては車や木などである．
1）歩行者AttributeとシーンAttributeを含む Semantic Attribute
を
最適化することによりより高度な歩行者検出が可能である．
このときAttributeは自動で付け加えることができる．
2)異なるデータセット間のギャップを埋めるために注意深く
設計されたSingle TA-CNNを用いて，複数のソースにより複
数のタスクを訓練している．
3)歩行者検出のAttributeの有効性について調査している．
Y. Tian, P. Luo, X. Wang, X. Tang, “Pedestrian Detection aided by Deep Learning Semantic Tasks”, in
CVPR2015.
【1】
Links
論文ページ：http://arxiv.org/abs/1412.0069
ニューラルネットの構造は6層から成
る．1~4層までが畳み込み層とプーリン
グ層，5,6層が全結合層となっている．
出力の200次元には歩行者や歩行者
Attribute，シーンAttributeが含まれてい
る．またSPV(Stuructural Projection
Vector)ではトップダウンでPositive(+)/
Negative(-)の特徴を与え，6層へと結合
している．

Keywords:Fisher Vector-CNN, Attribute,
新規性・差分
手法
結果
概要
素材とテクスチャの関係性を解析する研究．物体の認識やセ
グメンテーションをする手がかりとして，形状が有効でない
場合，テクスチャの情報が有用である．そのため乱雑な環境
化においてテクスチャを認識することが課題となる．
1)材質，知覚的な質感のAttributeの認識(perceptual texture
attribute recognition)，セグメンテーションを雑多な環境下で大規
模分析．
2)テクスチャの観点からみるとCNNには3つの欠点がある
(ⅰ)畳み込み層は非線形フィルタバンクに類似しており，空間的配
置を取り込むことで層を完全に接続している．これらはオブジェ
クトの形状を表現するためには有効であるが，テクスチャを表現
するために有効であるかわからない．
(ⅱ)CNNに入力する際には固定されたサイズに変更する必要があ
る．
(ⅲ)深い層は，領域特化型の浅い層よりもより潜在的な特徴抽出が
できる．
これらの欠点をFV-CNNのプーリング法によって解決する．
Filckr material datasetでは79.8%，MIT
indoor scenesでは81%の精度．既存の手法
に比べて約10％の精度向上．
M.Cimpoi, Subhransu Maji, Andrea Vedaldi, “Deep filter banks for texture recognition and segmentation”,
in CVPR2015.
【2】
Links
論文ページ：
https://people.cs.umass.edu/~smaji/papers/deep-textures-cvpr15.pdf
1)画像領域の外観をモデル化するのに適したVisual descriptorsの数
を導入している．形状のF-CNN記述子はCNNの最後から2番目の
Fully-Connected 層の出力を抽出することで得られる．またnon-
linear gating functionを含み，入力画像に適用される．テクスチャの
FV-CNN記述子は．FVによって抽出されたベクトルにはテクスチャ
の周期性や模様など位置不変な特徴抽出，マルチスケールに特徴抽
出，画像サイズは自由，Fine-tuningせずに全結合層に移項可能．
2)意味的に認識可能な領域を自動的にを分割する．Cimpoiにインス
ピレーションを受けている．R-CNNはオブジェクトに対しての認
識・検出だが，FV-CNNはテクスチャに対して領域の分類を可能と
している．

Keywords: Relative-Attribute, Virality, Relative Virality,
新規性・差分
手法
結果
概要
オンライン上のViralityマーケティングは，本来心理学やデータマ
イニングの分野で研究されているが，CVの観点からViral 画像を研
究する．Vairal とはWeb上の画像が，SNSでどれほど人気である
かを示す指標である．
画像がアップロードされた時間，日付や画像のタイトルといっ
た様々な外部要因がどれほどViralに影響するのか．また，画像
の内容自体にも依存するのか．人間とCV画像特徴がどれほど
Viralを予測できるか．視覚的なAttributeと画像のVairalに相関が
あるのか．これらの問題に対処する．
アメリカで2ch的な存在とされている「Reddit」から画像データを取
得し，学習と評価に用いる．Relative viralityという概念では，2枚の
画像のペアを比較して，人気度を定めていく．この概念にしたがって
画像の人気度を決定．
人間の目視による予測が60.12%であったのに対して，SVM +
Deep Relative Attributesにより推測した結果，68.10%の精度で予
測可能であった．
Arturo Deza, Devi Parikh, “Understanding Image Virality”, in CVPR, 2015.
【3】
Links
論文ページ：http://arxiv.org/pdf/1503.02318v3.pdf

Keywords: Attribute, Generic Instance Search,
手法
結果概要
ロゴのような平面に近く，表面しかないような物体だけ
でなく，建物や靴といった3D物体に対してもGeneric
Instance Searchを行う．人間は容易に建物の裏側などを
想像で補える．しかしコンピュータにそのような想像を
学習させるかが問題となる．
1)Generic Instance Searchについて追求する．従来の手法
では建物と靴といった対照的な2つのカテゴリに対して解
くときに，必ずしもうまく動作するとは限らなかった．
それは，この2つのカテゴリでは視点変動に対する外観の
変化があまりにも違いすぎるためである．
2)外観の変化に対して対処するためにAttributeを用いるこ
とを提案する．Attributeは自動学習を用いる．
3)様々なカテゴリにおいてインスタンス検索を行う．
フィッシャーベクターとカ
テゴリの情報を組み合わせ
たものと，他の手法のDeep
であったりAttribteであった
りと比較を行った結果が右
の図である．
Ran Tao, Arnold W.M.Smeulders, Shih-Fu Chang, “Attributes and Categories for Generic Instance
Search from One Example”, in CVPR, 2015.
【4】
Links
論文ページ：https://staff.fnwi.uva.nl/r.tao/pub/TaoCVPR2015.pdf
著者ページ：https://staff.fnwi.uva.nl/r.tao/publication.html

Keywords: Attribute, Deep Domain Adaptation Network, R-CNN，
新規性・差分
手法
結果
概要
詳細に人を表すための重大な課題である，より詳細なAttributeをカ
バーする必要がある．例えば「アップルグリーン」，「蛍光グ
リーン」，
「ライトグリーン」といった色の細かい違いであったり，「デニ
ムジャケット」と「ダウンジャケット」，「薄い横縞」と「他の
ストライプ」．
1)衣服AttributeのFine-grained
2)データセット作成，数百人の百万枚の画像を有する．
3)多くのデータセットは理想的な環境(姿勢・照明・背景)で撮影
されている．しかしこれでは信頼性にかける．そこで携帯電話
や監視カメラ等によって得られる制約のない画像を使用する．
4)2種類の衣服間のギャップを埋めるためにSpecific double path
deep neural networkを提案する．
手法を以下の図に示す．
・・・
Qiang Chen, Junshi Huang, Rogerio Feris, Lisa M Brown, Jian Dong, Shuicheng Yan, “Deep Domain
Adaptation for Describing People Based on Fine-Grained Clothing Attributes”,
【5】
Links
論文ページ：
http://rogerioferis.com/publications/
DDANCVPR2015.pdf

Keywords: Attribute, Hypergraph-based Attribute Predictor,
新規性・差分
手法
結果
概要
Attribute学習を行う新しいFramework 「Htpergraph based
Attribute Predictor」を提案する．取り組みとしてAttribute予測の
適応をZero ShotとN Shotにおいて学習するタスクに応用する．
1)教師ありHypergraph cut 問題としてAttribute学習を定式化
する最初のアプローチ．
2)カットと同時に予測因子を構築．
3)Attribute学習にSide情報を組み込むための適応的なソ
リューションの提供．
4)HAPとCSHAPによってAttribute予測を提供．
右図に処理を示す．
結果は右図に示す．
Sheng Huang, Mohamed Elhoseiny, ,Ahmed Elgammal, Dan Yang , “Learning Hypergraph-regularized
Attribute Predictors”, in CVPR, 2015.
【6】
Links
論文ページ：
http://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/
Huang_Learning_Hypergraph-
Regularized_Attribute_2015_CVPR_paper.pdf
プロジェクトページ：
https://sites.google.com/site/siteshuang/home/project/hap

Keywords: Multi-attribute, WWW Crowd dataset, multi-task learning
新規性・差分
手法
結果
概要
Deep Learningにより混雑状況下における複数Attributeを
返却するネットワークアーキテクチャを考案した．
混雑状況下における複数アトリビュート認識
を実現．ニューラルネットのアーキテクチャ
を考案しただけでなく，データセットも公開．
混雑状況下における解析データセットでは最大規模となるWWW Crowd
Datasetを作成した．WWW Crowd Dataset中には8257シーンから取得し
た10,000の動画，94の混雑状況下に関するAttribute(outdoor, indoor,
walking, pedestrian, standingなど)が含まれている．Attributeは環境や動
作，人物の種類に関するものが多く含まれている．つまり，どんな人が
何をしている，くらいはわかる問題設定である．Deep Learningのモデル
に関してはMulti-task learning deep modelであり，アピアランスと動作特
徴により特徴表現，最終層により両者の特徴を統合している．
表は提案手法とベースラインとの
比較である．提案手法が
DLSF(0.87)，DLMF(0.68), DLSF
+DLMF(0.88)と，特徴統合により
ベースラインよりも高い精度を実
現した．
マルチタスク学習による特徴の学
習も効果的に働いている．
J. Shao, K. Kang, C. C. Loy, X. Wang, “Deeply Learned Attributes for Crowded Scene Understanding”, in
CVPR2015.
Links
論文
http://www.ee.cuhk.edu.hk/~jshao/papers_jshao/
jshao_cvpr15_www.pdf
プロジェクト
http://www.ee.cuhk.edu.hk/~jshao/
WWWCrowdDataset.html
YouTube
https://www.youtube.com/watch?v=uIskaUyksHI
【7】

Keywords: Specificity, Attribute
新規性・差分
手法
結果
概要
画像の特定度合い(曖昧性のなさ)を
Image Specificityと呼び，本論文での提
案とする．
新しいアトリビュート計算として画像の
曖昧性のなさを数値化した．
人が作成した画像の説明文を解析して，画像の特定度合いを
指標化したものである．距離計算指標はcosine similarityなど
を用いている．この評価指標があることで，画像説明文の曖
昧性が少なくなるという主張．
データセットにはMEM-5S, Abstract-50S, PASCAL-50Sを適
用した．Sの前の数字は1画像あたりの説明文の数であり，多
くの人の文章の一致度により値が大きくなっていく．プロジ
ェクトページにデモが準備されている．
M. Jas, D. Parikh, “Image Specificity”, in CVPR2015.
【8】
Links
論文
Jas_Image_Specificity_2015_CVPR_paper.pdf
プロジェクト http://mainakjas.github.io/specificity/
コード https://github.com/mainakjas/specificity

Keywords: Attribute, CNN
新規性・差分
手法
結果
概要
各Attributeをニューラルネットのニュー
ロンにて表現する方法．
CNN内にてスパース表現によりAttribute
を推定する．
Deep Learningの中間層の特徴を用いており，Attributeと特徴量
をいかに対応づけるかにフォーカスしている．Attributeを表現
するCNNはAttribute Centric Nodes (ACNs)と呼ばれる(下左図)．
このネットワークはスパース表現を施されており，attributeは
異なる層に分離されて個別に表現される．これは，各層によっ
て様々なアトリビュートを表現する得意・不得意があるからで
あると思われる．
下右図は3つのAttributeとそれに影響する物体を示した例である．
V. Escorcia, J. C. Niebles, B. Ghanem, “On the Relationship between Visual Attributes and Convolutional
Networks“, in CVPR2015.
【9】
Links
論文
http://www.cv-foundation.org/
openaccess/content_cvpr_2015/
papers/
Escorcia_On_the_Relationship_20
15_CVPR_paper.pdf

Keywords : Attribute, Visual saliency
手法
結果概要
画像内の人々に対して，「重要性」という指標を導入する
ことで，重要性とvisual saliencyとの相関関係を調査
画像レベルの重要性 : (画像中の最重要人物推定問題)画像内の人物ごとの重要度スコアを予測する．．
コーパスレベルの重要性 : (複数枚画像における最重要人物推定問題)画像全体をコーパスとし各画像に重要度スコアを割り当てる．
画像レベルの重要性から作成したデータセットと，コーパスレベルの重要性から作成したデータセットを用いる．「重要性」とは主観的な
尺度であるため，群衆の知恵をgrand truthとしデータセット内でペアワイズに重要性を比較する．我々は、中心性、規模、シャープネス、顔の
姿勢およびオクル―ジョンを捕捉する顔のbounding boxesからの人用の異なる視覚的特徴を抽出する．個人の重要度推定をペアワイズ回帰問
題としてモデル化し，SVRを用いる．
(上図) 生成した記述が「最良」と選択された時間の割合
(下図) 画像生成文の定性的な比較結果
C. S. Mathialagan, A. C. Gallagher, D. Batra, “VIP: Finding Important People in Images”, in CVPR2015.
【10】
新規性・差分
個人の社会的地位といった予備知識を使用せずに，画像中で
利用可能なビジュアキューのみを用いて個人の「重要度」の
推定が可能である．
画像の生成文アプリケーションを改善し，提案モデルが人間
の潜在的な合意(「この人が重要人物だ!」)を実行をしていると
いう実験結果より，さらに挑戦的なデータセット(性別や年齢
なといった属性と人気の社会的関係)を収集する必要があるこ
とを示唆した．

Links
論文ページ:
Mathialagan_VIP_Finding_Important_2015_CVPR_paper.pdf
プロジェクトページ：
https://computing.ece.vt.edu/~mclint/vip/
デモ：
http://cloudcv.org/vip/ (画像を入力すると下図のような出力が出てくる)

Keywords : Attribute, DEEP-CARVING
手法
結果
概要
画像中から複数のAttributeの同時推定に関する研究．提案手法として，
Alex NetをベースとしたDeep – Carving CNNを用いている．
Deep-CARVINGでは学習中に特徴マップの出力を，次の繰り
返しで複数の擬似ラベル（訓練画像用）を持つ層に提供するため
に利用する．これによりそのAttributeを効率的に表す特徴を解き
ほぐすためにさらに反復的にネット自体をCurvingする．最終的
には，複数ラベルの発生確率を用いて学習する．
損失関数にはsigmoid cross-entropy lossを適用して損失を最小
化する．
(表)提案手法と従来手法のAttribute予測の精度を比較した結果
(下図) Deep-Carving CNNと予測属性 : 正しい予測であった場
合は緑，誤予測であった場合は赤で示されている．抽象的な属
性の予測精度は低い．
S. Shankar, V. K. Garg, R. Cipolla, “DEEP-CARVING: Discovering Visual Attributes by Carving Deep
Neural Nets“, in CVPR2015.
【11】
新規性・差分
CNNにおける新規の学習手法であるDeep-Curvingを提案した．
これにより自然のシーンの画像から触発された名詞 – 形容詞
間の共起性があることを示す．
本研究で発見したある名詞カテゴリ内で共起性のある
Attributeを CAMIT-Natural Scenes Attributes Dataset(CAMIT-
NSAD)にAttributeとして提供した．

Links
論文ページ:
http://www.cv-foundation.org/openaccess/content_cvpr_2015/
papers/Shankar_DEEP-
CARVING_Discovering_Visual_2015_CVPR_paper.pdf

ご質問，コメント等ありましたら
cvpaper.challenge[at]gmail[dot]com / Twitter@CVPaperChalleng までお願いします．

cvpaper.challenge@CVPR2015(Attribute)

More Related Content

What's hot (20)

Viewers also liked (13)

Similar to cvpaper.challenge@CVPR2015(Attribute) (20)

cvpaper.challenge@CVPR2015(Attribute)