Geotag Data Mining （メタサーベイ）

Geotag Data Mining 
渡部海，椿綾介，佐々木大雅，遠藤大河，小暮駿介 
高橋遼, 山田亮佑，片岡裕雄 
（著者紹介はラストにあります） 
1
http://xpaperchallenge.org/cv

本資料について 
2
 
● 本資料はcvpaper.challengeのメタサーベイの一環 
 
● 本資料に誤りがないように努めていますが，資料作成者も現在勉
強中のため誤りを含む可能性があります． 
 
● 本資料はデータマイニングのアルゴリズムというよりはGeotag
Datasetの活用法に焦点を置きサーベイしています． 
 
● 本資料は2020/4/30時点までの研究内容をサーベイし， 
スライドを作成しています．

目次 
3
 
1. 導入 
2. 論文紹介 
3. チュートリアル 
4. 注目研究機関、注目研究者 
5. 著者紹介

導入 
4
Geotagとは？ 
　→ 画像に付与されている地理的情報 
　　　 
 
 
 
 
 
Geotagを解析することで、地理的解析が可能

導入 
5
Geotag Datasetの解析の必要性 
 
● 実世界における理解を深めるため 
○ SNSをsocial sensorとして利用し、視覚的情報・地理的情報・時間的情報から
複合的に解析することによる社会政策や観光戦略への活用 
○ 従来のメディアと比較してリアルタイム性に富んでいるため、流行の可視化
や医療分野に最適 
 
←2019年時点 
全世界におけるSNSの
利用者数は約34.8億人

導入 
6
Data Miningの過程 
 
　収集 
SNS  解析データ 
　　　　解析 
解析結果
Data Miningとは@wikipedia 
→データ解析の技法を大量のデータに網羅的に適用する 
ことで新たな知識を発見する技術

導入 
7
Data Miningに関する研究タスク 
● Geotag Datasetを用いたタスクを4つに大別 
● 便宜上の分類であることに注意 
 
行動予測 
 
Geotagdataから様々な
人間の行動をパターン
抽出することで行動を
より理解 
環境解析 
 
地球環境，感染症の
流行をGeotagdataから
解析 
トレンド 
予測 
Geotagdataから世界や
地域ごとのイベントやト
レンドを予測 
POI検索 
 
Geotagdataを学習して
画像やテキスト情報か
ら位置を推定

Data Miningに関する主な学会 
8
【国際会議】 
 
 
 
https://cikm2020.org/https://ecmlpkdd2020.net/https://www.wsdm-conference.org/2020/
http://bigdataieee.org/BigData2020/https://www.kdd.org/kdd2020/http://icdm2020.bigke.org/
採択率はレギュラーペーパーが9.1%，
ショートペーパーが9.5%（2019）
採択された論文の著者は中国30%,
アメリカ39%, 日本3%（2018)
全体の採択率は18.7% (2019)
大規模データベースの解析がメイン
全体の採択率は17.8% (2019)
AcademicよりのResearch Track
実応用よりのApplied Data Science
Trackが存在
全体の採択率は14.8% (2020)
アメリカと中国で全体の60%
日本はわずか2%程度...
2019年はGraph-CNNのマイニング手法が
多数
全体の採択率は26.6% (2020)

Geotag Datasetの歴史的変異 
9
 
 
 
 
2008 
2009 
2010 
2011 
2016 
2018 
2020 
Fashion Culture Data Base (2019/12) 
画像数 : 8.5M 
https://www.researchgate.net/figure/Fashion-C
ulture-Database-FCDB_fig2_315570140 
 
StreetStyle27K(2017/6) 
画像数：27K 
http://streetstyle.cs.cornell.
edu/#dataset 
 
Geostyle(2019/12) 
https://geostyle.cs.cornell.edu
/#dataset 
 
YFCC100M(2016/4) 
画像数：99M, 動画数：0.8M 
http://projects.dfki.uni-kl.de/yfcc1
00m/ 
 
 
SNS利用者数の増加に伴い、Geotag Datasetも大規模化 
NUS-WIDE(2009/7) 
画像数 : 270K 
https://dl.acm.org/doi/10.1145/164
6396.1646452 
 
 
 
MIRFLICKR-25K(2008) 
画像数：25K 
 
 
MIRFKICKR-1M(2010) 
画像数 : 1M 
 
 
Flickr Logos 27(2011/4) 
http://image.ntua.gr/iva/datasets/f
lickr_logos/

IM2GPS: estimating geographic information from a single image 
11
会議 : CVPR 2008 
著者 : James Hays and Alexei A. Efros 
 
● 画像から地理情報を推定 
● テスト画像はFlickrからランダムに抽出した400枚を使用 
● 推定した地理情報を地球表面上にヒートマップとして表示 
 
様々な地理情報タスクでのアプローチを 
定量的に評価し、有望なパフォーマンス 
 
 
 
左から，入力画像，最近傍，地理情報のヒートマップ

Detecting influenza epidemics using search engine query data 
12
会議 : Nature 2009 
著者 : Jeremy Ginsberg, Matthew H. Mohebbi, Rajan S. Patel, Lynnette Brammer, 
　　　Mark S. Smolinski and Larry Brilliant 
 
● 毎年、インフルエンザによって世界中で25万人から50万人の人々が亡くなっている 
● 人から人へ空気感染するインフルエンザは数百万人規模のパンデミックを引き起こしやすいため、早
期の発見が迅速な対応へと繋がる 
○ U.S. Centers for Disease Control and Preventionによる感染者数などのデータ開示にはタイムラ
グが生じてしまう 
● Googleによる検索クエリを分析することにより、インフルエンザに関する検索クエリの相対的な頻度と受
診率が高い相関があることを解析 
 
 
 
Googleの検索履歴からインフルエンザの 
流行を早期に検出

Mapping the World’s Photos 
13
会議：WWW 2009 
著者：David Crandall, Lars Backstrom, Daniel Huttenlocher and Jon Kleinberg 
 
● 視覚的特徴，テキスト特徴，geotag情報を活用し世界的に人気の場所を予測 
○ 人気のある場所同士の相互作用を解析 
○ 視覚的特徴と時間的特徴を組み合わせることで高精度な位置推定を実現 
● 写真管理システムに自動的にgeotagを提案することでアノテーションコストを削減 
○ 整理されていないデータベースから代表的なランドマーク画像を検索 
 
人気のある都市やランドマークを世界規模で解析

The Wisdom of Social Multimedia: Using Flickr For Prediction and Forecas  
14
会議 : ACM 2010 
著者 : Xin Jin, Andrew Gallagher, Liangliang Cao, Jiebo Luo and Jiawei Han 
 
● Flickrの画像から2008年の米大統領選挙を予測 
○ 各候補者をクエリとして、Flickrへのアップロード数などから予測 
● 携帯やPC、ゲーム機の商品売り上げの公開前にFlickrの画像のみから売り上げを予測 
● 地理的情報も用いることで世界的に製品の流通を可視化 
○ この当時ではマーケティングへの期待性が大きかった？ 
 
 
 
SNS画像から大統領選挙・商品の販売予測を実現

Mining Photo-sharing Websites to Study Ecological Phenomena 
15
会議 : WWW 2012 
著者 : Haipeng Zhang, Mohammed Korayem, David Crandall and Gretchen LeBuhn 
 
● Flickrの画像から積雪量、緑化面積などの生態学的な現象を推測 
○ 画像の背景に映り込む積雪（子供達のソリに乗る画像など）や動物、タイムスタンプなどから推測 
● 人工衛星や気象観測所のデータには欠落が存在するが、大規模なデータをGround Truthとして用いる
ことが可能 
○ 従来のGeotag Data MiningはGroud Truthが存在せず、データ収集におけるバイアスなども不考
慮 
 
 
  Flickrの画像から地球温暖化の進行を把握

Mining Multiple Queries for Image Retrieval: On-the-ﬂy learning  
of an Object-speciﬁc Mid-level Representation 
16
会議 : ICCV 2013 
著者 : Basura Fernando and Tinne Tuytelaars 
 
● 複数クエリを用いた画像検索手法の提案 
● パターンマイニングアルゴリズムであるminimal description length(MDL)を適用し、特定のオブジェク
ト検索のための局所構造パターンを発見 
● MDLによってノイズを含むデータから意味のある規則性を抽出可能 
 
パターンマイニングに基づく新しい 
クエリ拡張法を提示

Time-Sensitive Web Image Ranking and Retrieval via Dynamic  
Multi-Task Regression 
17
会議 : WSDM 2013 
著者 : Gunhee Kim and Eric P. Xing 
 
● 時間に依存する画像検索の問題について調査 
● Flicker画像から時間情報，所有者のIDに加え，画像の説明とユーザーの説明の2種類の情報を抽出 
● 提案したフレームワークにより，時間的要因の関係を発見 
● 30トピックのキーワードに対して700万以上のFlickr画像を使った実験をし，提案された 
アプローチが他の手法よりも優れていることを確認 
 
 
 
 
時間情報を含めた画像検索手法により，時間情報を含
めない手法より優れたパフォーマンスを発揮

Recognizing City Identity via Attribute Analysis of Geo-tagged Images 
18
会議 : ECCV 2014 
著者 : Bolei Zhou, Liu Liu, Aude Oliva, Antonio Torralba
 
● 3大陸を超える21都市から200万枚のGeotag画像を収集し分析 
● 都市の特徴から大規模なGeotag画像データベース”the City Perception Database”を作成 
○ 顕著な特徴を有する都市の画像から識別 
○ 誤分類の結果を用いて都市間の類似度・関係性を推定 
● データ収集にはInstagram、Flickr、Panoramioを使用 
○ 各都市における画像から視覚的特徴として地形的特徴と社会的特徴を取得 
 
Geotag画像を分析して都市毎に特徴を付与

Geotagging One Hundred Million Twitter Accounts with Total  
Variation Minimization 
19
会議 : Big Data 2014 
著者 : Ryan Compton, David Jurgens and David Allen 
 
● 位置情報が公開されていないTwitterユーザの位置を推定 
○ 特定したいユーザの知人の位置情報から推定 
● Twitterユーザーの位置を示す最大級のデータベースを作成 
● ユーザー移動に関する統計情報を用いて、静的ユーザーに付与されたGeotagの有用性について検証 
 
Twitterの@メンションによる 
つながりをもとに位置を推定

Analyzing the Language of Food on Social Media 
20
会議：Big Data 2014 
著者：Daniel Fried 
 
● Twitterのツイートから地理的情報と人口特性の関係性を調査 
● TwitterのAPIを用いてツイートを収集 
○ ツイートのトピックを推定してラベル付け 
○ 位置情報を示す単語を正規化(e.g.El Paso,Texas→TX) 
● Twitterから食品 #に関係するツイートを収集し，投稿主の位置と 
肥満率，糖尿病の有病率，政治的傾向との3つのデータベースから関係性を分析 
 
 
 
 
 
 
食品関連のツイートのデータから 
地理的な傾向を発見

Predicting the Location of Users on Twitter from Low Density Graphs 
21
著者：Sofia Apreleva 
 
● グラフ構造を用いたアルゴリズムにおいてTwitterのユーザーの位置を推定 
○ 従来の手法と異なり少量データで解析可能であり，グラフのdensityが小さい 
● 少量データで解析するために，retweets, in-replies, @mentionsの3つのカテゴリに分類 
○ 親密な人ほど頻繁に交流しているという仮定に基づく 
● ユーザ間の距離を推定するタスクに置換!?することで検証 
 
 
 
従来のグラフモデルと比較して 
軽量なモデルで高精度な推測を実現

Neuroaesthetics in Fashion: Modeling the Perception of Fashionability 
22
会議：CVPR 2015 
著者：Edgar Simo-Serra, Sanja Fidler, Francesc Moreno-Noguer and Raquel Urtasun 
 
● データセットには，chictopiaで収集したFashion144kを使用 
● 世界中のファッショントレンドや ”おしゃれ” のスコアを6年間で解析可能なモデルを作成 
○ ユーザのファッション性についての理由の提示 
○ より ”おしゃれ” なファッションアイテムの提案 
● SNSの投稿に対する ”いいね” が ”おしゃれ” の指標 
○ ガウス分布を適用することで時間におけるバイアスを除去 
世界中のトレンド解析可能なモデルを作成

Describing and Understanding Neighborhood Characteristics through  
Online Social Media 
23
会議 : WWW 2015 
著者 : Mohamed Kafsi, Henriette Cramer, Bart Thomee and David A. Shamma 
 
● 地域ごとの特徴を表面化させるために、確率的階層モデルGHM(Geographical Hierarchy Model)を提案 
○ 地理的な領域を具体的に記述している用語を検出 
○ 都市ごとに特異な地域を検出しつつ、都市の類似性をマッピング 
● Naive BayesとHierarchical TF-IDFの2つから評価 
 
 
 
 
地域の特徴を明らかにする 
確率的階層モデルを提案

Deep Learning the City: Quantifying Urban Perception At A Global Scale 
24
会議：ECCV 2016 
著者：Abhimanyu Dubey, Nikhil Naik, Devi Parikh Ramesh Raskar and Cesar Hidalgo 
 
● 世界中のシーン画像から都市の豊かさなどを定量的に評価 
○ ランダムで2枚選択され，どちらが安全か？のような質問にアノテーターが回答して評価 
● データセットには，56都市，110,998枚の画像を有するPlace Pulse 2.0 (PP2.0)を使用 
○ safe, lively, boring, wealthy, depressing, and beautiful の6つの属性を付与 
● PP2.0に含まれていない都市外観で評価 
○ Ground Truthが無いので定量的ではないが直感的に合致していることを確認 
●
世界規模で都市に対する外観評価を生成可能

Recognizing Cities from Street View Images 
25
会議：2016 
著者：David Hershey and Blake Wulfe 
 
● Geotagが付与されていない画像から位置を推定する事は困難 
○ CNNから得られた視覚的特徴と都市を関連付ける 
● 画像のみからCNNを用いて位置を推定 
○ Google Street View APIから100,000通りの画像を取得 
○ 従来では緯度経度を推定するタスクであったが都市の分類タスクとして位置を推定 
● Street View Data Setにおいて75％の精度で分類可能（位置推定可能） 
● Flickrを用いた分類タスクでは分類精度が低迷 
○ タスクに対してドメインが乖離しすぎているのが原因!? 
Street View Datasetでの 
位置推定にて高い精度を実現

StreetStyle: Exploring world-wide clothing styles from millions of photos 
26
会議：arXiv 2017 
著者：Kevin Matzen, Kavita Bala and Noah Snavely 
 
● Instagramの写真から，世界中のファッションのトレンドを解析 
○ 1,500万規模のファッション，Geotagが付与されたSTREETSTYLE-27Kの構築 
● Flikcr 100Mから頻繁に画像がアップロードされている都市を分析 
○ 分析した都市からInstagramのGeotag画像を収集 
● Instagramを利用しているが故にバイアスを考慮 
○ 事後確率モデルを利用して分類器のパラメータをチューニング 
世界におけるファッショントレンドを可視化

Multiview Deep Learning for Predicting Twitter Users’ Location 
27
会議：arXiv 2017 
著者：Tien Huu Do, Duc Minh Nguyen, Evaggelia Tsiligianni, Bruno Cornelis, and Nikos 
Deligiannis 
 
● テキスト情報やユーザの相互情報，時間に即した行動情報などから得られた特徴を用いてユーザの位
置を推定を推定するMENETを提案 
● 位置をセル状に分割することでクラス分類タスクに置換 
● GeoTextとUTGeo2011，TwitterWorldのベンチマークデータベースにおいてSOTA 
 
 
Twitterのユーザーの位置を 
テキスト情報やユーザーの関係性から予測

Privacy-protected place of activity mining on big location data 
28
著者：Shuo Wang, Richard Sinnott and Surya Nepal 
 
● 大規模データセットにおけるPOAの探索に対して、プライバシーの観点から 
問題提起を行った 
● 提案したフレームワークは大きく2つの工程に分かれている 
● 前半の工程で重要位置に対して摂動(Perturbation)を与え、位置情報を秘匿しながら 
後半の工程に渡す 
 
プライバシーを秘匿しながら人の 
行動や場所を追跡・推定

Travel Purpose Inference with GPS Trajectories, POIs,  
and Geo-tagged Social Media Data 
29
著者：Chuishi Meng, Yu Cui, Qing He, Lu Su and Jing Gao 
 
● 地理的情報のみから人間の行動軌跡は解析可能だが，行動目的は解析不可 
● TwitterやGoogle Places，地理的情報などの複数データから人間の行動目的を予測 
● Dynamic Bayesian Networkにて最終目的地の人気度・一連の行動による性質や特徴を獲得し，POIへ
の行動目的を予測 
 
TwitterやGoogle Placesを用いて 
人間がPOIへ向かう行動目的を推測 
すべてのベースラインよりも高
精度に予測可能 
人間が目的地に
する場所と頻繁に
ツイートされる位
置が類似

Text-based Geolocation Prediction of Social Media Users with Neural Networks 
30
著者：Ismini Lourentzou 
 
● テキストデータ (Bag-of-words; TF-IDF特徴; 50000 unigrams)からSNSユーザの位置を 
特定 
○ ユーザの位置は座標，米国の州または地域の2つを推定 
● ネットワーク構造，活性化関数，バッチ正規化が精度向上に寄与することを確認 
● GeoText，TWUS，TWWORLDの3つのデータセットで比較検討 
 
  位置推定において回帰タスクである座標の
推定に加え，地理的領域を分類

Cross-View Image Matching for Geo-localization in Urban 
31
著者 : Yicong Tian, Chen Chen and Mubarak Shah 
● Faser R-CNNでビルなどの建物を検出し，Siamese Networkを用いて衛星画像とStreet view画像を
マッチング（Lossにはcontractive lossを使用)
● マッチングにはGPS情報を用いるが，GPS情報だけでは近くの建物と混在してしまうためグラフを用い
る 
● PittsburgとOrlando，Manhattanの三箇所において検証 
● 従来のSIFTを用いた手法よりも高精度に位置推定可能 
○ オリジナル画像ではなく建物を検出した画像によるマッチングが有効 
 
 
 
 
衛星画像とStreet View画像を対応させ
より詳細に位置を推定

32
会議 : KDD 2017 
著者 : Adrian Albert and Marta Gonzalez 
 
● 都市部の土地利用，地理的形状の分析は困難 
○ 衛星画像を用いて都市周辺における地理的形状の分析 
● Urban Atlasから取得した土地利用，土地被覆データをGoogle Maps Static APIから取得した衛星画像
と組み合わせ，新しいデータセットを構築（140,000枚以上） 
● 衛星画像に土地利用をラベル付けしてCNNで分類器を作成し，都市環境の比較 
 
 
Using Convolutional Networks and Satellite Imagery to Identify 
Patterns in Urban Environments at a Large Scale 
trainを学習し，testを識別
衛星画像を用いることでより容易に土地利用を解析

Using Real-World Store Data for Foot Trafﬁc Forecasting 
 
33
著者：Sohelia Abrishami 
 
● WiFiのアクセスポイントから商業施設の来客数を取得し，歩行の追跡タスクにおいて異なる予測モデル
を組み合わせることで予測 
● Facebookが提案したProphetやRFをベースラインとしてRF+FE, LSTM, LSTM+FE, RF+NNの組み合わせ
手法で比較検証 
○ 最初の11ヶ月間を学習データとし最後の1ヶ月をテストデータとする 
○ 評価指標としてはMAPEを用いる 
● ProphetやRFよりも高精度に予測可能 
 
 
 
LSTMなどを組み合わせたモデルで 
商業施設への来客数を推測

A Large-scale Analysis of Regional Tendency of  
Twitter Photos Using Only Image Features 
34
会議：MIPR 2019 
著者：Tetsuya Nagano, Takumi Ege, Wataru Shimoda and Keiji Yanai 
 
● Twitterから収集した画像を用いて各地域における投稿傾向を調査 
○ 200万枚，Geo-tag，5つのジャンル(人，飲食物，建物など）に分類することで投稿傾向を解析 
● 特徴量抽出をした層の次元数別に比較 
○ 128次元，4096次元 
○ 一方に有意差が見られなかったため128次元を採用 
● クラスターのジャンル分類後，各地域の画像のジャンル分布を比較 
世界規模でTwitterの投稿傾向を解析

Lending Orientation to Neural Networks for Cross-view Geo-localization 
35
著者 : Liu Liu and Hongdong Li 
 
● 画像だけでなく画像の方位情報を加味してCNNに入力することで，方位情報を含んだ特徴を獲得 
● 方位情報を単純に入力するのは困難なためU-V mapに情報を置換することで扱い可能 
● 衛星画像とStreet View画像をマッチングさせたCVACTデータセットを構築 
● 従来のCVM-netなどの手法と比較してSOTAを達成 
 
 
 
従来のCross View Matchingに方位情報を 
加えることでより正確に位置を推定

Multimodal Classification of Urban Micro-Events 
36
会議：ACM 2019 
著者：Maarten Sukel, Stevan Rudinac and Marcel Worring 
 
● テキストと画像から位置や天候などのメタデータを推定 
○ 都市レベルでマイクロイベントを検出 
● マルチモーダルな特徴のマージ手法を比較 
○ それぞれの特徴をグラフ上で表現学習する有用性の示唆 
● 各特徴量がどれだけ識別に影響するのかを調査 
○ 単一の特徴量だとテキストが最も重要 
マルチモーダルな特徴からマイクロイベントを検出

GeoStyle : Discovering Fashion Trends and Events 
37
会議 : ICCV 2019 
著者 : Utkarsh Mall, Kevin Matzen and Bharath Hariharan, 
Noah Snavely,Kavita Bala 
 
● 様々なファッションの属性の傾向と発見されたスタイルを検出・予測 
○ 季節のイベントや前年度のトレンドを特徴付ける 
○ 人々の服装に影響を与えるイベントを検出 
● 時空間的にlocalizeされたイベントを特定するために画像を分析 
● テキストの説明とキャプションからイベントの背景を自動で検出 
 
 
 
 
ファッションから長期的・季節的な 
イベントの傾向を予測

Personalized Tour Recommender through Geotagged Photo Mining and LSTM Neural
Networks 
38
会議 : CSCC 2019 
著者 : Chieh-Yuan Tsai, Gerardo Paniagua, Yu-Jen Chen, Chih-Chung Lo and Liguo Yao 
 
● クラスタリング手法とLSTMを組み合わせることで観光案内の推薦システムを構築 
1. Flickrから画像を収集し，mean shift clustering algorithmによって観光客に関連がある場所ごとに
クラスタリング 
2. Latent Dirichlet Allocationを用いて#に添付されたテキストを含めて異なるカテゴリに分類 
3. LSTMを用いて観光客に最適な観光経路を生成 
 
 
観光客に対して最適な観光案内を提案

Time to Shop for Valentine’s Day: 
Shopping Occasions and Sequential Recommendation in E-commerce 
39
会議 : WSDM 2020 
著者 : Jianling Wang, Raphael Louca, Diane Hu, Caitlin Cellier, James Caverlee and  
Liangjie Hong 
 
● 推測が難しいとされるバレンタインや友人の誕生日など固有の購買を予測するために、 
　「ユーザー固有の嗜好」や「固有の嗜好から逸脱したケース」をモデル化 
● ユーザー固有の出来事をモデリング、季節的なイベントをモデリング、これら2つの 
　均衡の保持のための計3つのlayerを提案 
 
季節や誕生日を考慮して次に買いそうな商品を提案

From Paris to Berlin: Discovering Fashion Style Influences Around the World 
40
著者 : Ziad Al-Halah and Kristen Grauman 
 
● どの都市のファッションが他の都市に影響しているか，トレンドを解析 
● GeoStyleデータセットを使用 
○ 主要44都市，7.7M画像保有，50スタイルのカテゴリ 
● データセットには「メタデータ（e.g. 場所，時間）を含みどの都市でどの程度スタイルが現れたか」が記録
されており，ファッションスタイル予測の誤差が計測できる 
○ 従来法との比較により，提案のモデルが良好な推定値を達成 
 
 
 
ファッションスタイルの世界的トレンドを追跡！ 
ファッショントレンドの変遷には傾向がある（左図） 
ことから，都市ごとのファッションの変遷を解析（右図） 
日常的なファッション画像から統計値（頻度など）を取り出し，都市
ごとに解析する。右のようなトレンドの追跡（どの都市でどの程度そ
のスタイルが現れるか）を計測。

チュートリアル 
42
 
● 研究をはじめるには..... 
○ Geotag Datasetの構築方法 
○ 実際の研究事例を紹介 
 
● 大学の研究室規模でもGeotag Datasetは構
築可能!!

Geotag Datasetの構築方法 
43
1. Image Collection
○ 世界の代表する16都市(Tokyo, Boston...etc)を選出
○ Frickr (YFCC100M)から選出都市で撮影された画像を収集
[Bart Thomee et al,. 2015]
■ 位置情報・時間情報は付与済
2. Person Detection
○ Faster R-CNNで人物検出 [Shaoqing Ren et al., 2015]
■ 人物に関する詳細な解析をするため
3. Bbox Refinement
○ 少数の人物画像を学習データとし，SVMを用いてノイズ除去
■ 収集画像は解像度等の原因から人物検出が困難 (ノイズ画像が多数存在)
※これは電大×産総研の一例です．
[Munetaka Minoguchi et al., 2019]

Geotag Datasetの応用 
44
● ファッショントレンド解析 [Kaori Abe et al., 2017] 
○ 服装流行と地域性の類似関係における解明 
 
 
 
 
● 人物検出のための弱教師事前学習 [Munetaka Minoguchi et al., 2019] 
○ 大規模データセットによる弱教師事前学習の有効性を調査

Geotag Datasetの収集方法 
45
● 研究を開始するためにはSNSから位置情報付きの画像をク
ローリングすることが必須 
○ 巨大IT企業 (Facebook...etc)はそのプラットフォームから収集可能 
○ 研究者レベルではYFCC100Mを利用（だが2019年末にアクセス権限を制限）  
■ YFCC100Mでは一括で収集可能だった... 
○ SNS (Flickr, Instagram...etc)のAPIを活用すれば新規に画像収集 
できるがやはり制限あり 
■ 研究や教育目的に使用するということを忘れずに！ 
[Instagram policy] 
 
 
研究室規模では地道な努力が必要‼ 
（Instagram等のAPIによる収集）

その他のデータセット (1/2)
46
Streetstyle [Kevin Matzen et al.,2017]
● ファッションに対して時空間的な解析を施し，ファッショントレンドの検出と予測
を可能とする 
 
データセット概要 
● Flickr100Mへ頻繁に画像がアップロードされている都市を分析 
○ 分析した都市からInstagramの画像を収集 
● 画像枚数 : 2.7万枚 
● 収集都市数 : 44都市 
● 収集期間 : 2013.06 - 2016.06

その他のデータセット (2/2) 
47
Geostyle [Utkarsh Mall et al.,2019]
● ファッションスタイルを検出しトレンド予測 
● ファッショントレンドの変遷からイベントを推定 
 
データセット概要 
● InstagramとFlickrから画像収集 
● 画像枚数 : 770万枚 
● 収集都市数 : 44都市 
● 収集期間 : 2013.06 - 2016.05

メタサーベイ 
49
 
● 注目研究機関 
○ Carnegie Mellon University 
○ Facebook 
● 注目研究者 
○ Kevin Matzen 
○ Christos Faloutsos 
○ Jure Leskovec. 
○ Ziad Al-Halah 
● 各タスクにおける動向

Carnegie Mellon University (CMU) 
50
● Data Miningと機械学習の研究グループである 
DATAMINING　GROUPが存在 
○ 後述するデータマイニングの巨匠であるChristos Faloutsos 先生を　　　　中心に研
究を進行 
○ 複数のプロジェクトを同時に進行させることで複合的に研究を進行 
● FacebookやGoogleとの連携でCOVID-19の調査も実施 
○ 米国で成果を挙げるインフルエンザ予測チームの一つであるDelphi研究　　グルー
プが実施 
○ 機械学習と大規模データによって国全体のウィルスの活動を可視化する　マップを
提案 
○ 様々な企業と連携することで，迅速にデータ収集して研究が可能 
https://www.cmu.edu/news/stories/archives/2020/
april/app-anonymously-traces-covid19.html
https://www.cmu.edu/news/stories/archives/2
020/april/cmu-unveils-covidcast-maps.html

● データマイニングに特化して研究するFacebook Data for Good　 
○ COVID-19や自然災害の対策としてSNS画像からマップを生成 
■ 世界中の大学の感染症疫学者，企業と協力して集計されたデータを共有，使用 
■ FacebookやInstagram上の世界中の投稿を監視するシステムを公開 
○ 研究機関, ユニセフ, 国連など活発にデータを共有 
■ 積極的にデータ共有することにより，データに対する信頼性をあげ， 
企業，大学等と共同研究の機会を得る 
■ 2018年にはDatum Futureを設立し25都市以上で会議を開催 
● FacebookやInstagramから大量データを使用可能 
○ Facebookによる地理的な情報から経済，社会，政治的な知見を獲得 
→迅速にCOVID-19対策の研究も開始 
●  
 
 
Facebook 
51

注目研究者(1/4) 
52
Kevin Matzen氏(Cornell University) 
● ファッションデータマイニング界のエース 
● GeoStyleの著者でありファッションに関するトレンド 
予測などを主に研究 
● Cornell Graphics and Vision Group所属 
● 代表論文 
○ StreetStyle:Exploring world-wide clothing styles from millions of photos 
○ GeoStyle:Discovering Fashion Trends and Events

53
 
Christos Faloutsos氏 (CMU)  
● 28本の最優秀論文賞を持つデータマイニング界の巨匠 
● CMUのDatabase Groupに所属 
● GNNによるデータマイニング手法などを多数提案 
 
● 主な受賞歴 
○ ICDM 10-Year Highest-Impact paper award, in ICDM 2018 
○ SIGKDD Test of Time award, 2019  
だがこれらはまだ一部....強い！  
 
● 代表論文 
○ PEGASUS:A Peta-Scale Graph Mining System 
○ ViVo: Visual Vocabulary Construction for  
Mining Biomedical Images 
 
http://www.cs.cmu.edu/~christos/

54
 
Jure Leskovec.氏(Stanford. Univ) 
● 生物医学などにも精通するDataMinigの研究者 
● ICDM’19にてResearch Contributions Award 
● NeurIPS’19にはGNN関連で3本採択 
● CHAN ZUCKERBERG HUBにも所属 
○ GNNなどを生物医学の分野に応用 
● WWWにてWiki Workshopの主催者 
● 代表論文 
○ Dynamics of large networks 
○ SNAP: A General-Purpose Network Analysis and Graph-Mining Library 
https://cs.stanford.edu/people/jure/

55
Ziad Al-Halah氏（Disney Research) 
● KITのR. Stiefelhagen lab出身 
● CVPRに多数の主著論文が採択 
○ CVPR’17ではファッショントレンドの解析論文 
 
 
● 代表論文 
○ Fashion Forward: Forecasting Visual Style in Fashion 
○ From Paris to Berlin: Discovering Fashion Style Influences Around the World 
https://cvhci.anthropomatik.kit.edu
/~zalhalah/

トレンド解析 
56
2012年以降のファッショントレンド解析 
● Flickrの画像を主に使用 
● CNNの登場を機にファッショントレンドの予測開始!? 
● 地域ごとのトレンドは解析できていたが，地域間の関係性までは詳細に
解析できていなかった 
 
2017年以降のファッショントレンド解析の複雑化 
● 若者の中でInstagramが流行し，ファッションに関する見栄えの良さを追
求した画像の投稿が増加→「インスタ映え」 
○ Flickrよりも服装に焦点を当てた画像が多い!? 
● Instagramの画像により詳細なファッショントレンド分析が可能 
 
2020年以降に流行りそうな研究 
● ファッショントレンドの地域間の関係性 
● ファッションにおけるレコメンド

POI検索 
57
2012年以前のPOI検索 
● Street View Matching 
● SIFTなどの局所ベース特徴から都市のランドマーク位置を推定 
● ランドマーク（東京タワーなど）の推定が限界!? 
 
2016年以降のPOI検索 
● Cross View Matching 
● CNNを用いて衛星画像とシーン画像からそれぞれ特徴を獲得し，Concat
することで従来よりも詳細に位置推定可能に 
● Matchingの際はMetric Learningが重要な要素！ 
 
● 建物などのシンボルがない砂漠などの位置を推測可能に! 
● SNSユーザーの位置推定するための軽量なGCNN手法の提案

行動予測 
58
2010年以前 
● GPS情報から人間の行動軌跡が理解可能 
● SNSへの投稿数などから人間の心理を理解 
 
2017年以降 
● NLP分野の発展によりTwitter等からテキストベースの特徴を加味するこ
とで人間の行動心理への理解を深める 
● 複数のSNSから取得したデータを複合 
 
● 人間の行動心理を解析したうえでレコメンドシステムの提案 
○ 詳細な心理解析が肝となりそう 
● 渋滞予測や事故予測など交通ナビゲーションシステムなどに応用 
● 今後も時系列情報の扱いが鍵となりそう！

環境解析 
59
2012年前後 
● SNSの画像またはテキスト情報を単一に扱い環境を解析 
● 環境問題が大きな話題となったことを背景に積雪量や緑化面積などにつ
いての研究が増加 
 
2017年以降 
● シーン認識における定量的な評価指標を回帰問題へ置換 
 
● SNSの投稿からCOVID-19の感染拡大の抑制につなげる！ 
 
 
環境解析はトレンドとなる社会問題へ 
迅速に対応することが鍵

渡部海(わたべかい)
● 東京電機大学　知能機械システム研究室 M1
● 神奈川県川崎市出身
● 小学生，中学生：サッカー，高校，大学：テニス
● FPSっておもろいですよね
【研究テーマや興味がある研究】
● 研究テーマ：ファッションスタイル解析
● 興味のある研究：マルチモーダル，半教師あり学習，物体検知
【10万円の使い道】※何のとは言っていません
● Oculus Quest, iPad, 技術書
【一言】
● 良い意味で研究に対してフッ軽に
【野望】
● Top Conf通しまくって論文博士

62
椿綾介(つばきりょうすけ) 
● 東京電機大学院　知能機械システム研究室 M1
● 埼玉県白岡市出身
● 特技：料理と言えるようになりたい
● 特技：早寝早起き
● ポケモンと声優が大好きおじさん
【研究テーマ】
● 潰れた蚊の種識別手法の検討
【興味がある研究】
● 物体認識
● 大規模データセットによる
トレンドの解析
【何か一言】
まだ未熟ですが，必ず頭良くなってみせます！！！

63
佐々木　大雅(ささきたいが) 
● 宮城県仙台市出身
● 趣味：FPS，ライブ参戦，Youtube，バスケ，旅行
● 食堂自動精算システム開発の基礎検討　―食器の検出及び分類―
● 食品認識のためのウォークスルー手法の検討
● 物体認識
【目標】
● CVについて学問を深く極めたい

64
遠藤大河(えんどうたいが) 
 
● 青森県出身，宮城県育ち 
● 趣味：ゲーム(主にFPS)，youtube視聴 
● 犬派 
● 移動視点からのエスカレータの位置検出および昇降方向識別 
● 大規模データベース構築
● トレンド解析, 行動予測
● 物体検出
● VR関連
【目標】
● 研究を通して自分を高めたい

65
小暮駿介(こぐれしゅんすけ) 
● Twitter：https://twitter.com/k0gu_chan
● GitHub：https://github.com/590shun
● 慶應義塾大学理工学研究科青木研究室 M1
● 趣味：スポーツ観戦, コントラバス,料理
● 動画認識(Multimodal Action Segmentation)
● 大規模データベース構築
● トレンド解析, 行動予測
● 動画要約, 動画検索, 行動理解
● 物体検出
● 音響理解
【目標】
● 人の役に立つ研究をしていきたいです．頑張ります！

高橋　遼(たかはし　りょう)
● 慶應義塾大学大学院　理工学研究科 M1
● 出身：宮崎 / 富山 / オーストラリア
● 趣味：ドライブ，旅行
● 研究テーマ：ドメイン適応，AIの公平性
● 興味のある研究：GAN，シーングラフ
【目標】
1年後：CVPR投稿
2年後：データサイエンティストとして就職
10年後：年収1000万
【最後に一言】
社会にインパクトを与えられる研究を！
卒論研究：上位クラスを考慮したド
メイン適応

山田亮佑(やまだりょうすけ)
● Twitter：https://twitter.com/FragileGoodwill
● 東京電機大学　知能機械システム研究室 M1
● 長崎県南島原市出身
● 小学生：サッカー（国体強化選手），中学生：バスケ，高校：
テニス（シングル長崎県ベスト32）
● 最近はアコースティックギターに挑戦
● 研究テーマ：ファッションスタイル解析，三次元点群
● 興味のある研究：動画認識，敵対的サンプル
【将来の夢】
5年後：同世代のAI研究者代表
10年後：日本が誇るAI研究者
15年後：世界トップクラスのAI研究者
【影響をうけた漫画】
● スラムダンク，キングダム
【最後に一言】
世界的に影響を与えることのできる研究者(AIスター)になります！

• 研究テーマ：画像・動画認識，人物行動認識・予測，物体検
出，交通予防安全，言語&視覚，大規模DB構築，数式ドリ
ブンDB生成 
• 最近の興味：FATE, SSL 
• 主要論文：CVPRx2, ICRAx3, BMVC, ACCV等 
MyPage/SNS HP: http://hirokatsukataoka.net/ Twitter: @HirokatuKataoka  
• 産業技術総合研究所（CVRT, AI Center）研究員（2016, Apr. ~ 現在)
• 東京電機大学訪問研究員（2016, Apr. ~ 現在）  
• cvpaper.challenge 主宰（2015, May~），nlpaper.challenge HQ（2018, Dec.~）,
robotpaper.challenge HQ（2019, Jul. ~）  
• 茨城県笠間市出身, 芝浦工大（’05-’09）, 慶應義塾大学（’09-’14）, 東京大（’14 -’15）
，長距離走（フルマラソンBest 3’30），水泳（茨城県5位），野球（高校~大学; 海外選抜メ
ンバー），犬と遊ぶこと  
• ひとこと：根っからのチャレンジャーです！ 
• cvpaper.challenge: 研究分野のトレンドを把握しトレンド
を創り出せる研究コミュニティにする 
• xpaper.challenge: 分野横断的に研究連携する枠組みを
構築することが目標 
片岡裕雄 
（かたおかひろかつ） 
【研究テーマや研究の興味】 
【ひとこと，目標】 
研究コミュニティを強くする！

Geotag Data Mining （メタサーベイ）

More Related Content

What's hot (20)

Similar to Geotag Data Mining （メタサーベイ） (20)