SlideShare a Scribd company logo
FLAT CAM
Replacing Lenses with Masks and
Computationの解説
デンソーアイティーラボラトリ
関川雄介
世界の変わったカメラたち
名前 キャッチコピー
Pinhole camera(BC) 紀元前に発明
Pinspeck camera(BC) Pinhole cameraの逆
Accidental Pinhole and
Pinspeck Cameras(2013)
自然に起きるピンホールカメラ
Random Lens Imaging(2006) 鏡を砕いてレンズに
CORNAR(2012) 見えない曲がりかどの先を見る
Lensless Imaging with a
Controllable Aperture(2006)
光の速度で相関演算
Rice Single Lens camera(2006) 1ピクセルカメラ CS画像応用の火付け役?
Pico Cam(2014) 直径髪の毛の1/10
Flatcam(2015) 激薄 厚さ0.5mm
準備
簡単に用語・記号の定義をします
カメラ:
シーンの情報を観測する装置
シーン観測
PSF
http://av.jpn.support.panasonic.com/support/global/cs/dsc/knowhow/knowhow01.html
カメラ
(観測行列)
注:観測行列は簡単のため1次元の場合のイ
メージを記載しています.カメラのセンサーは2
次元なので,実際の観測行列はこれを循環させ
たものをブロック状に配置したようなものになり
ます.
次頁以降の説明も同様です.
また,一部観測行列でなくPSFを記載しているス
ライドもあるます.
PSF/Reconstruction
• Point Spread Function(PSF): 点光源を
撮影したときに得られる画像
• Reconstruction:得られた観測yからシー
ンxを復元(推定)すること
線形/非線形
EXTREME CAMERAS
Overview
PSF
Pinhole camera(BC)
シーン観測 カメラ
(観測行列)
https://ja.wikipedia.org/wiki/ピンホールカメラ
Pinspeck camera(BC)
http://www.northlight-images.co.uk/article_pages/Canon_1ds_pinhole.html
カメラ シーン観測
PSF
Accidental Pinhole and Pinspeck
Cameras(2013) カーテンの隙間
壁の模様:
除去したい!
http://people.csail.mit.edu/torralba/publications/shadowsIJCV.pdf
Algorithm: 窓の外の風景 = 観測(y)の微分画像から
エッジ部分(カーテンをしめた画像から計算)を除いた積分画像
Pinhole Pinspeck
Rice Single Pixel camera(2006)
時刻tにおけるミラーパターン
ラスタスキャンの
1/10の観測から復元
PSF
1pixelセンサー
ミラーアレー
http://dsp.rice.edu/cscamera
Random Lens Imaging(2006)
砕いたガラス
PSF
http://people.csail.mit.edu/billf/publications/Random_Lens_Imaging.pd
CORNAR: Looking Around Corners using
Femto-Photography(2012)
http://web.media.mit.edu/~raskar/cornar/
http://web.media.mit.edu/~raskar/cornar/
Lensless Imaging with a Controllable
Aperture(2006)
http://www1.cs.columbia.edu/CAVE/projects/pi_con/
光の速度で相
互相関を計算
透明ディスプレー
PSF
PicoCam(2014)
PSF
CCD
PicoCam
http://arxiv.org/pdf/1509.00116v2.pdf
FLAT CAMERA
Overview
FlatCam: Replacing Lenses with Masks
and Computation(2015)
PSF
うれしさ(vs conventional camera)
明るい 安い 薄い薄い
うれしさ(vs other Lens Less cameras)
vs Coded Lens(SIGGRAPH2014)
vs PicoCam
薄い
明るい
復元結果
demo video
ポイント
1. コンパクトなH/W設計
2. 高速な復元⇨30fps
1. レンズ設計
2. Calibration
3. Reconstruction
CCD
Coded Aperture
レンズ(マスクパターン)設計
従来法:
システム行列
が巨大
マスクパターン:
M系列の外積
(Rank1)
(注)システム行列
≠Rank1
小さなシステム行列
のサンドイッチに分解
高速な復元を実現
M系列
:特異値スペク
トルがフラット
ポイント
Calibration=:システム行列を求める
ポイント
シーンXがSeparable=rank1
h:Hadmard行列の列 観測のrank1近似
FLAT CAM: Replacing Lenses with Masks and Computationの解説
Reconstruction(最小二乗誤差)
小さな行列との積による高速な復元処理(>15FPS!)
ポイント
Separable Maskによる効果
その他の復元方法との比較
Tiknov 正則化: 75ms/frame LSと同じ位の計算量で十分綺麗
TV正則化: 75s/frameエッジが少し綺麗?
参考資料
関連論文&サイト一覧
本資料の画像は以下のサイト若しくは論文のものを使用していま
す.
• http://news.rice.edu/2015/11/23/no-lens-no-problem-
for-flatcam-2/
• http://www.northlight-
images.co.uk/article_pages/Canon_1ds_pinhole.html
• http://people.csail.mit.edu/torralba/publications/shadows
IJCV.pdf
• http://people.csail.mit.edu/billf/publications/Random_Len
s_Imaging.pd
• http://dsp.rice.edu/cscamera
• http://arxiv.org/pdf/1509.00116v2.pdf
• http://web.media.mit.edu/~raskar/cornar/
• http://doshomachi.net/camera-obscura/
• http://fluid.media.mit.edu/sites/default/files/a59-
sckikawa.pdf

More Related Content

PDF
AULA 00 OAB XX PROCESSO CIVIL ESTRATÉGIA
DOCX
Vissitudes constitucionais
PDF
Hans georg gadamer e a teoria da hermenêutica
PDF
Casos Práticos Resolvidos Teoria Geral do Direito Civil
PPTX
Aula Administração direta e indireta
PPTX
Ramos do direito publico
PPT
Sistema Tributário Nacional
DOCX
Direito público e direito privado
AULA 00 OAB XX PROCESSO CIVIL ESTRATÉGIA
Vissitudes constitucionais
Hans georg gadamer e a teoria da hermenêutica
Casos Práticos Resolvidos Teoria Geral do Direito Civil
Aula Administração direta e indireta
Ramos do direito publico
Sistema Tributário Nacional
Direito público e direito privado

What's hot (9)

DOC
A quantificação do dano moral resultante de acidentes de trabalho no ordename...
PPT
Aula 01 direito das obrigações - introdução
PDF
البرنامج التمهيدي باللغة العربية
PDF
QUAL O PAPEL DE UM SINDICATO
DOCX
9 motivos para aprender portugues
PPTX
Reconvenção
PPTX
Estipulações contratuais em relação a terceiros - CIVIL 3
PDF
Artigo bioterra v18_n1_04
DOCX
Resumo das aulas de Direito Comercial do Prof. Rui Teixeira Santos (Claudia G...
A quantificação do dano moral resultante de acidentes de trabalho no ordename...
Aula 01 direito das obrigações - introdução
البرنامج التمهيدي باللغة العربية
QUAL O PAPEL DE UM SINDICATO
9 motivos para aprender portugues
Reconvenção
Estipulações contratuais em relação a terceiros - CIVIL 3
Artigo bioterra v18_n1_04
Resumo das aulas de Direito Comercial do Prof. Rui Teixeira Santos (Claudia G...
Ad

Viewers also liked (20)

PPTX
Go-ICP: グローバル最適(Globally optimal) なICPの解説
PDF
Deep Learning Chapter12
PPTX
ディープラーニングの車載応用に向けて
PPTX
CNNチュートリアル
PDF
On the eigenstructure of dft matrices(in japanese only)
PDF
Dsirnlp#7
PDF
Halide, Darkroom - 並列化のためのソフトウェア・研究
PPTX
Nl220 Pitman-Yor Hidden Semi Markov Model
PPTX
Gamglm
PDF
Variational Kalman Filter
PDF
マーク付き点過程
PDF
DSIRNLP06 Nested Pitman-Yor Language Model
PDF
Holonomic Gradient Descent
PPTX
Sparse Isotropic Hashing
PDF
Stochastic Process Overview (hypothesis)
PDF
Swift 2 (& lldb) シンポジウム
PDF
Extreme Learning Machine
PPTX
Pylm public
PDF
情報検索における評価指標の最新動向と新たな提案
PDF
論文紹介:Practical bayesian optimization of machine learning algorithms(nips2012)
Go-ICP: グローバル最適(Globally optimal) なICPの解説
Deep Learning Chapter12
ディープラーニングの車載応用に向けて
CNNチュートリアル
On the eigenstructure of dft matrices(in japanese only)
Dsirnlp#7
Halide, Darkroom - 並列化のためのソフトウェア・研究
Nl220 Pitman-Yor Hidden Semi Markov Model
Gamglm
Variational Kalman Filter
マーク付き点過程
DSIRNLP06 Nested Pitman-Yor Language Model
Holonomic Gradient Descent
Sparse Isotropic Hashing
Stochastic Process Overview (hypothesis)
Swift 2 (& lldb) シンポジウム
Extreme Learning Machine
Pylm public
情報検索における評価指標の最新動向と新たな提案
論文紹介:Practical bayesian optimization of machine learning algorithms(nips2012)
Ad

FLAT CAM: Replacing Lenses with Masks and Computationの解説