JPEGのDCTブロックで コンテンツ指向のトリミング
- 5. 顔認識は計算リソースがかなり必要 事前計算する場合、それを記録する ストレージが必要 顔以外は考慮してくれない 画像変換サービスにはかなり重い FacebookのOGP画像に顔が入っている場合のトリミング位置 ¦ Sunday In The Park http://snowadays.jp/2014/03/2629 • 実例：Facebook • 顔認識の結果をベースとしている（らしい）
- 7. • そうだ！ • JPEGエンコーダーの • DCTブロックを直接参照すればいいじゃないか
- 8. 話すこと • JPEGデコーダに処理を追加して高周波成分の中 心位置を求め、 • その情報を使ってトリミングをしたら、 • 構図を工夫した画像でも良い感じに切り抜きで きた
- 10. 原理 1. JPEGのデコードの過程で、元画像を8x8pixelごとに離散 コサイン変換（DCT）したデータを得られる 2. 画像をDCT変換すると高周波と低周波に分離できる 3. 経験則：コンテンツのある場所は周波数が高い • 写真：ピントが合ってエッジが立ってる • イラスト：書き込みが多く、輪郭線が多い • 顔：目や口、髪の毛の陰影
- 11. アプローチ • ハフマン展開+逆量子化とDCT-I の間に処理を追加 • 各ブロック内の高周波成分を積分 してブロックの特徴量を算出 • 全ブロックの特徴量の重心を計算 • 重心が枠に入るように適当なサイ ズでcrop • ハフマン展開+逆量子化 • 高周波成分の算出
- 12. DEMO
- 14. • そのうちやりたいこと • libjpegに組み込む • 定量的評価 • jpgjs のバグ直す