2017-05-30_deepleaning-and-chainer
Download as PPTX, PDF1 like658 views
Deep Learningは2012年に画像認識の分野で大きなブレイクスルーを果たした後、様々な応用分野で瞬く間に成果を上げています。本講演では、まず最初にDeep Learningの原理やAI研究における位置付けを説明することで、Deep Learningについて振り返ります。その後、自動運転など、各分野でのDeep Learningの成果や今後の応用先を説明させていただきます。事例紹介の際には、Preferred NetworksやDeep LearningフレームワークChainerの成果も交えることで、私達の貢献をお伝えできればと思います。
2017-05-30_deepleaning-and-chainer
- 2. 2017/05/31 自己紹介 • 梅澤 慶介 • -2014 東京大学 修士 • ロボティクス、運動認識、運動生成 • 2014-2016 (株)三菱東京UFJ銀行 • 金融デリバティブ商品の評価ライブラリの開発 など • 2016- ヤフー株式会社 • データ＆サイエンスソリューション統括本部所属 • Deep Learning向け検索エンジン開発 など • 2017- (株)Preferred Networks • Chainer エバンジェリスト 2
- 3. 2017/05/31 会社紹介：Preferred Networks (PFN) • “Make everything intelligent and collaborative” • 2014年3月創業 •Office：東京、シリコンバレー •従業員: ~80 (researchers, engineers) •主な出資者: FANUC, TOYOTA, NTT 3
- 4. 2017/05/31 4 Humanoid Robot Consumer Industrial Cloud Device PhotoGame Text Speech Infrastructur e Factory Robot Automotiv e Healthcare Smart City Industry4.0 Industrial IoT Preferred Networks’ positioning in AI: Industrial IoT
- 5. 2017/05/31 Chainer • Chainerとは (http://chainer.org/) • Preferred Networks製Deep Learningフレームワーク 5
- 8. 2017/05/31 Agenda 1. Deep Learningによる第3次AIブーム 2. Deep Learningとは 3. Deep Learningの各分野での成果 4. Deep Learningのこれから 8
- 10. 2017/05/31 Agenda 1. Deep Learningによる第3次AIブーム 2. Deep Learningとは 3. Deep Learningの各分野での成果 4. Deep Learningのこれから 10
- 11. 2017/05/31 AI研究の歴史 • 第1次AIブーム(1956〜1960年代)：アルゴリズムの時代 • ダートマス会議(1956年) • AI(Artificial Intelligence)という言葉の誕生 • 探索・推論アルゴリズムにより会話やチェスを行うプログラム • 第2次AIブーム(1980年代)：ルールベースの時代 • エキスパートシステム • ルール群から特定の分野の問題を解くシステム • 第五世代コンピュータプロジェクト • 通産省570億円の資金 • 第3次AIブーム(2013年〜) 11
- 12. 2017/05/31 第3次AIブームのきっかけ • Deep Learningが大きな成果を出したことが発端 • できごと • 画像認識コンテストにおいて大差で優勝(2012年) • 音声認識・化合物の活性予測でも最高精度を達成(2012年) 12
- 13. 2017/05/31 画像認識コンテストにおいて大差で優勝(2012年) • ILSVRC2012という世界的に有名な大規模画像認識コンテスト • http://www.image-net.org/challenges/LSVRC/2012/ • コンテストのイメージ 13 Krizhevsky, A., et. al: ImageNet Classification with Deep Convolutional Neural Networks, NIPS2012, 2012
- 14. 2017/05/31 画像認識コンテストにおける大差での優勝(2012年) • Deep Learningを使用したチームが大差をつけて優勝した 14 チーム名 エラー率 1 Super Vision 15.315% 2 Super Vision 16.422% 3 ISI 26.172% 4 ISI 26.602% 5 ISI 26.646% 6 ISI 26.952% 7 OXFORD_VGG 26.979% ・・ ・ ・・・ ・・・ Deep Learning
- 15. 2017/05/31 画像認識コンテストにおける大差での優勝(2012年) • Deep Learningを使用したチームが大差をつけて優勝した 15 チーム名 エラー率 1 Super Vision 15.315% 2 Super Vision 16.422% 3 ISI 26.172% 4 ISI 26.602% 5 ISI 26.646% 6 ISI 26.952% 7 OXFORD_VGG 26.979% ・・ ・ ・・・ ・・・ Deep Learning 大きなgap
- 16. 2017/05/31 画像認識コンテストのその後 • ”2012 年のブレークスルー後わずか二年ほどで 人間レベルへ到達する驚異的な発展を遂げている” 16中山英樹：深層畳み込みニューラルネットワークによる画 像特徴抽出と転移学習．信学技報115(146): 55–59, 2015
- 17. 2017/05/31 音声認識・化合物の活性予測でも最高精度を達成(2012年) • 音声認識 • マイクロソフトが音声認識システムをDeep Learningに移行 • エラー率を23.2%も削減した • 化合物の活性予測コンテスト • Merck Molecular Activity Challengeで最高精度を達成 • 非専門家によって達成され、専門知識が不要なことも衝撃的だった 17Merck Molecular Activity Challenge, https://www.kaggle.com/c/MerckActivity Dahl, G., et. al: Context-Dependent Pre-trained Deep Neural Networks for Large Vocabulary Speech Recognition, 2013 IEEE SPS Best Paper Award
- 18. 2017/05/31 Deep Learningによる第3次AIブーム • 第1次AIブーム(1956〜1960年代)：アルゴリズムの時代 • ダートマス会議(1956年) • AI(Artificial Intelligience)という言葉の誕生 • 探索・推論アルゴリズムにより会話やチェスを行うプログラム • 第2次AIブーム(1980年第)：ルールベースの時代 • エキスパートシステム • 第五世代コンピュータプロジェクト • 通産省570億円の資金 • 第3次AIブーム(2013年〜)：Deep Learningの時代 • 圧倒的な認識精度の改善 • 専門知識が不要 18
- 19. 2017/05/31 なぜこのタイミングに第3次AIブームが起きたのか • Deep Learningの元となるアイデア・技術は既に存在していた • ニューラルネットワーク(1943年〜) • 機械学習(1959年〜) • アイデア・技術は揃っていたのに、なぜこのタイミングに 起きたのか？ • Webサービスの発展・大規模データの蓄積 • 計算機の能力の向上 19
- 21. 2017/05/31 Agenda 1. Deep Learningによる第3次AIブーム 2. Deep Learningとは 3. Deep Learningの各分野での成果 4. Deep Learningのこれから 21
- 22. 2017/05/31 Deep Learningとは • 機械学習の1手法であり、データに基づくアプローチである • 既存の機械学習とは異なり、データからルール獲得まで End-to-Endで学習する手法である 22 機械学習 Deep Learning ルールデータ Deep Learning
- 23. 2017/05/31 Deep Learningとは • 機械学習の1手法であり、データに基づくアプローチである • 既存の機械学習とは異なり、データからルール獲得まで End-to-Endで学習する手法である 23 機械学習 Deep Learning ルールデータ Deep Learning
- 24. 2017/05/31 Deep Learningとは、機械学習の1手法である • 機械学習とはデータに基づくアプローチである • 学習データからルールを自動獲得する • 獲得したルールを新しいデータに適用して、 機械に結果を出力させる 24
- 31. 2017/05/31 Deep Learningとは • 機械学習の1手法であり、データに基づくアプローチである • 既存の機械学習とは異なり、データからルール獲得まで End-to-Endで学習する手法である 31 機械学習 Deep Learning ルールデータ Deep Learning
- 32. 2017/05/31 Deep Learningとは、 データからルール獲得までEnd-to-Endで学習する手法である 32 (0, 1, 2.5, -1, …) (1, 0.5, -2, 3, …) (0, 1, 1.5, 2, …) 特徴ベクトル グラフィカルモデル 分類/回帰 SVM/LogReg/PA CW/ALOW/Naïve Bayes/ CNB/DT RF/ANN… クラスタリング K-means/Spectral Clustering/MMC/LSI/LDA/GM … 構造分析 HMM/MRF/CRF… 分野に依存しない 抽象化データ 様々な手法 理論を適用 文書 画像 センサー 行動履歴 様々な様式の 生データ 特徴 抽出 機械 学習 • 機械学習の典型的な学習プロセス
- 33. 2017/05/31 Deep Learningとは、 データからルール獲得までEnd-to-Endで学習する手法である 33 (0, 1, 2.5, -1, …) (1, 0.5, -2, 3, …) (0, 1, 1.5, 2, …) 特徴ベクトル グラフィカルモデル 分類/回帰 SVM/LogReg/PA CW/ALOW/Naïve Bayes/ CNB/DT RF/ANN… クラスタリング K-means/Spectral Clustering/MMC/LSI/LDA/GM … 構造分析 HMM/MRF/CRF… 分野に依存しない 抽象化データ 様々な手法 理論を適用 文書 画像 センサー 行動履歴 様々な様式の 生データ • Deep Learningの学習プロセス Deep Learning
- 35. 2017/05/31 Agenda 1. Deep Learningによる第3次AIブーム 2. Deep Learningとは 3. Deep Learningの各分野での成果 4. Deep Learningのこれから 35
- 36. 2017/05/31 Deep Learningの各分野での成果 36 • Deep Learningは既に様々な分野で革新を生み続けている • 既に成功を収めている分野を紹介する • 音声認識 • 画像認識・画像生成・線画着色 • 自然言語処理
- 37. 2017/05/31 音声認識 37 • Deep Speech (End-to-End音声認識システム) • Baidu Researchのグループが発表した • 音声データから直接テキストを生成する • 当時、従来手法に対し、10%以上性能を改善した 音声データ 音声特徴量 音素列 テキスト a/sh/i/t/a/… 明日は… 音声データ 音声特徴量 テキスト Deep Learning 従来手法 新規手法 Hannun,A., et. al: Deep Speech: Scaling up end-to-end speech recognition, 2014
- 38. 2017/05/31 画像認識 38 AlexNet, Kryzyevsky et al., 2012年の優勝チーム(8層) GoogLeNet, Szegedy et al., 2014年の優勝チーム • 画像認識向けDeep Learningは複雑化した • ILSVRC(大規模画像認識コンテスト)の優勝者の例
- 41. 2017/05/31 画像生成：画風変換アルゴリズム 41 • 元となる画像を「コンテンツ画像」、画風を「スタイル画像」 とする • 「コンテンツ画像」に書かれた物体はそのまま • 「スタイル画像」に基づいた画風に変換する https://research.preferred.jp/2015/09/chainer-gogh/ Leon,A., et. al: A Neural Algorithm of Artistic Style, 2015
- 42. 2017/05/31 画像生成：画風変換アルゴリズム 42https://research.preferred.jp/2015/09/chainer-gogh/ Leon,A., et. al: A Neural Algorithm of Artistic Style, 2015
- 43. 2017/05/31 線画着色：pixiv Sketch × PaintsChainer • pixiv Sketch (https://sketch.pixiv.net/) • ピクシブが提供するお絵描きコミュニケーションプラットフォーム • PaintsChainer • Preferred Networksによる線画を自動で着色するAI 43 http://paintschainer.preferred.tech
- 44. 2017/05/31 自然言語処理：分散表現 44 • Word2VecはGoogleの研究者であるTomas Mikolovらが 提案した単語の分散表現を生成する手法である • Word2Vecの分散表現により、 意味の類似度評価や単語同士の演算が可能になった 単語同士の演算 Queen＝Woman+(KingーMan)意味の類似度評価 Milcolov, T., et. al: Linguistic Regularities in Continuous Space Word Representations, NAACL, 2013 Queen Woman Man King Tomato BicycleCar Banana PotatoMan King Queen
- 45. 2017/05/31 分散表現の応用例 45 • 単語だけでなく他のエンティティに対しても分散表現化の成果 が出ている • Paragraph2Vec、Doc2Vec など • 実サービス応用例も存在：ニュース記事の重複排除 • ニュース記事を配信する時に、あまりに似通っている記事をユーザー に見せたくない、というモチベーションがある • そこで、ニュース記事の分散表現を作成し、似たニュース記事を表示 しないようにした 大倉 ら: 分散表現を用いたニュース記事の重複排除, NLP2016 2016
- 47. 2017/05/31 Agenda 1. Deep Learningによる第3次AIブーム 2. Deep Learningとは 3. Deep Learningの各分野での成果 4. Deep Learningのこれから 47
- 48. 2017/05/31 Deep Learningのこれから 48 • Deep Learningは様々な分野で革新を生み出した • しかし、Deep Learningをただ適用するだけでは問題に ぶつかりつつある • 問題 • 計算パワーが足りない • 問題設定によっては、学習に平気で数十時間かかることもある • 学習データが足りない • 画像認識コンテストでは、1000種類のラベルが付いた 150,000画像が使われているが、そこまで用意するのは辛い
- 49. 2017/05/31 計算パワーが足りない 解決策(1)：Deep Learning特化のアクセラレータを使用する 49 • GPU • 本来は画像処理向け • 現在のDeep Learningアクセラレータの業界標準 • 例：NVIDIAのDGX-1 • FPGA • Deep Learningの演算処理をプログラム可能な ハードウェア上に実装 • 例：IntelによるFPGA大手Alteraの買収 • 専用プロセッサ • Deep Learningの演算処理専用チップ • 例：GoogleのTensor Processing Unit(TPU) 高 汎用性 低 低 省エネ 高
- 50. 2017/05/31 計算パワーが足りない 解決策(2)：マルチノード(複数台マシン)で計算を行う 50 • ChainerMN (DLSummit’17, GTC’17) • ImageNetの学習が20時間超から4.4時間に
- 51. 2017/05/31 学習データが足りない 解決策：Deep Learning + 強化学習 51 • Deep Learningによって人がわざわざ特徴量を設計する必要は なくなったが、依然として大量のデータを必要としている • これを解決するのが強化学習 • エージェント(学習の主体)が環境から得られる状態に対して、報酬を最 大化するように行動を学習する 環境 状態 行動 報酬
- 52. 2017/05/31 強化学習の学習過程 52 • 強化学習でブロック崩しを 学習する様子 • 環境：ゲーム • 状態：ボールの位置など • 報酬：崩したプロックの数 • エージェント：ゲームAI • 行動：板の移動 • 最初はすぐに失敗するが、120回を超 えると人間並みの腕並み • 240回を超えると… Google DeepMinds: Google DeepMind's Deep Q-learning playing Atari Breakout (https://youtu.be/V1eYniJ0Rnk)
- 61. 2017/05/31 Chainerの紹介 • Twitter @ChainerJP • Chainer Japanese User Group https://groups.google.com/forum/#!forum/chainer-jp • 公式ページ http://chainer.org/ • GitHub https://github.com/pfnet/chainer 61
- 62. 2017/05/31 Chainer User Groupのevent活動 • 様々な学会や機械学習/Deep Learningのイベントにて 登壇/チュートリアルを行っています • AAAIのチュートリアル • GTC2016のチュートリアル • YANSの講演 • PyCon JPの招待講演 など • 登壇/チュートリアルのご依頼はPreferred Networksまで ご連絡ください 62
- 63. 2017/05/31
- 64. 2017/05/31 Appendix：人手による特徴量の抽出 64 • タスク：+を認識したい 特徴量抽出器 特徴量抽出器 ＋ である ＋ でない 人手でつくる 必要がある
- 65. 2017/05/31 Appendix：人手による特徴量の抽出 65 • タスク：×を認識したい 特徴量抽出器 特徴量抽出器 × である × でない タスクごとに異なる 抽出器を作る必要がある
- 66. 2017/05/31 Appendix：Deep Learningによる特徴量の自動抽出 66 • タスク：+を認識したい 特徴量抽出器 特徴量抽出器 ＋ である ＋ でない タスクごとに適切な 特徴量が自動で決定