![動的構造
• 概要
• NNの集合を考える
• NNsのどの部分集合を使うかを入力データに従って
動的に決定
• 個々のNNは特徴量のどの部分集合を使うかを動的
に決定(条件付き計算)
• cascade
• 異常検知で, 高い再現率を持つモデルを1段目, 高い
適合率を持つモデルを2段目に置いて高速化とパ
フォーマンスを両立させる
• gater
• gaterにexpertを選択させる
• mixture of experts (MoE)
7
[Shazeer+, ICLR, 2017]](https://image.slidesharecdn.com/dl0716-190714122408/85/Deep-Learning-Chap-12-Applications-7-320.jpg)
![音声認識の発展の歴史
• GMM-HMMモデル
• 長く支配的な手法
• Gaussian mixtureで音響特徴と音素の関係をモデ
ル化
• hidden Markovで音素の系列をモデル化
• NNベースのモデル
• 2009年に制約付きBoltzmannマシン(RBM; 第3部)
の適用で本格的に始まる
• 2013年, LSTMによりHMMを取り除く試み
16
[河原, 日本音響学会, 2018]](https://image.slidesharecdn.com/dl0716-190714122408/85/Deep-Learning-Chap-12-Applications-16-320.jpg)
![推薦システム
• DLはここまで紹介してきたもの以外にも, EC
サイト, SNS, コンテンツ配信などで広く実装
されている推薦システムにも応用できる
26
協調フィルタリング
閲覧履歴からユーザ間の類似度を測る.
コールドスタート問題あり.
内容ベースフィルタリング
記事そのものの特徴量から記事間の類似度を測る.
多様性を出しにくい.
[Tondji, 2018]](https://image.slidesharecdn.com/dl0716-190714122408/85/Deep-Learning-Chap-12-Applications-26-320.jpg)
![参考文献
[1] I. Goodfellow et al., Deep Learning, MIT Press, 2016.
[2] 岩澤 他訳, 深層学習, ASCII DWANGO, 2018.
[3] 原田達也, 画像認識, 講談社, 2017.
[4] 坪井祐太 他, 深層学習による自然言語処理, 講談社, 2017.
[5] 神嶌敏弘, 推薦システムのアルゴリズム, 2016.
同じ範囲を扱ったスライドが2つ見つかりました.
[6] [DL輪読会]Deep Learning 第12章 アプリケーション
[7] Deep Learning Chapter12
30](https://image.slidesharecdn.com/dl0716-190714122408/85/Deep-Learning-Chap-12-Applications-30-320.jpg)
Deep Learning Chap. 12: Applications
- 1. Deep Learning Chap. 12 Applications (pp. 438-481) Shion Honda Journal Club @DSP
- 2. 概要 • 深層学習の大規模計算 • コンピュータビジョン • 音声認識 • 自然言語処理 • その他の応用 2 適宜, 最新の情報を交えて紹介します！
- 4. GPUによる計算 • 深層学習では大きなネットワークを学習させる ためハードとソフト両面で計算の工夫が必要 • かつては様々な実装の工夫をしてCPUで計算 していた • 近年は, グラフィック描画用のGPUを汎用計算 向けにしたgeneral purpose GPUを使う • ビデオゲームは高速な行列計算が必要 • NVIDIAが開発したCUDAによりCのよう な言語でプログラムを実行可能に • TensorFlowやPyTorchなどのライブラリ が普及し, GPUに最適なコードを書くこ とも簡単になった 4 GeForce RTX 2070 Super
- 5. 分散処理 • data parallelism • 入力データを分割して別々のマシンで処理する • 訓練時に適用するには非同期SGDが必要 • パラメータが乗ったメモリを共有するか, パラメータサー バを用意 • 近年の巨大なモデルを訓練するには不可欠 • model parallelism • ワークフローの各ステップを流れ作業のように別々 のマシンに担当させる • 訓練・推論のどちらでも適用可能 5
- 6. モデル圧縮 • 目的 • エンドユーザは計算リソースが限られているケース が多い(スマホなど) • 学習させたモデルを圧縮したい • 手法 • 蒸留: 𝒙と大きな学習済み の教師モデルによる出力 𝑓(𝒙)のペアを, 別の小さ な生徒モデルに学習させる • 効率的なマイクロアーキテクチャ • 量子化: 訓練後に重みの浮動小数点精度を下げる • pruning: 訓練後に不要な構造を削除する 6 DeepXによるブログが詳しい
- 7. 動的構造 • 概要 • NNの集合を考える • NNsのどの部分集合を使うかを入力データに従って 動的に決定 • 個々のNNは特徴量のどの部分集合を使うかを動的 に決定(条件付き計算) • cascade • 異常検知で, 高い再現率を持つモデルを1段目, 高い 適合率を持つモデルを2段目に置いて高速化とパ フォーマンスを両立させる • gater • gaterにexpertを選択させる • mixture of experts (MoE) 7 [Shazeer+, ICLR, 2017]
- 8. 専用ハードウェアによる実装 • 専用ハードウェア • 初期はNN用ASIC (application-specific integrated circuit)が考案されていた • 近年はFPGA (field programmable gated array) • 浮動小数点精度 • 近年, 単一CPU/GPUの処理速度の成長が鈍化 • 計算量の削減に舵が切られた • 通常のCPU/GPUは32bitか64bitだが, NNの学習・ 推論には8-16bit程度で十分 8
- 10. CVのタスク 10 Image Synthesis object recognition OCR 最新の研究動向につい ては, 例えば CVPR 2019 速報 CVPR 2019 report (30 papers) があります(どちらも長 いです)
- 11. 前処理: GCN 11 MIRU2014 tutorial deeplearning より抜粋
- 12. 前処理: GCN • 方向だけで特徴を表せるようにする • 各画像の画素値の平均を0, 分散を1に • 一様な画像だと分母が0に近くなる • 𝜆や𝜖を入れて回避 12
- 13. 前処理: LCN • 局所コントラスト正規化(local contrast normalization) • エッジやコーナーなどの局所的なコントラストの差 も大事 • 小領域ごとに正規化 13
- 14. 前処理: データ拡張 14 • imgaug, Augmentor, albumentationsなど のライブラリが有名 • 一般に有効
- 15. 12.3 音声認識 15
- 16. 音声認識の発展の歴史 • GMM-HMMモデル • 長く支配的な手法 • Gaussian mixtureで音響特徴と音素の関係をモデ ル化 • hidden Markovで音素の系列をモデル化 • NNベースのモデル • 2009年に制約付きBoltzmannマシン(RBM; 第3部) の適用で本格的に始まる • 2013年, LSTMによりHMMを取り除く試み 16 [河原, 日本音響学会, 2018]
- 17. 12.4 自然言語処理 17
- 19. 言語モデルとn-grams • 言語モデル (language model): 文章に確率分 布を与える • n-gram • 文章中の単語をその前の𝑛個の単語から最尤推定(日 本語では文字を単位とすることもある) • 前𝑛個の単語で条件付けた確率をモデル化 • 周辺から中心単語を予測するskip-gramもある • 例: To infinity... and beyond! • unigram: “to”, “infinity”, “...”, “and”, “beyond”, “!” • bigram: “to infinity”, “infinity...”, “... and”, “and beyond”, “beyond !” 19
- 20. ニューラル言語モデル(NLM) • 語彙の数は数十万のオーダーであるのにナイー ブなn-gramは対処できない • より低次元(500くらい)で表すための工夫が分 散表現 • 各単語をクラスとして扱うのではなく, 密なベクト ルとして表す(埋め込み; embedding) • そのような表現は言語モデルの学習で獲得される • 同様に画像や分子の「埋め込み」も考えられる 20 分散表現を2次元で示したもの king – man + woman = queen という式が有名
- 21. 高次元の出力を高速化する工夫 • 出力層のソフトマックスの計算が重い • ショートリスト • 高頻度な単語をショートリストに入れてNNで, 低 頻度な単語をテールリストに入れてn-gramで処理 • 階層的ソフトマックス • 辞書に含まれる単語を予め階層 的にクラスタリングしておく • 重点サンプリング • サンプリングの簡単な別の分布 を用意して, そこからのサンプリングで近似 • noise-contrastive estimation (NCE) • 目的関数を近似 • より単純な負例サンプリングがよく使われる 21
- 22. ニューラル機械翻訳(NMT) • encoder-decoderネットワークで仏語→潜在表 現→英語の変換を行う • encoderとdecoderには可変長入出力が可能な RNNを用いる • 現在は最大長(~1000)を陽に定めて Transformerを使うことが多い 22
- 23. 注意機構 • 長い入力を1つのベクトル𝒉で表すことは困難 →注意機構 (attention mechanism) • 入力文で1, … , 𝑡番目の単語の潜在表現𝒉1, … , 𝒉 𝑡をす べて保持(メモリ) • 出力のときは注意𝛼1, … , 𝛼 𝑡で重み付けた和𝒄を decoderの隠れ状態とする 23 Attention? Attention! 足すのはやや特殊
- 24. 歴史視点 • 1980年代: (Collin, Mother, Victoria)のような シンボルの分散表現 • 1990年代: コーパスから単語の分散表現を獲得 • 2000年代: 数百万の単語を扱えるようになった • 2010年台: • DLブームとともに急速に発展 • RNNからTransformerへ • ELMo, BERTなどの大規模なコーパスで事前学習し た巨大モデルが登場し, 多様なタスクを人間と同等 程度に解けるように • 翻訳や異常検知などは既に実サービスに投入されて いる 24
- 25. 12.5 その他の応用 25
- 26. 推薦システム • DLはここまで紹介してきたもの以外にも, EC サイト, SNS, コンテンツ配信などで広く実装 されている推薦システムにも応用できる 26 協調フィルタリング 閲覧履歴からユーザ間の類似度を測る. コールドスタート問題あり. 内容ベースフィルタリング 記事そのものの特徴量から記事間の類似度を測る. 多様性を出しにくい. [Tondji, 2018]
- 27. Exploration vs Exploitation • 推薦システムの様々な問題はcontextual banditとして定式化できる • 異なる確率分布を持つ複数のスロット(推薦する選 択肢)がある • 確率分布は文脈(ユーザなど)によって変化する • どのような戦略でスロットを回せば累積報酬を最大 化できるか？ • 探索か活用か？ • 知っている中で期待値の 推定値が最大のスロット に固執(活用) • リスクを取ってより期待 値の高いスロットを探し にいく(探索) 27 I'm a Bandit : Multi Arm Bandits and the Explore/Exploit trade-off - The PrimarY DigIt
- 28. 知識の表現, 推論, 質問応答 • 関係: 次のようなタプルで表す • (subject, verb, object) • (entity, relation, entity) • (entity, attribute) • relational database • 関係を集めたデータベース • knowledge base (知識ベース) • その中でも「常識」をまとめたもの • Freebase, OpenCyc, WordNet, Wikibaseなど • 自然言語との密接な関係 • 具体的なタスク: リンク予測, 語義曖昧性解消など 28 GeneOntology
- 29. まとめ • 大きなNNを大量のデータで学習させる深層学 習の計算は, GPUと並列化などの工夫で高速化 できる • 深層学習の応用先にはコンピュータビジョン, 音声認識, 自然言語処理, 推薦システムなどが ある • 自然言語処理と知識ベースを組み合わせて「常 識」を理解させようとする,「 汎用人工知能」 を目指す研究領域もある 29
- 30. 参考文献 [1] I. Goodfellow et al., Deep Learning, MIT Press, 2016. [2] 岩澤 他訳, 深層学習, ASCII DWANGO, 2018. [3] 原田達也, 画像認識, 講談社, 2017. [4] 坪井祐太 他, 深層学習による自然言語処理, 講談社, 2017. [5] 神嶌敏弘, 推薦システムのアルゴリズム, 2016. 同じ範囲を扱ったスライドが2つ見つかりました. [6] [DL輪読会]Deep Learning 第12章 アプリケーション [7] Deep Learning Chapter12 30