![1. NLPにおけるNNの歴史的経緯①
• 系列変換モデルは再帰ニューラルネットに
依存してきた
再帰は並列計算を妨げる
対症療法の考案:
Factorization Trick [1]やConditional Computation [2]
直接解決しているわけではない！
7
1. https://arxiv.org/abs/1703.10722
2. https://arxiv.org/abs/1511.06297
3. (image) https://jeddy92.github.io/JEddy92.github.io/ts_seq2seq_intro/](https://image.slidesharecdn.com/transformerslideshare-190523043252/85/Transformer-7-320.jpg)
Transformerを雰囲気で理解する
- 2. Transformerとは？ • 系列変換モデルの一種 入力も出力も時系列データとなるモデル エンコーダ + デコーダの構造 Seq2Seqとかがその例 • 再帰や畳み込みを一切使わないモデル 並列処理ができ，学習の高速化を実現 • 話題のBERTで活用されているモデル 2
- 3. 論文情報 • 論文名: Attention Is All You Need 要するに「必要なのはAttentionだけ」 • 著者: A. Vaswani et al. (Google Brain) • 出典: NIPS 2017 3
- 4. 本スライドの構成 雰囲気中速（爆速🙅♂️）理解を図るために， 1. NLPにおけるNNの歴史的経緯を知る 2. Attentionについて知る 3. Transformerのモデル概要を知る 4. Transformerのキモを知る 5. 実験結果を見てみる という流れで見ていきます． 4
- 5. 本スライドの構成 1. NLPにおけるNNの歴史的経緯を知る 2. Attentionについて知る 3. Transformerのモデル概要を知る 4. Transformerのキモを知る 5. 実験結果を見てみる 5
- 7. 1. NLPにおけるNNの歴史的経緯① • 系列変換モデルは再帰ニューラルネットに 依存してきた 再帰は並列計算を妨げる 対症療法の考案: Factorization Trick [1]やConditional Computation [2] 直接解決しているわけではない！ 7 1. https://arxiv.org/abs/1703.10722 2. https://arxiv.org/abs/1511.06297 3. (image) https://jeddy92.github.io/JEddy92.github.io/ts_seq2seq_intro/
- 8. 1. NLPにおけるNNの歴史的経緯② • 系列変換モデルではCNNも代替的に使われて きた 計算を並列化できるため 距離に応じた依存関係の計算コストがかかる ConvS2S: O(n), ByteNet: O(log n) 長文だと大域的な依存関係をつかみにくい！ 8 * より広い文脈を考慮できれば，より広い単語間の関係性が見られるメリット
- 9. 1. NLPにおけるNNの歴史的経緯③ • 再帰系モデルは並列計算を妨げる • 畳み込み系は大域的な依存関係を計算する コストが高い 再帰も畳み込みを用いない，並列OK & 計 算コストが少なく済むモデルが欲しい 9
- 10. 本スライドの構成 1. NLPにおけるNNの歴史的経緯を知る 2. Attentionについて知る 3. Transformerのモデル概要を知る 4. Transformerのキモを知る 5. 実験結果を見てみる 10
- 11. 2. ATTENTION 1. Attentionとは？ 2. Attentionのバリエーション 3. Self Attentionとは？ 4. Attentionの利点・欠点 11
- 12. 2. Attention① • そもそもAttentionとは？ 距離に関係なく依存関係をモデリングできる手法 系列変換モデルやエンコーダモデルにも適用される 注意機構とも呼ばれる 12 「どの単語にどの程度注意を払うべきか？」 Image: https://www.quora.com/How-does-an-attention- mechanism-work-in-deep-learning
- 13. 2. Attention② • Attentionの重み計算方法による分類 1. Additive Attention（加法注意） 2. Dot-Product Attention（内積注意） 13 重みつき 線形和 * 図ではhについてtではなくt-1が参照さ れている
- 14. 2. Attention③ • Attentionの重み計算方法による分類 14 ここの求め方！ • 内積注意 「時刻tのデコーダの隠れ 層の状態と，位置sでのエ ンコーダの隠れ層の状態」 との内積 • 加法注意 隠れ層を1層設けて計算 が となるパ ターンが2つくらいある *Attentionの重み計算手法は色々とありすぎるので，深く考える必要なし？
- 15. 2. Attention④ • Self Attention （自己注意） エンコーダモデ ルで使われる特徴 量抽出機構 計算方法は普通 のAttentionとほぼ 同じ 15 image: https://arxiv.org/abs/1703.03130
- 16. 2. Attention⑤ • Key-Value Attention 隠れ層を「Key + Value」に分けて考える モデルの表現力が向上 16 * 計算上は，key=valueとして扱うことが多い Image: https://medium.com/@bgg/seq2seq-pay-attention-to-self-attention-part-2-cf81bf32c73d
- 17. 2. Attention⑥ • Attentionの利点 位置に関わらず依存関係をO(1)で捉えられる LSTMやGRU等は長期記憶に弱い • Attentionの欠点 スコアの重み計算コストが通常O(n^2)以上になる Attentionはあくまでもモデルの補助的な役割 CNNベースのモデルも計算量の問題あり Attentionだけでモデルを作れば良いのでは？ 17
- 18. 本スライドの構成 1. NLPにおけるNNの歴史的経緯を知る 2. Attentionについて知る 3. Transformerのモデル概要を知る 4. Transformerのキモを知る 5. 実験結果を見てみる 18
- 20. 3. Transformerの概要① • Seq2Seqと同じ枠組み • スタック型自己注意 + 位 置ごとのFFNからなる BERTはエンコーダ部分 を活用している 本発表ではデコーダ部分 は無視 20 Image: https://arxiv.org/abs/1706.03762 N=6
- 21. 3. Transformerの概要② • エンコーダ部は以下からなる 1. 入力埋め込み 2. 位置エンコーディング 3. Multi-Head Attention 4. 残差接続の加算 & 層正規化 5. 位置ごとのFFN 6. 残差接続の加算 & 層正規化 21
- 22. 3. Transformerの概要② • エンコーダ部は以下からなる 1. 入力埋め込み 2. 位置エンコーディング 3. Multi-Head Attention 4. 残差接続の加算 & 層正規化 5. 位置ごとのFFN 6. 残差接続の加算 & 層正規化 22
- 23. 本スライドの構成 1. NLPにおけるNNの歴史的経緯を知る 2. Attentionについて知る 3. Transformerのモデル概要を知る 4. Transformerのキモを知る 5. 実験結果を見てみる 23
- 24. 4. TRANSFORMERのキモ 1. スケール化内積注意 2. Multi-Head Attention 3. 位置エンコーディング 24
- 25. 4. Transformerのキモ① • スケール化内積注意 隠れ層の次元が大きくなると，内積が大きく なる 勾配が小さくなり，学習が進まない スコアを で除算してあげることで解決 25
- 26. 4. Transformerのキモ② • Multi-Head Attention Attentionを複数に分割して計 算 CNNでチャンネル数を増やす ノリと同じ？ モデルの表現力が増す 26 Image: https://arxiv.org/abs/1706.03762
- 27. 4. Transformerのキモ③ • 位置エンコー ディング Transformer単体 では時系列を考慮 できない 畳み込みや再帰 を使っていないた め 正弦波を入力の 埋め込みベクトル に足し合わせるこ とで解決！ 27 モデルの次元: d_model 入力トークンの位置
- 28. 3. Transformerのキモ④ • エンコーダ部の流れを再確認 1. 入力埋め込み 2. 位置エンコーディング 3. Multi-Head Attention 4. 残差接続の加算 & 層正規化 5. 位置ごとのFFN 6. 残差接続の加算 & 層正規化 28
- 29. 本スライドの構成 1. NLPにおけるNNの歴史的経緯を知る 2. Attentionについて知る 3. Transformerのモデル概要を知る 4. Transformerのキモを知る 5. 実験結果を見てみる 29
- 30. 5. 実験結果 1. 計算コスト比較 2. 翻訳性能比較 30
- 31. 5. 実験結果① 計算コスト比較 • Self Attentionが優れている: n < dのとき 31 層あたり計算量 逐次処理を最小限にする 並列可能な計算量 依存関係の最大経路長計算コスト RecurrentとConvの算出方法がいまいちわからん？（誰か教えて）
- 32. 5. 実験結果② 翻訳性能比較 • BLEUスコア 機械翻訳の自動評価指標．高いほどよい． Transformerは計算コストが小さい上に，高い性 能を出せている． 32
- 33. まとめ 33
- 34. まとめ • TransformerはAttention + もろもろで作ら れた系列変換モデル Positional Encoding 位置ごとのフィードフォワード • 計算量が少ない・高性能なモデル • BERTはエンコーダ部分を活用している 34
- 35. 付録: Position-wise FFN • 位置ごとに全結合層に自己注意の出力ベクトルを 渡す • 単に特徴量を抽出 & 磨くため？ 35 image: https://jalammar.github.io/illustrated-transformer/
- 36. 付録：層正規化 36 • 層正規化は「チャンネル方向」に正規化処 理を行う バッチ正規化は，「バッチ方向」に正規 化処理を行う image: https://arxiv.org/abs/1803.08494
- 37. 付録: BLEUスコア • Bilingual Evaluation Understudyの略 • スコアが高いほど自然な翻訳 37 • BP: brevity Penalty 翻訳文が短文のとき， その文についてペナル ティを課す • Nグラム精度 翻訳文とコーパスの参 照文がどれだけ一致し ているか