全力解説！Transformer
8 likes11,830 views
本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。 近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。 "Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise. The slides are made by the lecturer from outside our company, and shared here with his/her permission. Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステムを導入しています。AIをいかに上手に使って仕事を効率化するか、そして人々の役に立つ結果を生み出すのか、それを考えるのが私たちの仕事です。 Arithmer began at the University of Tokyo Graduate School of Mathematical Sciences. Today, our research of modern mathematics and AI systems has the capability of providing solutions when dealing with tough complex issues. At Arithmer we believe it is our job to realize the functions of AI through improving work efficiency and producing more useful results for society.
![4
【概要】Transformerって何？
2017年の論文 Attention Is All You Need[1] で発表されたモデル
[1] Vaswani, Ashish et al. “Attention is All you Need.” ArXiv abs/1706.03762 (2017)
機械翻訳タスクにおいて既存SOTAよりも高いスコアを記録](https://image.slidesharecdn.com/transformerintroduction-210527102807/85/Transformer-4-320.jpg)
![5
【概要】Transformerの他分野への応用
[2] Dosovitskiy, A. et al. “An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale.” ArXiv abs/2010.11929 (2020)
[3] Gulati, Anmol et al. “Conformer: Convolution-augmented Transformer for Speech Recognition.” ArXiv abs/2005.08100 (2020)
[2] 画像分野での応用
[3] 音声分野での応用
NLPだけでなく幅広い分野へ応用](https://image.slidesharecdn.com/transformerintroduction-210527102807/85/Transformer-5-320.jpg)
![10
【構造解説】Positional Encoding( １)
入力例：[“猫”, “は”, “可愛い”]
Embedding Layer
[“猫”, “は”, “可愛い”]
単語をベクトル化(単語列なので行列)
猫
は
可愛い
入力長
(3 dim.)
埋め込み次元
(512 dim.)
Positional Encoding 時系列情報の付与
猫
は
可愛い
時系列情報 時系列情報が付与された
単語特徴量
単語特徴量](https://image.slidesharecdn.com/transformerintroduction-210527102807/85/Transformer-10-320.jpg)
![12
【構造解説】Positional Encoding( ３)
[4] http://jalammar.github.io/illustrated-transformer より
Positional Encodingの可視化[4]
横軸：特徴量のインデックス（𝑖）
縦軸：単語の位置（pos）
１
-1
0
猫
は
可愛い
時系列情報
単語特徴量](https://image.slidesharecdn.com/transformerintroduction-210527102807/85/Transformer-12-320.jpg)
![20
【構造解説】Self-Attention
Query, Key, Valueが全て同じAttention
猫 は 可愛い
𝑄
𝐾𝑇
𝑉
行列積
softmax
行列積
各単語の特徴量が他の単語を考慮されて再構成
猫
は
可愛い
猫
は
可愛い
[seq_len, emb_dim]
[emb_dim, seq_len]
[seq_len, seq_len]
[seq_len, emb_dim]
0.1 0.0 0.0
0.1 0.3 0.2
0.0 0.0 0.0
猫
は
可愛い
猫 は 可愛い
1.2 0.4 0.9
1.3 2.1 1.9
0.2 0.5 0.7](https://image.slidesharecdn.com/transformerintroduction-210527102807/85/Transformer-20-320.jpg)
![22
【構造解説】Multi-Head Attention( １)
猫 は 可愛い
𝑄
𝐾𝑇
𝑉
行列積
softmax
行列積
各単語の特徴量が他の単語を考慮されて再構成
猫
は
可愛い
猫
は
可愛い
[seq_len, emb_dim]
[emb_dim, seq_len]
[seq_len, seq_len]
[seq_len, emb_dim]
0.1 0.0 0.0
0.1 0.3 0.2
0.0 0.0 0.0
猫
は
可愛い
猫 は 可愛い
1.2 0.4 0.9
1.3 2.1 1.9
0.2 0.5 0.7
並列に複数のAttentionを実施 • 愚直にn並列にすると計算量もn倍
• 結果も同じ](https://image.slidesharecdn.com/transformerintroduction-210527102807/85/Transformer-22-320.jpg)
![23
【構造解説】Multi-Head Attention( ２)
𝑄
𝑉
猫
は
可愛い
猫
は
可愛い
[seq_len, emb_dim]
𝐾
猫
は
可愛い
線形写像で行列の次元を減らしてから並列化(図の例では3並列)
[emb_dim, emb_dim/3] [seq_len, emb_dim/3]
行列積
𝑄1
′
転置
𝐾1
′
𝑉1
′
softmax
[seq_len, seq_len]
0.1 0.0 0.0
0.1 0.3 0.2
0.0 0.0 0.0
猫
は
可愛い
猫 は 可愛い
1.2 0.4 0.9
1.3 2.1 1.9
0.2 0.5 0.7
[emb_dim/3, seq_len]
[seq_len, seq_len]
[seq_len, emb_dim/3]
行列積
[seq_len, emb_dim/3]
𝑊
1
𝑄
𝑊1
𝐾
𝑊1
𝑧](https://image.slidesharecdn.com/transformerintroduction-210527102807/85/Transformer-23-320.jpg)
![24
【構造解説】Multi-Head Attention( ３)
𝑄
𝑉
猫
は
可愛い
猫
は
可愛い
[seq_len, emb_dim]
𝐾
猫
は
可愛い
線形写像で行列の次元を減らしてから並列化(図の例では3並列)
[emb_dim, emb_dim/3] [seq_len, emb_dim/3]
𝑄𝑖
′
𝐾𝑖
′
𝑉𝑖
′
𝑊
𝑖
𝑄
𝑊𝑖
𝐾
𝑊𝑖
𝑉
Attention
結合
[seq_len, emb_dim]
𝑊𝑜
[emb_dim, emb_dim]
出力
[seq_len, emb_dim]](https://image.slidesharecdn.com/transformerintroduction-210527102807/85/Transformer-24-320.jpg)
![27
【構造解説】Shortcut Connection
2015年に提案されたResidual Network(ResNet)[4]の要素
Shortcut Connection
[4] He, Kaiming et al. “Deep Residual Learning for Image Recognition.” 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2016).
レイヤ部分は入力と出力の残差を予測すれば良く，
入力が理想的であれば値をほぼ変えずに出力できる
導入によりTransformerは層をより増やすことが可能](https://image.slidesharecdn.com/transformerintroduction-210527102807/85/Transformer-27-320.jpg)
![29
【構造解説】Position-wise Feed-Forward Networks
各単語ごとに隔離された全結合層
猫
は
可愛い
[seq_len, emb_dim] [emb_dim, emb_dim*4]
𝑊1
普通の全結合層
[seq_len * emb_dim]
[seq_len * emb_dim, emb_dim*4]
𝑊2
[emb_dim*4, emb_dim]
各単語への重みは共有（図で言うと横方向に同じ重みが並ぶ）](https://image.slidesharecdn.com/transformerintroduction-210527102807/85/Transformer-29-320.jpg)
![30
【構造解説】Transformer Module のまとめ
Multi-Head Attention
[seq_len, emb_dim]
[seq_len, emb_dim]
Add &Norm
ResidualLayerNorm 𝑥 = LayerNorm(sub_block(𝑥) + 𝑥)
Feed Forward
各サブレイヤーの出力次元は入力次元と同一，実際にはこのModuleを複数層重ねる](https://image.slidesharecdn.com/transformerintroduction-210527102807/85/Transformer-30-320.jpg)
![34
【構造解説】Transformer Decoder の推論（イメージ）
入力例：[“猫”, “は”, “可愛い”] [”<BOS>”,“Cats”, “are”]
1. Decoderの入力として[“<BOS>”,””,””]を入れる
2. Outputに”Cats”が出力される
3. Decoderの入力として[“<BOS>”,”Cats”,””]を入れる
4. Outputに”are”が出力される
RNN系の推論と類似（自己回帰）
“cute”](https://image.slidesharecdn.com/transformerintroduction-210527102807/85/Transformer-34-320.jpg)
![35
【構造解説】 Transformer Decoderの学習
[“猫”, “は”, “可愛い”] [”<BOS>”,“Cats”, “are”, ”cute”,”<EOS>”]
[“Cats”, ”are”, “cute”, “<EOS>”, “<PAD>”]
学習段階では時系列の予測を並列に1度で実施
Transformer Moduleの変換
”<BOS>”
“Cats”
“are”
”cute”
”<EOS>”]
Linear変換
[seq_len, emb_dim] [seq_len, emb_dim] [seq_len, vocab_size]
softmax
[seq_len, vocab_size]
確率最大なindexを抽出
[seq_len, 1]
“Cats”
“are”
”cute”
”<EOS>”
“<PAD>”](https://image.slidesharecdn.com/transformerintroduction-210527102807/85/Transformer-35-320.jpg)
![38
【実験結果】機械翻訳タスクの実験結果
[1] Vaswani, Ashish et al. “Attention is All you Need.” ArXiv abs/1706.03762 (2017)
既存の手法よりも高いスコア ＆ 学習コストも](https://image.slidesharecdn.com/transformerintroduction-210527102807/85/Transformer-38-320.jpg)
全力解説！Transformer
- 1. 自 動 車 、 バ イク等 全力解説！Transformer 2 0 2 1 / 4 / 1 3 N L P t e a m : H a r u y a U m e m o t o
- 2. 2 梅本 晴弥 (Umemoto Haruya) キャリア 2018, 青山学院大学（情報テクノロジー学科）卒業 学士（工学） 2020, 青山学院大学大学院（知能情報コース）卒業 修士（工学） 2020, Arithmer 株式会社(NLPチーム) 専門分野：強化学習，機械学習，自然言語処理（対話システム, 大規模事前学習モデル） ポートフォリオサイト：https://umeco.tokyo 受賞歴 2020 - 人工知能学会研究会優秀賞 2020 - 薦田先端学術賞 2020 - 学業成績最優秀賞 2020 - 修士論文発表優秀賞 2017 - データ解析ハッカソン2017準優勝 (SIG-DOCMAS主催) 担当案件等 ◼ 自己学習を促す教育用レコメンドAI (https://arithmer.co.jp/210405) ◼ SPI等に基づいた能力予測システム ◼ 就活生の傾向把握のためのES分析 ◼ 人間のフィードバックに基づいた対話シス テム研究開発
- 3. 3 目次 1. Transformerの概要 2. Transformerの各構造解説 1. Positional Encoding 2. Attention 3. Multi-headed Scaled Dot-Product Self-Attetion 4. Shortcut Connection, Layer Normalization, Position-wise Feedforward Network 5. TransformerのDecoder 3. Transformerの実験結果・考察
- 4. 4 【概要】Transformerって何？ 2017年の論文 Attention Is All You Need[1] で発表されたモデル [1] Vaswani, Ashish et al. “Attention is All you Need.” ArXiv abs/1706.03762 (2017) 機械翻訳タスクにおいて既存SOTAよりも高いスコアを記録
- 5. 5 【概要】Transformerの他分野への応用 [2] Dosovitskiy, A. et al. “An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale.” ArXiv abs/2010.11929 (2020) [3] Gulati, Anmol et al. “Conformer: Convolution-augmented Transformer for Speech Recognition.” ArXiv abs/2005.08100 (2020) [2] 画像分野での応用 [3] 音声分野での応用 NLPだけでなく幅広い分野へ応用
- 6. 6 【概要】NLPにおけるモデルの発展 事前学習モデル • GPT-1,2,3 • BERT • M2M100 • T5 Attention改良 Full Fonnection • Bug of Words • 分かち書き • 共起ベクトル 以前 2011年 ~ 2017年 ~ 現在 統計的自然言語処理 🔥Transformer爆誕🔥 分散表現獲得手法 • Word2vec • Glove • Fasttext RNN系 CNN * RNNやLSTM，CNNのモデル提案はもっと以前 • Refomer • Longformer • Big Bird • Peformer
- 7. 7 【概要】RNN, CNN vs Transfomer Recurrent Neural Network (RNN) 👍 以前の情報の記憶による時系列入力処理 👎 長い系列における記憶がほとんどできない 👎 👎 前の状態の演算結果が次の演算に必要でGPUを活用できない Convolutional Neural Network (CNN) 👍 局所特徴量の抽出 👍 並列演算によるGPUの活用 👎 長期的な依存関係を捉えることができない Transformer 👍 Attentionベース構造によるGPUの活用 👍 Self-Attentionによる超高性能な特徴量抽出 👍 長期的な依存関係を捉えることができる 👎 系列長が長い場合のメモリ消費
- 8. 8 目次 1. Transformerの概要 2. Transformerの各構造解説 1. Positional Encoding 2. Attention 3. Multi-headed Scaled Dot-Product Self-Attetion 4. Shortcut Connection, Layer Normalization, Position-wise Feedforward Network 5. TransformerのDecoder 3. Transformerの実験結果・考察
- 10. 10 【構造解説】Positional Encoding( １) 入力例：[“猫”, “は”, “可愛い”] Embedding Layer [“猫”, “は”, “可愛い”] 単語をベクトル化(単語列なので行列) 猫 は 可愛い 入力長 (3 dim.) 埋め込み次元 (512 dim.) Positional Encoding 時系列情報の付与 猫 は 可愛い 時系列情報 時系列情報が付与された 単語特徴量 単語特徴量
- 12. 12 【構造解説】Positional Encoding( ３) [4] http://jalammar.github.io/illustrated-transformer より Positional Encodingの可視化[4] 横軸：特徴量のインデックス（𝑖） 縦軸：単語の位置（pos） １ -1 0 猫 は 可愛い 時系列情報 単語特徴量
- 13. 13 目次 1. Transformerの概要 2. Transformerの各構造解説 1. Positional Encoding 2. Attention 3. Multi-headed Scaled Dot-Product Self-Attetion 4. Shortcut Connection, Layer Normalization, Position-wise Feedforward Network 5. TransformerのDecoder 3. Transformerの実験結果・考察
- 14. 14 【構造解説】Attention機構(１) 従来のSeq2Seq型のRNN翻訳モデル 猫 は 可愛い <BOS> Cats Cats are are cute cute <EOS> 入力長が長くなるほど精度が低下 エンコーダ デコーダ 今までの入力全てをベクトルとして保持するのが難しい
- 15. 15 【構造解説】Attention機構(２) Attentionを利用したSeq2Seq型のRNN翻訳モデル 猫 は 可愛い <BOS> softmax 内積 Cats Cats are are cute cute <EOS> Attention機構
- 16. 16 【構造解説】Attention機構(３) Attention計算式(dot product attention) Attention 𝑄, 𝐾, 𝑉 = softmax 𝑄𝐾𝑇 𝑉 𝑄: Query，これに関連するものをAttentionしたい 𝐾: Key，memoryの特徴量 𝑉: Value，memoryの値(多くの場合は𝐾 = 𝑉) 猫 は 可愛い <BOS> 𝑄 𝐾𝑇 𝑉 猫 は 可愛い 行列積 1.3 0.4 0.9 softmax 0.5 0.2 0.3 行列積 “猫”要素が強めのベクトル AttentionとはQueryで Memory(key, value)から 重み付けして情報を取得する手法
- 17. 17 【構造解説】Attention機構(４) Attentionを利用したSeq2Seq型のRNN翻訳モデル 猫 は 可愛い <BOS> softmax 内積 Cats Cats are are cute cute <EOS> Attention機構
- 18. 18 目次 1. Transformerの概要 2. Transformerの各構造解説 1. Positional Encoding 2. Attention 3. Multi-headed Scaled Dot-Product Self-Attetion 4. Shortcut Connection, Layer Normalization, Position-wise Feedforward Network 5. TransformerのDecoder 3. Transformerの実験結果・考察
- 19. 19 【構造解説】Transformer のAttention 猫 は 可愛い (時系列情報が付与) Multi-Headed Scaled Dot-Product Self-Attention • Self-Attention Query, Key, Valueが全て同じAttention • Scaled Dot-Product (Attention) scaling factorを用いる内積Attention • Multi-Headed (Attention) 複数のヘッドを用いたAttention
- 20. 20 【構造解説】Self-Attention Query, Key, Valueが全て同じAttention 猫 は 可愛い 𝑄 𝐾𝑇 𝑉 行列積 softmax 行列積 各単語の特徴量が他の単語を考慮されて再構成 猫 は 可愛い 猫 は 可愛い [seq_len, emb_dim] [emb_dim, seq_len] [seq_len, seq_len] [seq_len, emb_dim] 0.1 0.0 0.0 0.1 0.3 0.2 0.0 0.0 0.0 猫 は 可愛い 猫 は 可愛い 1.2 0.4 0.9 1.3 2.1 1.9 0.2 0.5 0.7
- 21. 21 【構造解説】Scaled Dot-Product Attention 𝑄: Query，これに関連するものをAttentionしたい 𝐾: Key，memoryの特徴量 𝑉: Value，memoryの値(多くの場合は𝐾 = 𝑉) 𝑑𝑘: 埋め込みベクトルの次元数さっきのemb_dim なぜ𝑑𝑘で割るのか？ 確率が低い部分の勾配情報を保持したいため 平均0，分散1の正規分布から独立に取得された要素で構成されるベクトル𝑞と𝑘を仮定 この時，内積は平均0，分散dkとなる softmaxした時に極小となる要素が発生
- 22. 22 【構造解説】Multi-Head Attention( １) 猫 は 可愛い 𝑄 𝐾𝑇 𝑉 行列積 softmax 行列積 各単語の特徴量が他の単語を考慮されて再構成 猫 は 可愛い 猫 は 可愛い [seq_len, emb_dim] [emb_dim, seq_len] [seq_len, seq_len] [seq_len, emb_dim] 0.1 0.0 0.0 0.1 0.3 0.2 0.0 0.0 0.0 猫 は 可愛い 猫 は 可愛い 1.2 0.4 0.9 1.3 2.1 1.9 0.2 0.5 0.7 並列に複数のAttentionを実施 • 愚直にn並列にすると計算量もn倍 • 結果も同じ
- 23. 23 【構造解説】Multi-Head Attention( ２) 𝑄 𝑉 猫 は 可愛い 猫 は 可愛い [seq_len, emb_dim] 𝐾 猫 は 可愛い 線形写像で行列の次元を減らしてから並列化(図の例では3並列) [emb_dim, emb_dim/3] [seq_len, emb_dim/3] 行列積 𝑄1 ′ 転置 𝐾1 ′ 𝑉1 ′ softmax [seq_len, seq_len] 0.1 0.0 0.0 0.1 0.3 0.2 0.0 0.0 0.0 猫 は 可愛い 猫 は 可愛い 1.2 0.4 0.9 1.3 2.1 1.9 0.2 0.5 0.7 [emb_dim/3, seq_len] [seq_len, seq_len] [seq_len, emb_dim/3] 行列積 [seq_len, emb_dim/3] 𝑊 1 𝑄 𝑊1 𝐾 𝑊1 𝑧
- 24. 24 【構造解説】Multi-Head Attention( ３) 𝑄 𝑉 猫 は 可愛い 猫 は 可愛い [seq_len, emb_dim] 𝐾 猫 は 可愛い 線形写像で行列の次元を減らしてから並列化(図の例では3並列) [emb_dim, emb_dim/3] [seq_len, emb_dim/3] 𝑄𝑖 ′ 𝐾𝑖 ′ 𝑉𝑖 ′ 𝑊 𝑖 𝑄 𝑊𝑖 𝐾 𝑊𝑖 𝑉 Attention 結合 [seq_len, emb_dim] 𝑊𝑜 [emb_dim, emb_dim] 出力 [seq_len, emb_dim]
- 25. 25 【構造解説】Multi-Head Attention( ４) 数式 なぜMulti-Headなのか？ • Attentionする空間を選択でき、限定された特徴量空間でAttentionできる • 単一Attentionでは平均的なAttentionとなる（大雑把なAttention） • そして，単語の要素は１つではないのでMultiが望ましい（単語意味，品詞） 猫 は 可愛い 特徴量次元を圧縮 -> Attentionに利用する次元を学習
- 26. 26 目次 1. Transformerの概要 2. Transformerの各構造解説 1. Positional Encoding 2. Attention 3. Multi-headed Scaled Dot-Product Self-Attetion 4. Shortcut Connection, Layer Normalization, Position-wise Feedforward Network 5. TransformerのDecoder 3. Transformerの実験結果・考察
- 27. 27 【構造解説】Shortcut Connection 2015年に提案されたResidual Network(ResNet)[4]の要素 Shortcut Connection [4] He, Kaiming et al. “Deep Residual Learning for Image Recognition.” 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2016). レイヤ部分は入力と出力の残差を予測すれば良く， 入力が理想的であれば値をほぼ変えずに出力できる 導入によりTransformerは層をより増やすことが可能
- 28. 28 【構造解説】Layer Normalization NNのレイヤーの出力を平均0, 分散1に正規化する手法 • 勾配消失・爆発対策 • 学習がより効率良く進む ℎ 𝑡, 𝑖 : ℎ番目のheadの 𝑡番目の単語の𝑖番目の特徴量 𝛽, 𝛾:学習可能なパラメータ 猫 は 可愛い 最終的にAdd & Normは次のように表記できる ResidualLayerNorm 𝑥 = LayerNorm(sub_block(𝑥) + 𝑥)
- 29. 29 【構造解説】Position-wise Feed-Forward Networks 各単語ごとに隔離された全結合層 猫 は 可愛い [seq_len, emb_dim] [emb_dim, emb_dim*4] 𝑊1 普通の全結合層 [seq_len * emb_dim] [seq_len * emb_dim, emb_dim*4] 𝑊2 [emb_dim*4, emb_dim] 各単語への重みは共有（図で言うと横方向に同じ重みが並ぶ）
- 30. 30 【構造解説】Transformer Module のまとめ Multi-Head Attention [seq_len, emb_dim] [seq_len, emb_dim] Add &Norm ResidualLayerNorm 𝑥 = LayerNorm(sub_block(𝑥) + 𝑥) Feed Forward 各サブレイヤーの出力次元は入力次元と同一，実際にはこのModuleを複数層重ねる
- 31. 31 目次 1. Transformerの概要 2. Transformerの各構造解説 1. Positional Encoding 2. Attention 3. Multi-headed Scaled Dot-Product Self-Attetion 4. Shortcut Connection, Layer Normalization, Position-wise Feedforward Network 5. TransformerのDecoder 3. Transformerの実験結果・考察
- 33. 33 【構造解説】RNN系の推論方法 従来のSeq2Seq型のRNN翻訳モデル 猫 は 可愛い <BOS> Cats Cats are are cute cute <EOS> エンコーダ デコーダ 出力されたものをデコーダの入力に再度入力して得ていく
- 34. 34 【構造解説】Transformer Decoder の推論（イメージ） 入力例：[“猫”, “は”, “可愛い”] [”<BOS>”,“Cats”, “are”] 1. Decoderの入力として[“<BOS>”,””,””]を入れる 2. Outputに”Cats”が出力される 3. Decoderの入力として[“<BOS>”,”Cats”,””]を入れる 4. Outputに”are”が出力される RNN系の推論と類似（自己回帰） “cute”
- 35. 35 【構造解説】 Transformer Decoderの学習 [“猫”, “は”, “可愛い”] [”<BOS>”,“Cats”, “are”, ”cute”,”<EOS>”] [“Cats”, ”are”, “cute”, “<EOS>”, “<PAD>”] 学習段階では時系列の予測を並列に1度で実施 Transformer Moduleの変換 ”<BOS>” “Cats” “are” ”cute” ”<EOS>”] Linear変換 [seq_len, emb_dim] [seq_len, emb_dim] [seq_len, vocab_size] softmax [seq_len, vocab_size] 確率最大なindexを抽出 [seq_len, 1] “Cats” “are” ”cute” ”<EOS>” “<PAD>”
- 36. 36 【構造解説】Masked Attention 学習段階では時系列の予測を並列に１度で実施 そのままだと正解データが入力に含まれている！ Attention 𝑄, 𝐾, 𝑉, 𝑀 = softmax 𝑀 + 𝑄𝐾𝑇 𝑉 Attentionにおいて未来の単語をマスクする演算を追加 Cats are cute Catsarecute 𝑄𝐾𝑇 𝑀 -∞-∞ -∞ 0 0 0 0 0 0 0 0 softmax 0 Cats are cute 𝑉
- 37. 37 目次 1. Transformerの概要 2. Transformerの各構造解説 1. Positional Encoding 2. Attention 3. Multi-headed Scaled Dot-Product Self-Attetion 4. Shortcut Connection, Layer Normalization, Position-wise Feedforward Network 5. TransformerのDecoder 3. Transformerの実験結果・考察
- 38. 38 【実験結果】機械翻訳タスクの実験結果 [1] Vaswani, Ashish et al. “Attention is All you Need.” ArXiv abs/1706.03762 (2017) 既存の手法よりも高いスコア ＆ 学習コストも
- 39. 39 【実験結果】Self-Attentionの計算量 1. 𝑛 < 𝑑の場合は，Self-Attentionの計算量はRNNよりも小さくなる 2. RNNは前の値を待つ必要があるので計算時間はよりかかる 3. Self-Attentionは長期の依存関係を学習しやすい
- 40. 40 【実験結果】各パラメータの精度への影響 Transformer Module数 特徴量次元 全結合層の次元 head数 Attentionの写像次元 Dropout率 label smoothing
- 41. 41 Transformer まとめ 1. TransformerはAttentionベース構造で計算量・GPU親和性が高いモデル 2. 時系列データを一度に処理するためPositional Encodingを実施する必要 3. TransformerのAttentionは以下の要素を持つ 1. Self-Attention（入力同士を用いて特徴量を再構築） 2. Scaled Dot-Product Attention（勾配情報を保持しつつ内積する） 3. Multi-Headed Attention（複数のヘッドを用いて並列にAttention） 4. デコーダでは未来の情報のリークを防ぐためにMasked Attentionする 5. 実験結果からTransformerの高性能，低計算量が示された
- 43. 43