第六回全日本コンピュータビジョン勉強会資料 UniT (旧題: Transformer is all you need)
2 likes1,208 views
第六回全日本コンピュータビジョン勉強会資料です。今回は、 UniT: Multimodal Multitask Learning with a Unified Transformer を紹介します。提案手法であるUniTは自然言語、ビジョン、 Vision and Language のタスクをそれぞれ統一的に解けるTransformer になります。
![背景
• Transformerが提案されてから、 Transformerは⾃然⾔語や画
像、映像、⾳などの広い分野で成功を収めている
• （読者の⼼︓Transformerって何︖）
←⾃然⾔語⽤Transformer、
BERTのアーキテクチャ（[1]より引⽤）
←画像検出⽤Transformer、
DETRのアーキテクチャ
（[2]より引⽤）
[1] Devlin et al., “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding,” arXiv 2019
[2] Carion et al., “End-to-End Object Detection with Transformers,” arXiv 2020](https://image.slidesharecdn.com/20210418unit-210417225311/85/UniT-Transformer-is-all-you-need-4-320.jpg)
![そもそもTransformerとは
• Attentionという数式を特徴とするDNN
• Encoder（図左）とDecoder（図右）から
構成されている
これはNLPのEncoder-Decoderモデルを拡張したため
[3]より引⽤
[4]より引⽤
[3] Vaswani et al., “Attention Is All You Need,” arXiv 2017
[4] Ryobot., “論⽂解説 Attention Is All You Need (Transformer),” 2020,
https://deeplearning.hatenablog.com/entry/transformer](https://image.slidesharecdn.com/20210418unit-210417225311/85/UniT-Transformer-is-all-you-need-7-320.jpg)
![そもそもAttentionとは
• AttentionとはKeyとQueryから適切なValueを返す数式
KQVはそれぞれEmbeddingした値に重みをそれっぽくかけたもの
• TransformerではMulti Head Attentionとして使われている
[4]より引⽤](https://image.slidesharecdn.com/20210418unit-210417225311/85/UniT-Transformer-is-all-you-need-8-320.jpg)
![Multi Head Attentionとは
• Multi Head AttentionとはAttentionの各⾏列の次元を細かく分
断してまとめたもの（512次元のものを64次元のもの８つに
分断するイメージ）
• Multi Head AttentionにはMulti Head Cross Attentionと
Multi Head Self Attentionに分けることができる
[3]より引⽤](https://image.slidesharecdn.com/20210418unit-210417225311/85/UniT-Transformer-is-all-you-need-9-320.jpg)
![Multi Head Cross Attentionと
Multi Head Self Attention
• Multi Head Cross AttentionとMulti Head Self Attentionとは、
Queryの対象を出⼒先とするか⼊⼒先とするかの違いで分か
れる
[4]より引⽤](https://image.slidesharecdn.com/20210418unit-210417225311/85/UniT-Transformer-is-all-you-need-10-320.jpg)
![発表者の感想
• ガチでごった煮
マシンパワーをひたすらにこき使いまわしている⼿法
• マルチモーダルにしたら性能が良くなるかというと
そうでもないらしい
以前のCVPRの論⽂[5]でも指摘はされていたがそのとおりであった
• これどう考えても某某某某に投稿されている論⽂だと思うが、
あまりに⼤切なところが抜けていて⼤丈夫かなと思った
コードを読めばわかるのだろうか・・・︖
[5] Wang et al., “What makes training multi-modal classification networks hard?,” CVPR
2020](https://image.slidesharecdn.com/20210418unit-210417225311/85/UniT-Transformer-is-all-you-need-20-320.jpg)
![おまけ
• UniTとは別だが似た⼿法として、General Purpose Visionとい
う⼿法がある
[6] Gupta et al., “Towards General Purpose Vision Systems,” arXiv 2021
General Purpose Visionの問題と⼿法（[6]より引⽤）](https://image.slidesharecdn.com/20210418unit-210417225311/85/UniT-Transformer-is-all-you-need-21-320.jpg)
第六回全日本コンピュータビジョン勉強会資料 UniT (旧題: Transformer is all you need)
- 1. UniT: Multimodal Multitask Learning with a Unified Transformer Ronghang Hu 1 Amanpreet Singh1 1 Facebook AI Research 資料作成者: 尾崎安範
- 2. 尾崎安範 (@alfredplpl) • 例によって⾃⼰紹介 サイバーエージェント 研究員 兼 ⼤阪⼤学 招聘研究員 兼 ⼤阪⼤学 ⽯⿊研究室 社会⼈博⼠２年⽣ ← NTT研（開発寄り） 研究員 ← 東⼤ 情報理⼯ 最近やっていること ロボット接客における通⾏⼈認識の研究開発 認識にTransformer 使いたい
- 3. TL; DR • 画像や⽂章、 タスクを⼊⼒すると、 タスク応じた出⼒を返すTransformerを作ったよ︕
- 4. 背景 • Transformerが提案されてから、 Transformerは⾃然⾔語や画 像、映像、⾳などの広い分野で成功を収めている • （読者の⼼︓Transformerって何︖） ←⾃然⾔語⽤Transformer、 BERTのアーキテクチャ（[1]より引⽤） ←画像検出⽤Transformer、 DETRのアーキテクチャ （[2]より引⽤） [1] Devlin et al., “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding,” arXiv 2019 [2] Carion et al., “End-to-End Object Detection with Transformers,” arXiv 2020
- 6. トランスフォーマー コンボイの謎 HI-SCORE 999999999 1 PLAYER 2 PLAYERS そもそもTransformerとは
- 7. そもそもTransformerとは • Attentionという数式を特徴とするDNN • Encoder（図左）とDecoder（図右）から 構成されている これはNLPのEncoder-Decoderモデルを拡張したため [3]より引⽤ [4]より引⽤ [3] Vaswani et al., “Attention Is All You Need,” arXiv 2017 [4] Ryobot., “論⽂解説 Attention Is All You Need (Transformer),” 2020, https://deeplearning.hatenablog.com/entry/transformer
- 8. そもそもAttentionとは • AttentionとはKeyとQueryから適切なValueを返す数式 KQVはそれぞれEmbeddingした値に重みをそれっぽくかけたもの • TransformerではMulti Head Attentionとして使われている [4]より引⽤
- 9. Multi Head Attentionとは • Multi Head AttentionとはAttentionの各⾏列の次元を細かく分 断してまとめたもの（512次元のものを64次元のもの８つに 分断するイメージ） • Multi Head AttentionにはMulti Head Cross Attentionと Multi Head Self Attentionに分けることができる [3]より引⽤
- 10. Multi Head Cross Attentionと Multi Head Self Attention • Multi Head Cross AttentionとMulti Head Self Attentionとは、 Queryの対象を出⼒先とするか⼊⼒先とするかの違いで分か れる [4]より引⽤
- 11. 提案⼿法UniTの概要 • いろんな分野で活躍しているならば、すべて解けるよね • Multi Head Self Attentionを使ったimage encoderと Multi Head Self Attentionを使ったtext encoderと Multi Head Cross AttentionとMulti Head Self Attentionを使った decoderで構成されているDNNを作った
- 12. image encoderの概要 • 全体的にDETRっぽい構造になっている まず画像をconvnet (今回はResNet-50っぽいもの) で Embedding。 その結果をMulti-Head Self Attentionでどの領域に注⽬ すべきかを学習 Feed ForwardなNNで何かしらを学習させる これをN回繰り返すと、それっぽい隠れ変数が出⼒さ れる
- 13. text encoderの概要 • 全体的にBERTのような構造をしている まずはtext embedding その結果をMulti-Head Self Attentionでどの領域に注 ⽬すべきかを学習 Feed ForwardなNNで何かしらを学習させる これをN回繰り返すと、それっぽい隠れ変数が出⼒ される
- 14. decoderの概要 • 全体的にDETRっぽい構造らしい task indexやそれをEmbeddingする理由がまずよくわから ない とにかくタスクに関するSelf Attentionを求めるらしい とにかくEncoderたちの出⼒とEmbeddingされたtask index をCross Attetionして、隠れ変数を吐き出してくれるらし い タスク間で重みを共有させる (shared) かさせないか (separate) で条件を分けてAblation Studyするらしい
- 15. headまわりの概要 • トランスフォーマー コンカイの謎 Object detectionタスクにおいてはDETRとBUTDを合体したものを使った らしい 他のタスク（識別タスク）は出⼒に対してCrossEntropyLossを損失関数し たNNになるらしい headまわりをどのように切り替えるかはよくわからない
- 20. 発表者の感想 • ガチでごった煮 マシンパワーをひたすらにこき使いまわしている⼿法 • マルチモーダルにしたら性能が良くなるかというと そうでもないらしい 以前のCVPRの論⽂[5]でも指摘はされていたがそのとおりであった • これどう考えても某某某某に投稿されている論⽂だと思うが、 あまりに⼤切なところが抜けていて⼤丈夫かなと思った コードを読めばわかるのだろうか・・・︖ [5] Wang et al., “What makes training multi-modal classification networks hard?,” CVPR 2020
- 21. おまけ • UniTとは別だが似た⼿法として、General Purpose Visionとい う⼿法がある [6] Gupta et al., “Towards General Purpose Vision Systems,” arXiv 2021 General Purpose Visionの問題と⼿法（[6]より引⽤）