SlideShare a Scribd company logo
[DL輪読会]Deep Learning 第6章 深層順伝播型ネットワーク
[DL輪読会]Deep Learning 第6章 深層順伝播型ネットワーク
[DL輪読会]Deep Learning 第6章 深層順伝播型ネットワーク
•
–
•
–
•
–
•
–
•
•
•
������������
�����• ����������� ��������
��• ����������� ���������������
�����������������• �����������
��• �������������Lp��������
• ���������������������L�����������r
�Ld����
– ������������m���
– ��������������������������������
��d
������������
• ����������������
• ������ )����� � ����)��������
• ) ������* �����������*���
yy
hh
xx
W
w
yy
h1h1
x1x1
h2h2
x2x2
f(n) n
W x h
w h y
•
–
–
•
–
•
–
���� 1�������������
���• 1.���������
0 1
x1
0
1
x2
Original x space
��� 0�,-�������
������������������������������
�����������������������������������
�������
����1��������������
������������1����������� �������������1���������
�����������������������������������������������
��������������������
/���������2��������
������/.��2
�������������������������
����������������������������������
• ��� �����������������
• ����������������������������������
����������������������
0
z
0
g(z)=max{0,z}
��� )�����������
• ���������������������������
• ���������������
•
•
•
•
����� ����������������������
�����������������������
�����������.
��������������
���������
���������
.�����������������
�����������������������������������
������
��� ������� ������������������������ ������
•
•
•
–
–
������������������
• ���������������������������;��6
��– ������������ �����
���– �������a��6������������������
�
���• ����������;6������y��oe�����
�������• �������������������� ������������
��• ���6�������������������;��������
t;����6�������������������������
•
•
•
•
•
•
•
•
������������������������������
• ����,���
• ����������
• ��������������������������,����������
0������
• �������������������
• �������������������
•
•
•
•
•
[DL輪読会]Deep Learning 第6章 深層順伝播型ネットワーク
Output Type
Output
Distribution
Output Layer Cost Function
Binary Bernoulli Sigmoid
Binary cross-
entropy
Discrete Multinoulli Softmax
Discrete
cross-entropy
Continuous Gaussian Linear
Gaussian
cross-entropy
(MSE)
Continuous
Mixture of
Gaussian
Mixture
Density
Cross-
entropy
Continuous Arbitrary
See part III: GAN,
VAE, FVBN
Various
����������������� ����
�����2���� � ���������
����������
���� ��������� ���������
��������
�� �
[DL輪読会]Deep Learning 第6章 深層順伝播型ネットワーク
•
•
•
•
•
–
•
! " = $%&{(, "}
•
•
•
•
–
h"ps://towardsdatascience.com/ac3va3on-func3ons-neural-
networks-1cbd9f8d91d6
����� ���������� �����
• ���n ! " = max 0, " + *min(0, ")
• ����������������������������� ! " = |"|
• ���3������� * = 0.01�������
• ����������� �*�����������
• ������������������ ������
• ��3�����������������������
• ������������
���3������
������
h"ps://www.slideshare.net/Takayosi/miru2014-tutorial-deeplearning-37219713
https://towardsdatascience.com/activation-functions-neural-
networks-1cbd9f8d91d6
���������������������������������
����• ������������������
������������– �����! " = $(")
�������������– �����! " = tanh(")
• ������������tanh " = 2$ 2" − 1 ���
��• ����2��������2��������������
����– �����������
�������������• ��2������
– ������������������
����• �������������������
������– 2������
�����– ��
•
•
•
•
•
•
–
•
•
•
•
[DL輪読会]Deep Learning 第6章 深層順伝播型ネットワーク
•
–
–
•
–
–
•
•
•
–
–
•
•
��������������� �����
• ������(
������
• �����������
���
• �����/4(��
�����������
�����������
�������
•
•
•
•
•
ResNet
��� ��������������������
•
������ ���������������������������
•
•
• ! "#!(#, &)
– #
– &
– !
�������ae���
• �e ����������������������
• ��������������
– �����������������������������������
• �� ������e������� � ������������� ����������
! = #$ �ae
%$ = &(()* + ,) ����������e
�����
��������������
)������������
• ������������������� ���������������
• ������������������������������6�������
• �������
• ��������������
• �������������
• �������
(6.44)
(6.45)
(6.46)
(6.47)
! = # $ , & = ' # $ = ' !
'6#���������������
( ∈ ℝ+
, , ∈ ℝ-
,
#�ℝ+
��ℝ-
�����
'�ℝ-
��ℝ����
•
–
–
•
– ! "
–
�������������������������� ����
�������������������������� ����
• ���
[DL輪読会]Deep Learning 第6章 深層順伝播型ネットワーク
[DL輪読会]Deep Learning 第6章 深層順伝播型ネットワーク
���������������
���• ��������������s�����������������������h�����
c�
�����������• �nu����������������� ��������������� �y��
��
• �����������������������
��������������������
• �����������
• �����������������������
�����������
• �����������������
�� ���������
• ������������ ���������� ��������������������� �� ���� �������� ���������� ���� ������
•
•
–
–
–
•
����������3������ �����
����� �����������������
������ ������
������ ������������������
������������������
������ ������
������������������������������ �����
�.��
�����
����
������������������������������ ����
���
����
�����
����
����
����
���������������������������/�� ����
����
!"($)&3���
'3(())/�������
!"($)& = +,' + 2/"())
������������������������������ ����
����
!"($)&����
���)�������
!'& = )" * +
,(-)
!"($)& = .+
)/
+ 22"(-)
������������������������������ ����
• �����������������
• ����������� ! " ,	"��������
– �������
• ����������� ! "
– �����������
• ������� ��%&' ��%����������� &' ������������
– ���������������������(����
������������� �����
�����• ��6)���������������
��• ���������������
����– �����������)������ ����/����
���• ������
����– ���������/5)��/�����������/��
���• ������������
•
•
•
–
•
• ! = − ∑% &% log *%
– +,-
! = *% − &%
–
•
����������������������� ����
• �������������������������������
• ��������������������������������
• ����������� ����
– ���������� ����������
• �����������������������������������
��
• �����������������������
– ����������������������
����������������������� ����
������• �������
��– ��������������9����������
����• �������
���– ���������36����������
�������– 9�36������������3��������
���• �����5��3�����
�������– �������������������������
���• 9�36������35����������������
•
–
•
������������� ����
• ����������������1���
– ��! ∶ ℝ$ → ℝ �������������1&×&
– ���������&1�������
• ���� ����
– ����������������������
– �����(��������)�����
– �������������������
���������� ����
• �����������������������
• ��� 4��������������������� 4�������������
• ���������������������
– ������������������������ ����������
• ����������������� 4������������������������������������ �������������
– ��������������������
– ������������
• �����������������������
• �������������� 4��������������������
���������� ����
�����������)���������������)��
���• �������2�2��
���– ������������
�����������• ����2���������
���– ��������������������
������• ���
����– ���������������������� �����������
�����• ���������������8��������
– ����������������������
���������� ����
• �����7���������������7����� ������� ����
• ����� ������� �������
– �����������������������������������������
• ���������������
– ����������������������������������
• �7���������������7���������� �����������
– ������������ 3����7���7������������
• �7���������������7����� �����������������������������
• �������������������������
– ������������3������ 7������������
• ����������������������������
• 1702����������������������������������
��1702 ���7���������������7����� �
���������� ����
• ��������������������������������������
���������������
• ��������������������� ���
– ������������������� �����
– ������������������������������� ���
• ������������
• �����������������������������
����
• �������9�D�D�
– 69D������������������9 ��D������9��D����������
– ����
������������9�9��D�������������������������������
�������������69D�������������������������

More Related Content

PDF
[DL輪読会]Deep Learning 第7章 深層学習のための正則化
PDF
[DL輪読会]Deep Learning 第2章 線形代数
PDF
[DL輪読会]Deep Learning 第19章 近似推論
PDF
[DL輪読会]Deep Learning 第4章 数値計算
PDF
[DL輪読会]Deep Learning 第8章 深層モデルの訓練のための最適化
PDF
[DL輪読会]Deep Learning 第17章 モンテカルロ法
PDF
[DL輪読会]Deep Learning 第11章 実用的な方法論
PDF
[DL輪読会]Deep Learning 第5章 機械学習の基礎
[DL輪読会]Deep Learning 第7章 深層学習のための正則化
[DL輪読会]Deep Learning 第2章 線形代数
[DL輪読会]Deep Learning 第19章 近似推論
[DL輪読会]Deep Learning 第4章 数値計算
[DL輪読会]Deep Learning 第8章 深層モデルの訓練のための最適化
[DL輪読会]Deep Learning 第17章 モンテカルロ法
[DL輪読会]Deep Learning 第11章 実用的な方法論
[DL輪読会]Deep Learning 第5章 機械学習の基礎

What's hot (20)

PDF
[DL輪読会]Deep Learning 第16章 深層学習のための構造化確率モデル
PDF
[DL輪読会]Deep Learning 第10章 系列モデリング 回帰結合型ニューラルネットワークと再帰型ネットワーク
PDF
[DL輪読会]Deep Learning 第9章 畳み込みネットワーク
PDF
[DL輪読会]Deep Learning 第13章 線形因子モデル
PDF
[DL輪読会]Deep Learning 第3章 確率と情報理論
PDF
[DL輪読会]Deep Learning 第14章 自己符号化器
PDF
PRML輪読#2
PDF
DeepLearning 輪読会 第1章 はじめに
PDF
Control as Inference (強化学習とベイズ統計)
PPTX
PRML第6章「カーネル法」
PDF
[DL輪読会]深層強化学習はなぜ難しいのか?Why Deep RL fails? A brief survey of recent works.
PDF
勉強か?趣味か?人生か?―プログラミングコンテストとは
PDF
PRML輪読#6
PDF
最適輸送の解き方
PDF
ベイズ最適化
PDF
組合せ最適化入門:線形計画から整数計画まで
PDF
探索と活用の戦略 ベイズ最適化と多腕バンディット
PDF
Skip Connection まとめ(Neural Network)
PDF
相関と因果について考える:統計的因果推論、その(不)可能性の中心
PDF
Deeplearning輪読会
[DL輪読会]Deep Learning 第16章 深層学習のための構造化確率モデル
[DL輪読会]Deep Learning 第10章 系列モデリング 回帰結合型ニューラルネットワークと再帰型ネットワーク
[DL輪読会]Deep Learning 第9章 畳み込みネットワーク
[DL輪読会]Deep Learning 第13章 線形因子モデル
[DL輪読会]Deep Learning 第3章 確率と情報理論
[DL輪読会]Deep Learning 第14章 自己符号化器
PRML輪読#2
DeepLearning 輪読会 第1章 はじめに
Control as Inference (強化学習とベイズ統計)
PRML第6章「カーネル法」
[DL輪読会]深層強化学習はなぜ難しいのか?Why Deep RL fails? A brief survey of recent works.
勉強か?趣味か?人生か?―プログラミングコンテストとは
PRML輪読#6
最適輸送の解き方
ベイズ最適化
組合せ最適化入門:線形計画から整数計画まで
探索と活用の戦略 ベイズ最適化と多腕バンディット
Skip Connection まとめ(Neural Network)
相関と因果について考える:統計的因果推論、その(不)可能性の中心
Deeplearning輪読会
Ad

More from Deep Learning JP (20)

PPTX
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
PPTX
【DL輪読会】事前学習用データセットについて
PPTX
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
PPTX
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
PPTX
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
PPTX
【DL輪読会】マルチモーダル LLM
PDF
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
PPTX
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
PDF
【DL輪読会】Can Neural Network Memorization Be Localized?
PPTX
【DL輪読会】Hopfield network 関連研究について
PPTX
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
PDF
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
PDF
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
PPTX
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
PPTX
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
PDF
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
PPTX
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
PDF
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
PDF
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
PPTX
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】事前学習用データセットについて
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】マルチモーダル LLM
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
Ad

[DL輪読会]Deep Learning 第6章 深層順伝播型ネットワーク