SlideShare a Scribd company logo
����������������� ����
@�� �������
����������
������� �����
�� �� �� ������������
��
4.52•
����• 1���13�
����• ����
����• ����
����• ����
����• ������
����• ������3���
����• ��0������
����• ������0���
����• ���1����
�����• ���1��3��1��
�����• 967�
�����• ����3�����
�����• ����
�����• ��������
•
•
–
–
•
•
� � �������
����• ������������������
��– ������������
����• �������������
���– ���������������
����• ������
���– �����
����• ���x�������������������
���– ����������
���– ������
��• ���������������������)�
����– ���
��� �������
• ����������������������
��– �y���������������
• �������������������������
• ����������������������
– �������������������nq����
���• ������������f������������������
��������������
����������������������������– ����������������
���• �����������������������
��������
• ����������������
���– ����������������
���������• ����������������������������
�����������
�3 �– !1��!2������3������
�3 �– $������ ��������������
���• ���������
•
–
•
–
–
�������� � �����������
• ��������������������������������
����– �����
��– ������������������������������
������• !��������
!– ������x�f�������������������
��– ������������������������s�����������
���������������������������������������
��������
• ∀$ ∈ x, 0 ≤ !($) ≤ 1
���–
• ∑$ ∈ x!($) = 1
•
–
!– (x = %, y = () x = % y = ( ! (%, ()
����fl�� � �����fl����
• �����������������������������������
����– �fl��
fl����• !��������
!– ������x���������������������
– ∀$ ∈ x, !($) ≥ 0�����p(x) ≤ 1��������������
– ∫ / $ 0$ = 1
• fl����!($)���������fl�����b����
eu– �2$��������fl�!($)δ$�n����
•
–
• x, y $(x, y) $ x
(sum rule)
•
•
–
– !(# = x) > 0
•
–
•
��� ���������
• �������x�y�����7�x���a����y���a������
����c�������������������� �������������
����
– x ⊥ y���
����• z7���������������x�y���������7�z
����d���������������������x�y�
�������������������������������
– x ⊥ y|z���
�������������� � ���
����• !(x)������%(&)8 �����������������������������
!– ��& %
•
•
•
– ! !
•
–
�������������� 2 ���
• ������������
– �������������������������������������
• �������������������
�����– ��������
• �������������
���– ��������
��• ������������������������c�
��� ���9���� 2 �������
• ������������������������
– ����������������
– ��������! ∈ [0,1]������
�����• �����
��� �������� � ��������
• ������������ ��� ������������
!– ���������������������������!�����
����• " ∈ [0,1])*+������n �,-�.��������
��• �!���������1 − 0⊺
"�r����
��• ����������
– ������������������������� �����
• {0, … , 4])������������
������• ������������o����������������l��
��������
�����• ���������������������n
��� �������� 2 �����
• �������������������������� ���������������������
– ��������! ∈ ℝ�$ ∈ (0, ∞)�����
��� �������� � �����
��• 3 �����������! = #$%�������
������– �������������������
��� ���L��c� � ���c�
r�c�• �������ltM���c����M��������L��
����������r��
– �����������������������
• �����L���t������Mr�c�ML�
��– L������������������m����������icM
c���������r�c�M�������������m���
– e�c����n����c�����r�c��ltM�����l�����L�
����m��
�������• ���������
��� �������� � �����
• ����������������������������������
����– �ℝ"
�����
�����– #������ 9$��������� �����
– ����������������� % = $'(
������
•
–
•
��� �������� � �����������
• �������������������������
– ���������! = 0������������������������
• ���������������������
– ����$
��� �������� 9 ������������
• �(�����������������
– �(������������������� !(#)�������������
• ���������������������������������
– ����������������������� ����������p����
���• ���������������%���������������
&
'
����• �����������������������i��������
��• �������scn�������������
��� �������� � �����
• ����������������������
��– �o������bE������������
!• (#)���������������
����• �����������
����– ������������������������
• �����������������
dm– ��nu��������
����• �������������#
��� �������� 9 �����
• ����������������� ���
����– ! " # = % ������
���– �����������s�����&(()
����*(()
���
�����• �vt��������
��– ����������������%�m�� ������������������ ����
�
�o���• +, = -(# = %)
��o�• �"������o�� #
��– � ���������������������� -(#|/)� "������n������
��– �y������������������������������y����
������������ ����������������������� ���
•
– !
• !
�����������������
• ��������� ��
��– �����
����• �!, #������������������
– ����������������������� $% = max{0, $}�����������
���������
• �������������
!– (y|x)�B������!(x)�������! x y ������
• ���!(y) = ∑) ! * + ! + �����������
��������������� � ���
• ����������������
��– ������������������������
– ��������������
• ����������������
– �������������������
����• ���������������������t����������
��• �w��������������������������������
��������������� 2 ���������
• ���������
– ����������������������
• �����������!, #������������������$����% = $(!)�
�������
– ����������������� �������������������������
• �����
�����sp�� � ��sp������������
sp• ������
��• x = #� �����������������
– I(x)�ay� ����� ��������
• �������
'
(
�����������r���sp�
• ����������������
������– �����������
��– �����������������sp�
��– �a���������������������t�������������
– x��������� �������������������� �����
��������� � ()��������
• �(��������)�������()�������������
– ������x�a����������P(x)�Q(x)�����������������
���������u�
()– �����������
��•
����• ����������������������������������
�������������n������
�a�•
��������� 1 ��������
• ���������������
��– ���������������������
• Q�K����������������������������������
�������������
• ����������������������������
– ��������������������������
• ��� ���������(�)���������(���������(�)�������
����(����������)���
– �������������������
• �����)���������(�(������)������������
�������)������������
– ����������������������������������
�������������
• �������������
– U4�����������
���– 4�������������
• ���������������
– U4�����������
��– ������������
��– �i���������������
• Φ�������������������������Z������������
���� �
����• ��)���� �
�����– ����� �� ���� � ��� ���� ��� ��� ���� �� ��� ���� �
� ��� ���� � ���
��������• ��� �� ������
��– ��
���� �
�������9�D�D�•
69D�– �����������������9 ��D������9��D����������
����–
������������9�9��D����������������������������������������
����69D�������������������������

More Related Content

PDF
[DL輪読会]Deep Learning 第6章 深層順伝播型ネットワーク
PDF
[DL輪読会]Deep Learning 第20章 深層生成モデル
PDF
[DL輪読会]Deep Learning 第4章 数値計算
PDF
[DL輪読会]Deep Learning 第16章 深層学習のための構造化確率モデル
PDF
[DL輪読会]Deep Learning 第14章 自己符号化器
PDF
[DL輪読会]Deep Learning 第17章 モンテカルロ法
PDF
[DL輪読会]Deep Learning 第8章 深層モデルの訓練のための最適化
PDF
[DL輪読会]Deep Learning 第19章 近似推論
[DL輪読会]Deep Learning 第6章 深層順伝播型ネットワーク
[DL輪読会]Deep Learning 第20章 深層生成モデル
[DL輪読会]Deep Learning 第4章 数値計算
[DL輪読会]Deep Learning 第16章 深層学習のための構造化確率モデル
[DL輪読会]Deep Learning 第14章 自己符号化器
[DL輪読会]Deep Learning 第17章 モンテカルロ法
[DL輪読会]Deep Learning 第8章 深層モデルの訓練のための最適化
[DL輪読会]Deep Learning 第19章 近似推論

What's hot (20)

PDF
[DL輪読会]Deep Learning 第5章 機械学習の基礎
PDF
[DL輪読会]Deep Learning 第7章 深層学習のための正則化
PDF
[DL輪読会]Deep Learning 第9章 畳み込みネットワーク
PDF
DeepLearning 輪読会 第1章 はじめに
PDF
[DL輪読会]Deep Learning 第2章 線形代数
PDF
[DL輪読会]Deep Learning 第10章 系列モデリング 回帰結合型ニューラルネットワークと再帰型ネットワーク
PPTX
PRML2.4 指数型分布族
PDF
幾何を使った統計のはなし
PDF
Graphic Notes on Linear Algebra and Data Science
PDF
[DL輪読会]Deep Learning 第12章 アプリケーション
PPTX
PRML第6章「カーネル法」
PDF
3分でわかる多項分布とディリクレ分布
PDF
PRML輪読#7
PDF
StanとRでベイズ統計モデリング 11章 離散値をとるパラメータ
PPTX
Rで因子分析 商用ソフトで実行できない因子分析のあれこれ
PDF
PRML上巻勉強会 at 東京大学 資料 第1章前半
PPTX
Prml 1.3~1.6 ver3
PDF
[DL輪読会]Deep Learning 第18章 分配関数との対峙
PDF
Cmdstanr入門とreduce_sum()解説
PDF
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第5章 機械学習の基礎
[DL輪読会]Deep Learning 第7章 深層学習のための正則化
[DL輪読会]Deep Learning 第9章 畳み込みネットワーク
DeepLearning 輪読会 第1章 はじめに
[DL輪読会]Deep Learning 第2章 線形代数
[DL輪読会]Deep Learning 第10章 系列モデリング 回帰結合型ニューラルネットワークと再帰型ネットワーク
PRML2.4 指数型分布族
幾何を使った統計のはなし
Graphic Notes on Linear Algebra and Data Science
[DL輪読会]Deep Learning 第12章 アプリケーション
PRML第6章「カーネル法」
3分でわかる多項分布とディリクレ分布
PRML輪読#7
StanとRでベイズ統計モデリング 11章 離散値をとるパラメータ
Rで因子分析 商用ソフトで実行できない因子分析のあれこれ
PRML上巻勉強会 at 東京大学 資料 第1章前半
Prml 1.3~1.6 ver3
[DL輪読会]Deep Learning 第18章 分配関数との対峙
Cmdstanr入門とreduce_sum()解説
[DL輪読会]Deep Learning 第15章 表現学習
Ad

More from Deep Learning JP (20)

PPTX
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
PPTX
【DL輪読会】事前学習用データセットについて
PPTX
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
PPTX
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
PPTX
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
PPTX
【DL輪読会】マルチモーダル LLM
PDF
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
PPTX
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
PDF
【DL輪読会】Can Neural Network Memorization Be Localized?
PPTX
【DL輪読会】Hopfield network 関連研究について
PPTX
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
PDF
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
PDF
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
PPTX
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
PPTX
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
PDF
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
PPTX
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
PDF
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
PDF
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
PPTX
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】事前学習用データセットについて
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】マルチモーダル LLM
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
Ad

[DL輪読会]Deep Learning 第3章 確率と情報理論

  • 2. �� 4.52• ����• 1���13� ����• ���� ����• ���� ����• ���� ����• ������ ����• ������3��� ����• ��0������ ����• ������0��� ����• ���1���� �����• ���1��3��1�� �����• 967� �����• ����3����� �����• ���� �����• ��������
  • 4. � � ������� ����• ������������������ ��– ������������ ����• ������������� ���– ��������������� ����• ������ ���– ����� ����• ���x������������������� ���– ���������� ���– ������ ��• ���������������������)� ����– ���
  • 5. ��� ������� • ���������������������� ��– �y��������������� • ������������������������� • ���������������������� – �������������������nq���� ���• ������������f������������������ �������������� ����������������������������– ���������������� ���• �����������������������
  • 6. �������� • ���������������� ���– ���������������� ���������• ���������������������������� ����������� �3 �– !1��!2������3������ �3 �– $������ �������������� ���• ���������
  • 8. �������� � ����������� • �������������������������������� ����– ����� ��– ������������������������������ ������• !�������� !– ������x�f������������������� ��– ������������������������s����������� ��������������������������������������� �������� • ∀$ ∈ x, 0 ≤ !($) ≤ 1 ���– • ∑$ ∈ x!($) = 1
  • 9. • – !– (x = %, y = () x = % y = ( ! (%, ()
  • 10. ����fl�� � �����fl���� • ����������������������������������� ����– �fl�� fl����• !�������� !– ������x��������������������� – ∀$ ∈ x, !($) ≥ 0�����p(x) ≤ 1�������������� – ∫ / $ 0$ = 1 • fl����!($)���������fl�����b���� eu– �2$��������fl�!($)δ$�n����
  • 11. • – • x, y $(x, y) $ x (sum rule) •
  • 14. ��� ��������� • �������x�y�����7�x���a����y���a������ ����c�������������������� ������������� ���� – x ⊥ y��� ����• z7���������������x�y���������7�z ����d���������������������x�y� ������������������������������� – x ⊥ y|z���
  • 15. �������������� � ��� ����• !(x)������%(&)8 ����������������������������� !– ��& % • •
  • 17. �������������� 2 ��� • ������������ – ������������������������������������� • ������������������� �����– �������� • ������������� ���– �������� ��• ������������������������c�
  • 18. ��� ���9���� 2 ������� • ������������������������ – ���������������� – ��������! ∈ [0,1]������ �����• �����
  • 19. ��� �������� � �������� • ������������ ��� ������������ !– ���������������������������!����� ����• " ∈ [0,1])*+������n �,-�.�������� ��• �!���������1 − 0⊺ "�r���� ��• ���������� – ������������������������� ����� • {0, … , 4])������������ ������• ������������o����������������l�� �������� �����• ���������������������n
  • 20. ��� �������� 2 ����� • �������������������������� ��������������������� – ��������! ∈ ℝ�$ ∈ (0, ∞)�����
  • 21. ��� �������� � ����� ��• 3 �����������! = #$%������� ������– �������������������
  • 22. ��� ���L��c� � ���c� r�c�• �������ltM���c����M��������L�� ����������r�� – ����������������������� • �����L���t������Mr�c�ML� ��– L������������������m����������icM c���������r�c�M�������������m��� – e�c����n����c�����r�c��ltM�����l�����L� ����m�� �������• ���������
  • 23. ��� �������� � ����� • ���������������������������������� ����– �ℝ" ����� �����– #������ 9$��������� ����� – ����������������� % = $'( ������
  • 25. ��� �������� � ����������� • ������������������������� – ���������! = 0������������������������ • ��������������������� – ����$
  • 26. ��� �������� 9 ������������ • �(����������������� – �(������������������� !(#)������������� • ��������������������������������� – ����������������������� ����������p���� ���• ���������������%��������������� & ' ����• �����������������������i�������� ��• �������scn�������������
  • 27. ��� �������� � ����� • ���������������������� ��– �o������bE������������ !• (#)��������������� ����• ����������� ����– ������������������������ • ����������������� dm– ��nu�������� ����• �������������#
  • 28. ��� �������� 9 ����� • ����������������� ��� ����– ! " # = % ������ ���– �����������s�����&(() ����*(() ��� �����• �vt�������� ��– ����������������%�m�� ������������������ ���� � �o���• +, = -(# = %) ��o�• �"������o�� # ��– � ���������������������� -(#|/)� "������n������ ��– �y������������������������������y���� ������������ ����������������������� ���
  • 30. ����������������� • ��������� �� ��– ����� ����• �!, #������������������ – ����������������������� $% = max{0, $}�����������
  • 31. ��������� • ������������� !– (y|x)�B������!(x)�������! x y ������ • ���!(y) = ∑) ! * + ! + �����������
  • 32. ��������������� � ��� • ���������������� ��– ������������������������ – �������������� • ���������������� – ������������������� ����• ���������������������t���������� ��• �w��������������������������������
  • 33. ��������������� 2 ��������� • ��������� – ���������������������� • �����������!, #������������������$����% = $(!)� ������� – ����������������� ������������������������� • �����
  • 34. �����sp�� � ��sp������������ sp• ������ ��• x = #� ����������������� – I(x)�ay� ����� �������� • ������� ' ( �����������r���sp� • ���������������� ������– ����������� ��– �����������������sp� ��– �a���������������������t������������� – x��������� �������������������� �����
  • 35. ��������� � ()�������� • �(��������)�������()������������� – ������x�a����������P(x)�Q(x)����������������� ���������u� ()– ����������� ��• ����• ���������������������������������� �������������n������ �a�•
  • 36. ��������� 1 �������� • ��������������� ��– ��������������������� • Q�K����������������������������������
  • 37. ������������� • ���������������������������� – �������������������������� • ��� ���������(�)���������(���������(�)������� ����(����������)��� – ������������������� • �����)���������(�(������)������������ �������)������������ – ����������������������������������
  • 38. ������������� • ������������� – U4����������� ���– 4������������� • ��������������� – U4����������� ��– ������������ ��– �i��������������� • Φ�������������������������Z������������
  • 39. ���� � ����• ��)���� � �����– ����� �� ���� � ��� ���� ��� ��� ���� �� ��� ���� � � ��� ���� � ��� ��������• ��� �� ������ ��– ��
  • 40. ���� � �������9�D�D�• 69D�– �����������������9 ��D������9��D���������� ����– ������������9�9��D���������������������������������������� ����69D�������������������������