Abstract image of a woman sitting on books and studying on a laptop

【炎龍老師的 AI 模組課程】02 用遷移式學習做八哥辨識: CNN 的原理、用名門 CNN 模型作遷移式學習

Yen-lung Tsai, profile picture
Yen-lung Tsai

该文档介绍了卷积神经网络（CNN）的历史和发展，包括关键人物如Geoffrey Hinton、Yann LeCun和Yoshua Bengio。文中详细描述了CNN的多种结构及其在图像识别中的应用，展示了模型的工作原理及其演变。还涉及了VGG、ResNet等重要模型及其相对性能。

Technology
Related topics:
Deep Learning • Neural Networks
1 of 51
Downloaded 11 times
1
2
3
4
5
6
7
8
Most read
9
10
11
12
13
14
Most read
15
16
17
18
Most read
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
龍 龍 老 AI 用 八 大 用 2
0 2 CNN 2 月 629 (2022 5 月 ) https://yenlung.me/AI02 AI ?
CNN 0 5 .
0 2 CNN 4 CNN Convolutional Neural Networks CNN
0 2 CNN 5 用 黑 fθ
0 2 CNN 6 用 用 πθ
0 2 CNN 7 Geo ff rey Hinton Yann LeCun Yoshua Bengio 士 生 士
0 2 CNN 8 Yann LeCun 1 9 8 7 Universite Pierre et Marie Curie ( 大 ) 士 University of Toronto 士 1 9 8 8 - Bell 2 0 0 3 NYU 2 0 1 3 Facebook AI Director Yann LeCun 士 ConvNet ( )
0 2 CNN 9 臣 一 CNN 大 1995 , 大 ... LeCun
0 2 CNN 1 0 臣 一 CNN 方 至 一 様 , 大 用 ! Hinton 方 ...
0 2 CNN 1 1 臣 一 CNN SVM ! 比 2011 ImageNet 大 比 : XRCE
0 2 CNN 1 2 臣 一 CNN 入 CNN ! AlexNet 2 0 1 2 ImageNet 大 比 , 答 XRCE!
0 2 CNN 1 3 CNN Tensor fl ow 用 ! InceptionV 3 GoogLeNet, V 1 2014 VGG 1 6 /VGG 1 9 2014 ⽚ ResNet 5 0 2015
0 2 CNN 1 4 CNN (convolutional layer) (pooling layer) CNN , 一 用
0 2 CNN 1 5 Convolutional Layer 1 Convolutional Layer CNN 心 !
0 2 CNN 1 6 一 , ... fi lter fi lter 大 小 ( 比 ) 3 × 3 12 !
0 2 CNN 1 7 Filter 用 fi lter 一 , 一 , 自 己 fi lter 1 fi lter 2 input
0 2 CNN 1 8 Filter d11 d12 d13 d14 d21 d22 d23 d24 d31 d32 d33 d34 d41 d42 d43 d44 … input [ 0 1 0 0 1 0 0 1 0] * fi lter 一 fi lter , (dot product) d11 × 0 + d12 × 1 + d13 × 0 + d21 × 0 + d22 × 1 + d23 × 0 + d31 × 0 + d32 × 1 + d33 × 0 =
0 2 CNN 1 9 Filter 2 5 5 2 5 2 0 1 2 3 4 0 4 2 1 5 4 3 1 3 5 5 4 3 5 3 4 5 0 2 1 5 2 3 1 1 1 0 1 3 4 4 1 1 5 1 1 4 2 3 2 2 0 4 2 4 0 5 4 5 3 4 1 4 35 一 fi lter 內積 Ｗ＝ 一 fi lter 一 ,
0 2 CNN 2 0 Filter 一 fi lter, ( ) 一 2 5 5 2 5 2 0 1 2 3 4 0 4 2 1 5 4 3 1 3 5 5 4 3 5 3 4 5 0 2 1 5 2 3 1 1 1 0 1 3 4 4 1 1 5 1 1 4 2 3 2 2 0 4 2 4 0 5 4 5 3 4 1 4 35 27 fi lter 右移 一 格 一 Ｗ＝
0 2 CNN 2 1 Filter , fi lter , , ! 2 5 5 2 5 2 0 1 2 3 4 0 4 2 1 5 4 3 1 3 5 5 4 3 5 3 4 5 0 2 1 5 2 3 1 1 1 0 1 3 4 4 1 1 5 1 1 4 2 3 2 2 0 4 2 4 0 5 4 5 3 4 1 4 35 27 44 32 36 38 36 36 37 36 36 43 37 37 23 26 17 35 29 25 22 18 14 27 27 25 24 21 24 32 31 38 27 34 25 40 fi lter 一 路到最後 Ｗ＝
0 2 CNN 2 2 ? [ 0 1 0 0 1 0 0 1 0] 0 1 0 0 1 0 0 1 0 [ 1 0 0 0 1 0 0 0 1] 3 1 Filter 1 Filter 2 一 , fi lter 一 高 !
0 2 CNN 2 3 ? [ 0 1 0 0 1 0 0 1 0] 1 0 0 0 1 0 0 0 1 [ 1 0 0 0 1 0 0 0 1] Filter 1 Filter 2 3 1 一 , 高 !
0 2 CNN 2 4 一 ! 馬 , , 方 一 !
0 2 CNN 2 5 入 一 2 5 5 2 5 2 0 1 2 3 4 0 4 2 1 5 4 3 1 3 5 5 4 3 5 3 4 5 0 2 1 5 2 3 1 1 1 0 1 3 4 4 1 1 5 1 1 4 2 3 2 2 0 4 2 4 0 5 4 5 3 4 1 4 35 27 44 32 36 38 36 36 37 36 36 43 37 37 23 26 17 35 29 25 22 18 14 27 27 25 24 21 24 32 31 38 27 34 25 40 fi lter 片 一 入 Ｗ＝
0 2 CNN 2 6 一 2 5 5 2 5 2 0 1 2 3 4 0 4 2 1 5 4 3 1 3 5 5 4 3 5 3 4 5 0 2 1 5 2 3 1 1 1 0 1 3 4 4 1 1 5 1 1 4 2 3 2 2 0 4 2 4 0 5 4 5 3 4 1 4 35 27 44 32 36 38 36 36 37 36 36 43 37 37 23 26 17 35 29 25 22 18 14 27 27 25 24 21 24 32 31 38 27 34 25 40 fi lter Conv 一 Ｗ＝ 一 子 一
0 2 CNN 2 7 一 ( 一 ) 入 2 5 5 2 5 2 0 1 2 3 4 0 4 2 1 5 4 3 1 3 5 5 4 3 5 3 4 5 0 2 1 5 2 3 1 1 1 0 1 3 4 4 1 1 5 1 1 4 2 3 2 2 0 4 2 4 0 5 4 5 3 4 1 4 35 27 44 32 36 38 36 36 37 36 36 43 37 37 23 26 17 35 29 25 22 18 14 27 27 25 24 21 24 32 31 38 27 34 25 40 fi lter Ｗ＝
0 2 CNN 2 8 ( 一 filter) 2 5 5 2 5 2 0 1 2 3 4 0 4 2 1 5 4 3 1 3 5 5 4 3 5 3 4 5 0 2 1 5 2 3 1 1 1 0 1 3 4 4 1 1 5 1 1 4 2 3 2 2 0 4 2 4 0 5 4 5 3 4 1 4 35 27 44 32 36 38 36 36 37 36 36 43 37 37 23 26 17 35 29 25 22 18 14 27 27 25 24 21 24 32 31 38 27 34 25 40 fi lter share weights Ｗ＝
0 2 CNN 2 9 大 小 一 , 一 大 小 fi lter , 大 小 ! 而 , 至 腦 大 小 一 10 , 十 !? 8 × 8 3 × 3 6 × 6 35 27 44 32 36 38 36 36 37 36 36 43 37 37 23 26 17 35 29 25 22 18 14 27 27 25 24 21 24 32 31 38 27 34 25 40
0 2 CNN 3 0 大 小 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 [ 0 1 0 0 1 0 0 1 0] Filter 1 000000000 padding="valid" 方 , 比 小 , ( )
0 2 CNN 3 1 大 小 腦 面 0, 大 小 一 ! 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 1 0 0 0 0 0 0 1 0 0 0 0 0 0 1 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 [ 0 1 0 0 1 0 0 1 0] Filter 1 2000030000300003000020000 padding="same" 面 0! 一 大 !
0 2 CNN 3 2 Pooling Layer 2 Max-Pooling Layer 大
0 2 CNN 3 3 一 , ... 大 ( 比 ) 2 × 2 用 方 ( 用 大 ) 12
0 2 CNN 3 4 Max-Pooling 35 27 44 32 36 38 36 36 37 36 36 43 37 37 23 26 17 35 29 25 22 18 14 27 27 25 24 21 24 32 31 38 27 34 25 40 36 44 43 37 26 35 38 34 40 大 !! 小 !
0 2 CNN 3 5 一個標準的 CNN, 可以想成是兩個神 經網路組成的! 特徵表現向量 輸出結果 輸入 輸出 輸入 輸出
0 2 CNN 3 6 見 CNN Conv Max- Pooling Dense Max- Pooling Max- Pooling Conv Conv ...
0 2 CNN 3 7 Conv fi lter ?
0 6 .
0 2 CNN 3 9 Copper 馬 ? YouTube > AI
0 2 CNN 4 0 https://yenlung.me/2022AICode 冒險17_Cooper_真的是 馬 爾濟斯嗎？使 用 名 門 _CNN_幫助辨識！.ipynb
0 2 CNN 4 1 fθ 面 , Imagenet 大 比 , 門 CNN 121 0 0 0 一 片
0 2 CNN 4 2 一 p1 p2 p3 土 八 白 八 八 fθ 121 0 0 0 面 一
0 2 CNN 4 3 : 一 crested_myna common_myna javan_myna 土八哥 白尾八哥 家八哥 片 , 用 一 !
0 2 CNN 4 4 ResNet 5 0 v 2 ResNet ?
0 2 CNN 4 5 ResNet ? ℱ(x) x + ResNet 方
0 2 CNN 4 6 ResNet ? 一 ℱ(x) x + ℱ(x) ℋ(x) 目 ( )
0 2 CNN 4 7 ResNet ? ℱ(x) ≃ ℋ(x) x + ℱ(x) ≃ ℋ(x)
0 2 CNN 4 8 ResNet ? ℱ(x) = ℋ(x) − x 目 己 , ... x ℱ(x)
0 2 CNN 4 9 ResNet ? Li,H., Xu, Z., Taylor, G., Studer C., Goldstein T. (NeuraIPS 2018). Visualizing the Loss Landscape of Neural Nets. . without skip with skip
0 2 CNN 5 0 , 用 自 己 ! https://yenlung.me/AI02 八 !
0 2 CNN 5 1 Q & A ?

More Related Content

PDF
【炎龍老師的 AI 模組課程】04 打造自己的 ChatGPT: 文字生成 AI 的原理、LLM 為什麼這麼厲害、OpenAI API
Yen-lung Tsai
 
PDF
【炎龍老師的 AI 模組課程】03 和 AI PK 誰比較會認 IVE 成員: Contrastive Learning、人臉辨識
Yen-lung Tsai
 
PDF
【炎龍老師的 AI 模組課程】01 用全連結神經網路打造手寫辨識 AI: AI 原理與 MNIST 數據集
Yen-lung Tsai
 
PDF
Deep Learning and Design Thinking
Yen-lung Tsai
 
PDF
強化學習 Reinforcement Learning
Yen-lung Tsai
 
PDF
生成對抗模式 GAN 的介紹
Yen-lung Tsai
 
PDF
Recurrent Neural Network 遞迴式神經網路
Yen-lung Tsai
 
PDF
手把手打開Python資料分析大門
Yen-lung Tsai
 
【炎龍老師的 AI 模組課程】04 打造自己的 ChatGPT: 文字生成 AI 的原理、LLM 為什麼這麼厲害、OpenAI API
Yen-lung Tsai
 
【炎龍老師的 AI 模組課程】03 和 AI PK 誰比較會認 IVE 成員: Contrastive Learning、人臉辨識
Yen-lung Tsai
 
【炎龍老師的 AI 模組課程】01 用全連結神經網路打造手寫辨識 AI: AI 原理與 MNIST 數據集
Yen-lung Tsai
 
Deep Learning and Design Thinking
Yen-lung Tsai
 
強化學習 Reinforcement Learning
Yen-lung Tsai
 
生成對抗模式 GAN 的介紹
Yen-lung Tsai
 
Recurrent Neural Network 遞迴式神經網路
Yen-lung Tsai
 
手把手打開Python資料分析大門
Yen-lung Tsai
 

More from Yen-lung Tsai (15)

PDF
與高中生談人工智慧與深度學習
Yen-lung Tsai
 
PDF
深度學習實作上的各種卡關
Yen-lung Tsai
 
PDF
人工智慧不是魔法，是數學
Yen-lung Tsai
 
PDF
[數學、邏輯與人生] 05 數，三聲數
Yen-lung Tsai
 
PDF
[數學軟體應用] 05 HTML+CSS
Yen-lung Tsai
 
PDF
[數學、邏輯與人生] 03 集合和數學歸納法
Yen-lung Tsai
 
PDF
[數學、邏輯與人生] 01 基本邏輯和真值表
Yen-lung Tsai
 
PDF
03 串起你的數據
Yen-lung Tsai
 
PDF
Markdown可以做什麼
Yen-lung Tsai
 
PDF
02 和電腦對話
Yen-lung Tsai
 
PDF
01 jupyter 第一課
Yen-lung Tsai
 
PDF
[數學、邏輯與人生] 00 課程簡介
Yen-lung Tsai
 
PDF
數學軟體應用課程 00 - 課程介紹
Yen-lung Tsai
 
PDF
Days on Jupyter
Yen-lung Tsai
 
PDF
用 GeoGebra 玩數學
Yen-lung Tsai
 
與高中生談人工智慧與深度學習
Yen-lung Tsai
 
深度學習實作上的各種卡關
Yen-lung Tsai
 
人工智慧不是魔法，是數學
Yen-lung Tsai
 
[數學、邏輯與人生] 05 數，三聲數
Yen-lung Tsai
 
[數學軟體應用] 05 HTML+CSS
Yen-lung Tsai
 
[數學、邏輯與人生] 03 集合和數學歸納法
Yen-lung Tsai
 
[數學、邏輯與人生] 01 基本邏輯和真值表
Yen-lung Tsai
 
03 串起你的數據
Yen-lung Tsai
 
Markdown可以做什麼
Yen-lung Tsai
 
02 和電腦對話
Yen-lung Tsai
 
01 jupyter 第一課
Yen-lung Tsai
 
[數學、邏輯與人生] 00 課程簡介
Yen-lung Tsai
 
數學軟體應用課程 00 - 課程介紹
Yen-lung Tsai
 
Days on Jupyter
Yen-lung Tsai
 
用 GeoGebra 玩數學
Yen-lung Tsai
 
Ad

【炎龍老師的 AI 模組課程】02 用遷移式學習做八哥辨識: CNN 的原理、用名門 CNN 模型作遷移式學習