Dl from scratch(8)
- 1. 밑바닥부터 시작하는 딥러닝 박성현 zkfthfl123@naver.com
- 2. 목차 • 정확도를 더 높이려면? • 층을 깊게 하는 이유 • 또다른 CNN 구조들
- 3. 정확도를 높이려면? • 데이터 확장 입력 이미지(훈련 이미지)를 알고리즘을 동원해 ‘인위적’으로 확장한다. 데이터가 몇 개 없을 때 효과적이다. 회전, 이동, 자르기, 대칭 등이 있다.
- 4. 층을 깊게 하는 이유 입력 출력 5x5
- 5. 층을 깊게 하는 이유 입력 출력 3x3 3x3 중간
- 6. 층을 깊게 하는 이유 • 5x5의 합성곱 연산 1회는 3x3 연산을 2회 수행하여 대체 가능함. • 5x5 합성곱 매개변수의 수는 25개 • 3x3 합성곱 매개변수의 수는 18개 (2x3x3) • 층을 깊게 함으로써 학습 데이터의 양을 줄여 고속화가 가능.
- 7. 또다른 CNN 구조들
- 8. VGG • 합성곱 계층과 풀링 계층으로 구성되는 ‘기본적’인 CNN • 3x3의 작은 필터를 사용한 합성곱 계층을 연속으로 거치는 것이 특징이다. • 2014년 대회에서 2위에 올랐음(1위 : GoogLeNet), 구성이 간단하여 응용하기 좋음
- 9. GoogLeNet • 세로 방향 깊이뿐 아니라 가로 방향도 깊다는 점이 특징 • 가로 방향의 폭 : 인셉션 구조 • 인셉션 구조는 크기가 다른 필터를 여러 개 적용하여 그 결과를 결합한다. • 1x1 크기의 필터를 많은 곳에서 사용한다. (채널쪽 으로 크기를 줄임)
- 10. ResNet • 층이 지나치게 깊으면 학습이 잘 되지 않고, 성능이 떨어지는 경우가 많다. • 해결책으로 스킵 연결(skip connection)을 도입했다. • 입력 데이터를 합성곱 계층을 건너 뛰어 출력에 바로 더하는 구조이다. • 역전파 때 스킵 연결이 신호 감쇠를 막아준다.