Digit recognizer
1 like639 views
Digit Recognizer에 대한 간단한 소개입니다. 팀원들과 공부하기 위해서 짧게 만들어 본 자료라 많이 부족할 수 있습니다. 잘못된 부분은 지적해주시면 감사하겠습니다 :)
![Example: MNIST (kaggle)
[…, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
23, 210, 254, 253, 159, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, …]
784차원 공간을 생각해보자 :
Method 1: k-NN
Method 2: SVM
Method 3: Random Forest, etc..
784차원 공간에서 가까이 있는 좌표의 label은?
784차원 공간을 783차원 초평면으로 갈라서 분류해보면?
이 위치에 하얀 픽셀이 있고 저기엔 없으면?
어떤 방법이 가장 좋은가?
5
기억나시는지?](https://image.slidesharecdn.com/digitrecognizer-150626113348-lva1-app6892/85/Digit-recognizer-5-320.jpg)
![Feature?
[…, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
23, 210, 254, 253, 159, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, …]
이미지의 픽셀값을 feature로 이용
feature0 feature1 feature2 … feature783](https://image.slidesharecdn.com/digitrecognizer-150626113348-lva1-app6892/85/Digit-recognizer-6-320.jpg)
![PCA Principal component analysis
다시 설명하면
v v = a1e1 + a2e2 + … + anen (n = dim(v))
v 는 t = [a1, a2, …, an]로 표현 가능, ||t|| = n
근데 e1, e2, …, en 대신 w1, w2, …, wm을 쓰면
v ~= b1w1 + b2w2 + … + bmwm 처럼 되더라
v 는 u = [b1, b2, …, bm]으로도 표현 가능, ||u|| = m](https://image.slidesharecdn.com/digitrecognizer-150626113348-lva1-app6892/85/Digit-recognizer-10-320.jpg)
Digit recognizer
- 2. 발표자 소개 홍철주 • http://blog.fegs.kr • https://github.com/FeGs • Machine Learning Newbie • SW Maestro 5th 2
- 3. 목차 • 문제 소개 • k-NN, … • Dimensionality Reduction • 다시 k-NN, … • Neural Networks 3
- 4. 문제 소개 데이터 : 손으로 쓴 숫자 이미지 (28px * 28px, grayscale) 목적 변수 : 숫자 (0, 1, 2, …, 9) 0 1 2 3 4 5 4 손으로 적은 숫자들을 분류하기 학습 데이터 : 42000개 테스트 데이터 : 28000개
- 5. Example: MNIST (kaggle) […, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 23, 210, 254, 253, 159, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, …] 784차원 공간을 생각해보자 : Method 1: k-NN Method 2: SVM Method 3: Random Forest, etc.. 784차원 공간에서 가까이 있는 좌표의 label은? 784차원 공간을 783차원 초평면으로 갈라서 분류해보면? 이 위치에 하얀 픽셀이 있고 저기엔 없으면? 어떤 방법이 가장 좋은가? 5 기억나시는지?
- 6. Feature? […, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 23, 210, 254, 253, 159, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, …] 이미지의 픽셀값을 feature로 이용 feature0 feature1 feature2 … feature783
- 7. k-NN 784차원 공간에서 가까이 있는 좌표의 label은? sklearn.neighbors.KNeighborsClassifier(n_neighbors=10, weights='distance', algorithm='auto', leaf_size=30, p=2, metric='minkowski', metric_params=None) Accuracy = 96.65% 10-fold CV
- 8. RF 이 위치에 하얀 픽셀이 있고 저기엔 없으면? (784개의 feature) Accuracy = 90.28% sklearn.ensemble.RandomForestClassifier(n_estimators=100, criterion='gini', max_depth=None, min_samples_split=2, min_samples_leaf=1, max_features='auto', max_leaf_nodes=None, bootstrap=True, oob_score=False, n_jobs=1, random_state=None, verbose=0, min_density=None, compute_importances=None) 10-fold CV 시간이 오래 걸림.
- 9. 정확도도 가져가고 시간도 단축하고 싶은데
- 10. PCA Principal component analysis 다시 설명하면 v v = a1e1 + a2e2 + … + anen (n = dim(v)) v 는 t = [a1, a2, …, an]로 표현 가능, ||t|| = n 근데 e1, e2, …, en 대신 w1, w2, …, wm을 쓰면 v ~= b1w1 + b2w2 + … + bmwm 처럼 되더라 v 는 u = [b1, b2, …, bm]으로도 표현 가능, ||u|| = m
- 11. PCA Principal component analysis w1, w2, …, wm 의 정의는? http://www.stat.cmu.edu/~cshalizi/350/lectures/10/lecture-10.pdf실제로 구하는 방법은 ->
- 12. PCA + k-NN 10차원으로 낮췄을 때 : 92.6% 33차원으로 낮췄을 때 : 97.3% 5 3 8 9 56차원으로 낮췄을 때 : 97.2% 차원을 낮추고 학습시키면? sklearn.neighbors.KNeighborsClassifier(n_neighbors=10, weights='distance', algorithm='auto', leaf_size=30, p=2, metric='minkowski', metric_params=None) 10-fold CV
- 13. PCA + RF 10차원으로 낮췄을 때 : 89.9% 33차원으로 낮췄을 때 : 95.2% 5 3 8 9 56차원으로 낮췄을 때 : 95.1% 차원을 낮추고 학습시키면? 10-fold CV sklearn.ensemble.RandomForestClassifier(n_estimators=200, criterion='gini', max_depth=None, min_samples_split=2, min_samples_leaf=1, max_features='auto', max_leaf_nodes=None, bootstrap=True, oob_score=False, n_jobs=1, random_state=None, verbose=0, min_density=None, compute_importances=None)
- 14. Deep Learning • 간단한 역사를 설명하면 • 인공신경망 연구는 오류 역전파 알고리즘으로 … • 하지만 학습에 시간이 오래 걸리고, Overfitting, … • 그러다가 하드웨어도 좋아지고 이걸 빅데이터가? • Local minima 이슈는 High-dimension non-convex optimization에서는 별로.. • RBM, DBN에 대한 이야기는 넘어가고 NN 이야기만.. http://www.slideshare.net/secondmath/deep-learning-by-jskim
- 15. ANN Artificial Neural Network
- 16. ANN Artificial Neural Network
- 17. ANN Artificial Neural Network
- 18. ANN Artificial Neural Network
- 19. Logistic function Logistic function의 일반화 Softmax function Sigmoid function
- 21. Gradient Descent 지역 최적점을 찾아서
- 22. BP Algorithm Weight, bias의 보정
- 23. MLP Multi Layer Perceptron Hidden Layer 가 여러 층
- 24. MLP Multi Layer Perceptron input0 input1 output0 output1 hidden0 hidden1 hidden2 x Layer0 Layer1 Layer2 W b0 z = Wx + b tanh y = tanh(z)
- 25. MLP Multi Layer Perceptron input0 input1 output0 output1 hidden0 hidden1 hidden2 x Layer0 Layer1 Layer2 W b0 z = Wx + b tanh y = tanh(z) Hidden Layer
- 26. MLP Multi Layer Perceptron output0 output1 hidden0 hidden1 hidden2 Layer1 Layer2 W b0 z = Wx + b tanh y = tanh(z) softmax y_pred argmax z = Wx + b b1
- 27. z = Wx + b b1 MLP Multi Layer Perceptron output0 output1 hidden0 hidden1 hidden2 Layer1 Layer2 W b0 z = Wx + b tanh y = tanh(z) softmax y_pred argmax Logistic Regression
- 28. CNN Convolutional Neural Network
- 29. Convolution Feature map? Image Convolution
- 31. CNN Convolutional Neural Network Convolution Layer MLP
- 32. Dropout/connect Avoid overfitting input0 input1 output0 output1 hidden0 hidden1 hidden2 Layer0 Layer1 Layer2 b0 dropconnect dropout
- 33. CNN 여기까지 오느라 수고하셨습니다- Convolutional neural networks 1. convolution layer (feature map = 4, 5*5) 2. max pooling layer (2*2) 3. convolution layer (feature map = 10, 5*5) 4. max pooling layer (2*2) 5. hidden layer (500 neurons, tanh activation) 6. output layer (500 -> 10, logistic regression) Accuracy = 96.74% 10-fold CV 발표자료 만들고보니 feature 맵을 잘못 넣었다는 것을 깨달음 제대로 했으면 sample 수는 적지만 98+%도 가능한지는 다음에 것보다 kaggle에서 원래 데이터를 다 안 줌 =_=
- 34. EOF