iOS 모바일에서 한글 손글씨 인식하기(with Keras)
1 like3,144 views
너무도 아름답고 과학적인 글자, 한글 珞 다른 언어에 비해 손글씨 데이터셋이 적고, 만들어진 손글씨 예측 모델의 인식률이 낮은 점이 아쉬워 직접 데이터를 생성하고 간단한 iOS 애플리케이션을 만들어봤습니다. 2019년 2월 23일 KCD 행사에서 케라스 코리아 팀에서 발표했던 자료를 보완/수정했습니다. 관련 코드는 아래 링크에서 확인할 수 있습니다. https://github.com/MijeongJeon/KoreanClassification_Keras_Coreml
![train_generator = ImageDataGenerator(rescale=1./255,
rotation_range=15,
width_shift_range=0.3,
height_shift_range=0.3,
shear_range=0.3,
zoom_range=[0.7, 1.3])
데이터 부풀리기
python 3.6.5
keras 2.2.4](https://image.slidesharecdn.com/koreanclassificationkeras-190306143336/85/iOS-with-Keras-37-320.jpg)
![keras 2.2.4 tf 1.10.0
python 3.6.5jupyter 1.0.0
model = Sequential()
model.add(Convolution2D(32, (3, 3), padding='same',
input_shape=X_train.shape[1:]))
model.add(Activation('relu'))
model.add(Convolution2D(32, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Convolution2D(64, (3, 3), padding='same'))
model.add(Activation('relu'))
model.add(Dropout(0.50))
model.add(Convolution2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Flatten())
model.add(Dense(512))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(num_classes))
model.add(Activation('softmax'))](https://image.slidesharecdn.com/koreanclassificationkeras-190306143336/85/iOS-with-Keras-40-320.jpg)
![model = Sequential()
model.add(Convolution2D(32, kernel_size=(5, 5),
activation='relu',
input_shape=input_shape))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Convolution2D(64, (5, 5), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Convolution2D(128, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Flatten())
model.add(Dense(512, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(num_classes, activation='softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
32pixel x 32pixel
46,060개 이미지
500 epoch](https://image.slidesharecdn.com/koreanclassificationkeras-190306143336/85/iOS-with-Keras-41-320.jpg)
![model = Sequential()
model.add(Convolution2D(32, kernel_size=(5, 5),
activation='relu',
input_shape=input_shape))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Convolution2D(64, (5, 5), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Convolution2D(128, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Flatten())
model.add(Dense(512, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(num_classes, activation='softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
Mac OS
CPU 2.9GHz, i5
RAM 8G
No GPU!!
4](https://image.slidesharecdn.com/koreanclassificationkeras-190306143336/85/iOS-with-Keras-42-320.jpg)
![model = Sequential()
model.add(Convolution2D(32, kernel_size=(5, 5),
activation='relu',
input_shape=input_shape))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Convolution2D(64, (5, 5), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Convolution2D(128, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Flatten())
model.add(Dense(512, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(num_classes, activation='softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
Tesla K80
3](https://image.slidesharecdn.com/koreanclassificationkeras-190306143336/85/iOS-with-Keras-43-320.jpg)
iOS 모바일에서 한글 손글씨 인식하기(with Keras)
- 2. 안녕하세요, 미정입니다 :) iOS 모바일 개발자이구요, 취미는 AI입니다 🤗
- 3. 네모 동그라미 세모 손 그림 도형 예측 in iOS
- 5. MNIST EMNIST
- 8. 모바일에서 인식하기
- 9. OCR (Optical Character Recognition) 광학기술을 이용한 문자 인식
- 10. Optical character recognition - Wikipedia CamCard Code1System M2M Coding
- 14. Pattern Matching H Arial Helvetica Times New Roman Menlo Futura Chalkboard
- 16. OCR
- 17. 문제 정의 데이터 셋 모델 학습 모델 변환 모바일 적용
- 18. 문제 정의 데이터 셋 모델 학습 모바일 적용 모델 변환
- 19. 총 11,172개 초성(19개) ㄱㄲㄴㄷㄸㄹㅁㅂㅃㅅㅆㅇㅈㅉㅊㅋㅌㅍㅎ 중성(21개) ㅏㅐㅑㅒㅓㅔㅕㅖㅗㅘㅙㅚㅛㅜㅝㅞㅟㅠㅡㅢㅣ 종성(27개) ㄱㄲㄳㄴㄵㄶㄷㄹㄺㄻㄼㄽㄾㄿㅀㅁㅂㅄㅅㅆㅇㅈㅊㅋㅌㅍㅎ 초성 * 중성 = 19 * 21 = 399 초성 * 중성 * 종성 = 19 * 21 * 27 = 10,773
- 25. 980
- 26. 980개 음절
- 30. 케 32 x 32 공간 생성 ttf로 글자 쓰기 케 .jpg 저장
- 31. 케 케 케 케
- 32. IMAGE_WIDTH = 32 IMAGE_HEIGHT = 32 for font in fonts: image = Image.new('L', (IMAGE_WIDTH, IMAGE_HEIGHT), color=255) drawing = ImageDraw.Draw(image) w, h = drawing.textsize(character, font=font) font = ImageFont.truetype(font, 48) drawing.text( ((IMAGE_WIDTH-w)/2, (IMAGE_HEIGHT-h)/2), “ ”, fill=(0), font=font ) image.save(file_path, 'JPEG') python 3.6.5
- 34. 46개 필기체 폰트 사용폰트 : 이순신, 고양시, TvN, 제주 한라산, J신영복, KCC 은영, KCC 김훈, 포천시 막걸리, 산돌미생, 앵무부리, 다래손글씨, DX3학년1반, DX하루, DX 베이글, DX클래식, DX둥글레, DX설레임, DX깜찍발랄, DX경필명조, DX밀키캔디, DX영화자막, DX오렌지나무, DX슈가플럼 네이버 나눔 펜, 상상신비, Tae흘림 +
- 35. 46개 필기 폰트 + 미정필기
- 36. 46개 필기 폰트 + 미정필기 총 46,060개 한글 손 글씨 이미지
- 37. train_generator = ImageDataGenerator(rescale=1./255, rotation_range=15, width_shift_range=0.3, height_shift_range=0.3, shear_range=0.3, zoom_range=[0.7, 1.3]) 데이터 부풀리기 python 3.6.5 keras 2.2.4
- 38. 문제 정의 데이터 셋 모델 학습 모바일 적용 모델 변환 980 class 32pixel x 32pixel 총 46,060개 - 훈련 셋 : 36,848(80%) - 검증 셋 : 9,212(20%)
- 39. 문제 정의 데이터 셋 모델 학습 모델 변환 모바일 적용
- 40. keras 2.2.4 tf 1.10.0 python 3.6.5jupyter 1.0.0 model = Sequential() model.add(Convolution2D(32, (3, 3), padding='same', input_shape=X_train.shape[1:])) model.add(Activation('relu')) model.add(Convolution2D(32, (3, 3))) model.add(Activation('relu')) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Dropout(0.25)) model.add(Convolution2D(64, (3, 3), padding='same')) model.add(Activation('relu')) model.add(Dropout(0.50)) model.add(Convolution2D(64, (3, 3))) model.add(Activation('relu')) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Dropout(0.25)) model.add(Flatten()) model.add(Dense(512)) model.add(Activation('relu')) model.add(Dropout(0.5)) model.add(Dense(num_classes)) model.add(Activation('softmax'))
- 41. model = Sequential() model.add(Convolution2D(32, kernel_size=(5, 5), activation='relu', input_shape=input_shape)) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Convolution2D(64, (5, 5), activation='relu')) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Dropout(0.25)) model.add(Convolution2D(128, (3, 3), activation='relu')) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Flatten()) model.add(Dense(512, activation='relu')) model.add(Dropout(0.5)) model.add(Dense(num_classes, activation='softmax')) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) 32pixel x 32pixel 46,060개 이미지 500 epoch
- 42. model = Sequential() model.add(Convolution2D(32, kernel_size=(5, 5), activation='relu', input_shape=input_shape)) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Convolution2D(64, (5, 5), activation='relu')) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Dropout(0.25)) model.add(Convolution2D(128, (3, 3), activation='relu')) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Flatten()) model.add(Dense(512, activation='relu')) model.add(Dropout(0.5)) model.add(Dense(num_classes, activation='softmax')) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) Mac OS CPU 2.9GHz, i5 RAM 8G No GPU!! 4
- 43. model = Sequential() model.add(Convolution2D(32, kernel_size=(5, 5), activation='relu', input_shape=input_shape)) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Convolution2D(64, (5, 5), activation='relu')) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Dropout(0.25)) model.add(Convolution2D(128, (3, 3), activation='relu')) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Flatten()) model.add(Dense(512, activation='relu')) model.add(Dropout(0.5)) model.add(Dense(num_classes, activation='softmax')) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) Tesla K80 3
- 44. Tesla K80CPU 2.9GHz, i5 380s/epoch 64s/epoch << 6배속 3
- 45. 3
- 46. GPU - AMD Radeon Pro 460 2
- 47. AMD Radeon Pro 460 loss ‘nan’ error 2
- 49. 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1 101 201 301 tarin_acc val_acc 0 1 2 3 4 5 6 1 101 201 301 401 train_loss val_loss 정확도 손실률 정확도 85.35% model2.h5
- 50. 문제 정의 데이터 셋 모델 학습 모델 변환 모바일 적용 정확도 85.35% model2.h5 정확도 63.33% model1.h5
- 51. 문제 정의 데이터 셋 모델 학습 모델 변환 모바일 적용 model.h5 model.mlmodel Xcode Swiftpythonnotebook
- 52. keras 2.2.4 coremltools python 3colab netebook coreml_model = coremltools.converters.keras.convert (loaded_model, input_names ='image', image_input_names = 'image', class_labels = './labels/980-common-hangul.txt') coreml_model.save(‘hangul-classification-v1.mlmodel') import coremltools from keras.models import load_model
- 54. 문제 정의 데이터 셋 모델 학습 모델 변환 모바일 적용
- 55. 문제 정의 데이터 셋 모델 학습 모델 변환 모바일 적용 손 글씨 앨범 사진
- 56. 위치에 따른 인식률 차이
- 57. 클래스에 없는 음절 segmentation
- 59. ninevincentg@gmail.com 전미정 자세한 코드는 여기서 볼 수 있어요. https://github.com/MijeongJeon/KoreanClassification_Keras_Coreml