Searching for magic formula by deep learning
9 likes1,553 views
지난 삼성오픈소스 컨퍼런스에서 발표한 것으로 핀테크에 Deep Learning을 적용해 과연 기계에 의한 투자가 가능한지를 시험해 본 발표자료입니다. 첫시도에는 데이터를 무시하고 알고리즘에 전적으로 의존해 완벽한 실패로 끝났지만, 두번째 시도에서는 데이터를 이해하고, 이에 맞는 알고리즘의 적용으로 처참했던 첫번째 시도보다 훨씬 더 좋은 결과를 보여주었습니다. 역시 데이터를 가지고 무엇을 한다는 것은 데이터에 대한 이해가 처음이자 마지막이라는 것을 확실히 느끼게 되었습니다.
Searching for magic formula by deep learning
- 1. 안명호, mhr.james@gmail.com Searching for Magic Formula MHR Inc. 2015-10-28
- 2. 거대한 모험의 시작
- 3. 요즘 뜬다는 ‘딥러닝’, 대체 그게 뭐지? 블로터, 2014.07.31 이성규 페이스북은 딥러닝을 적용해 딥페이스라는 얼굴 인식 알고리즘을 올해 3월 개발했다. 페이스북은 딥러닝이 적용된 딥페이스 알 고리즘으로 전세계 이용자의 얼굴을 인식 해 특정하고 있다. 인식 정확도는 97.25%로 인간 눈(97.53 %)과 거의 차이가 없다. 페이스북은 이용 자가 올린 이미지의 얼굴만 측면만 봐도, 어떤 이용자인지 판별해낼 수 있다. source : http://www.bloter.net/archives/201445
- 4. Image Captioning, What a surprise!!! http://cs.stanford.edu/people/karpathy/deepimagesent/ Deep Learning을 이용한 Image Captioning 샘플
- 5. Image Captioning Process Recognize Object Detect Words Generate sentences Rank sentences Identify Object 결코 쉽지 않은 작업
- 6. Role Model
- 7. '수학 부호' 사이먼스 회장 "수학 즐기니 부 쌓여가” 사이먼스 회장은 미국 하버드대 수학과 교수에서 돌연 월가에서 헤지펀드(르네 상스테크놀로지) 회사 창립자로 변신, 총 재산이 13조원을 훌쩍 넘는 세계 88 위의 부호로 성공했다. 그의 회사는 수학적 모델을 이용한 계량분석 기법인 ‘퀀트펀드’를 통해 지난 20 00년대 연이어 대박행진을 이어갔다. 이데일리 2014.08.13, 이승현기자 http://www.edaily.co.kr/news/NewsRead.edy?SCD=JE41&newsid=02797846606186992&DCD=A00504&OutLnkChk=Y
- 8. James Harris Simons • Renaissance Technology 설립자 • MIT, UC 버클리 수학박사 • 전 하버드대 수학교수 • 수학자 및 헤지펀드 매니져 • 1976년 베블런상 수상 • 2006년 역대 최고 연봉 – 17억달러(2조원) https://en.wikipedia.org/wiki/James_Harris_Simons 실제로 그를 만나본 사람들은 '사이먼스는 돈이 중요한 사람이라기보다는 단순히 수학에 미친 사람’
- 9. Renaissance Technologies • 펀드관리 규모 $22B • 메달리온 펀드 연평균 36% 수익율 • 워렌 버핏 연평균 수익율 21.6% • 수학, 물리학, 천문학, 통계학자등 구성 • 전통적인 기업분석이나 주식분석 안함 • 알고리즘 트레이딩(Algorithm Trading) 전통적인 금융회사와는 너무도 다른 금융회사
- 10. Algorithm Trading? 결론은 패턴!!! 그렇다면 Deep Learning https://en.wikipedia.org/wiki/Atlantic_multidecadal_oscillation
- 11. Theano Python library for Deep Learning
- 12. Born to be a fin-tech eng Maybe,,,
- 14. 나의 건강한 삷을 위해서는 내가 필요한 것들… 하지만 국내 IT 환경에서는 매우 얻기 힘든… • 과로하지 하지 말것 • 스트레스 받지 말것 • 적절한 휴식과 운동
- 16. Machine Learning
- 17. Machine Learning? ProgramInput Output Non-Machine Learning OutputInput Program Machine Learning
- 18. 예측을 하고 싶다면 … 아래처럼 주택가격 예측을 하고 싶다면 …
- 19. Non-Machine Learning 접근 방법 수많은 반복과 노력이 필요… Y = ax + b Hypothesis Find ‘a’ and ‘b’ By hands
- 20. Machine Learning 접근방법 기계에 의한 수많은 반복 Y = ax + b Hypothesis Find ‘a’ and ‘b’ By Iteration
- 24. Supervised Learning Process 사실 알고리즘은 전체의 작은 부분이다. Pre-Proce ssing Sampling Training Dataset Pre-Proces sing Learning Algorithm Training Parameter Optimization Post-Proce ssing Final Model Feature Selection Feature Scaling Dimensionality R eduction Test Data set New Data Missing D ata Feature E xtraction Performance Metrics Model Select ion Split Cross-Validation Refinement Final Model Evaluation Prediction
- 25. 첫번째 시도
- 26. 주가예측 나도 알고리즘 트레이딩을 해보자.
- 27. Pattern Pattern 인식이 필요해, 정말로 …
- 28. RNN(Recurrent Neural Network) Time Series Data를 위한 Deep Learning 알고리즘 A recurrent neural network (RNN) is a c lass of artificial neural network where c onnections between units form a direct ed cycle. This creates an internal state of the network which allows it to exhib it dynamic temporal behavior. Unlike fe edforward neural networks, RNNs can use their internal memory to process ar bitrary sequences of inputs. This makes them applicable to tasks such as unseg mented connected handwriting recogn ition, where they have achieved the be st known results. Source : wiki
- 29. RNN의 문제점 Vanishing Gradient Problem!!! Hard to train by Gradient-based training algorithm 1st Layer : Slowest Last Layer : Fastest
- 30. Gradient Descent 간단히 이야기 하면 최적화 문제 http://www.toptal.com/machine-learning/an-introduction-to-deep-learning-from-perceptrons-to-deep-networks
- 31. Conjugate Gradient RNN문제를 해결하기 위해 나에게 도움을 주었던 논문 Learning Recurrent Neural Networks with Hessian-Free Optimization By Martens & Sutskever • Green : Gradient Descent • Red : Conjugate Gradient Gradient Descent Conjugate Gradient Learning rate ‘a’ is fixed
- 32. 하지만 결론은 …. 알고리즘은 알고리즘일뿐….
- 33. 두번째 시도
- 34. Leaving Deep Learning… 기본으로 돌아가자. 중요한 것은 데이터이다.!!!
- 35. 예측의 핵심 패턴을 찾을 수 있는가?
- 36. Domain Knowledge Data Preprocessing을 통해 예측가능한 형태로… 그래서 Domain Knowledge가 매우 중요!!!
- 37. 고수는 연장탓을 하지 않는다. Regression Analysis 많으로도 충분
- 38. Finally, More Predictive Power Deep Learning을 이용한 첫번째 시도보다 9배 향상
- 39. 중요한 것은 Domain과 Domain Knowledge Machine Learning을 적용하기 위한 최적의 Domain? 23전 23승 선승구전(先勝求戰) 이기는 군대는 미리 이겨놓고 싸운다
- 40. 그리고 투자의 본질… 투자는 나와 상대와의 신뢰게임 모두가 같은 신뢰를 가지고 있다면 투자는 성립불가!!! 그리고 신뢰는 지식으로부터 …
- 41. 기대가 점차 확신으로… 지난 1년간의 결과, Back Testing 알고리즘 기간 Predictive Power 투자금(만원) 수익(만원) 모델 A 2015.01.01-2015.09.30 22% 1000 4250 모델 B 2015.01.01-2015.09.30 2% 1000 -9420 모델 C 2015.01.01-2015.09.30 12% 1000 -731 모델 D 2015.01.01-2015.09.30 14% 1000 372 모델 E 2015.01.01-2015.09.30 18% 1000 1022 모델 F 2015.01.01-2015.09.30 19% 1000 2446
- 42. THANK YOU!