Reinfocement learning
Download as PPTX, PDF0 likes495 views
This document provides an introduction to reinforcement learning. It discusses how recent research has used deep neural networks (DNNs) and convolutional neural networks (CNNs) to approximate Q-functions and solve problems. This research has achieved superhuman performance on tasks like playing Atari 2600 games and Go, and has also been applied to 3D games and robot control. The document then provides overviews of machine learning, supervised learning, unsupervised learning, and reinforcement learning, and provides examples of each type.
Reinfocement learning
- 1. © 2016. SNU CSE Biointelligence Lab., http://bi.snu.ac.kr Introduction of Reinforcement Learning 1 곽동현 서울대학교 바이오지능 연구실
- 2. © 2016. SNU CSE Biointelligence Lab., http://bi.snu.ac.kr Background • 기존의 강화학습(Reinforcement Learning)에서 Q function을 DNN 혹은 CNN으로 근사하여 문제를 해결하는 시도가 최근 Google DeepMind를 필두로 활발히 연구가 되고 있다. • 최근 연구에서는 Atari 2600, 바둑을 인간보다 더 잘 플레이하 는 수준의 경이적인 성과를 보이고 있으며, 나아가 3D 게임이 나 로봇 컨트롤 문제에도 적용되고 있다. 2
- 3. © 2016. SNU CSE Biointelligence Lab., http://bi.snu.ac.kr What is AI? ML? 3https://www.linkedin.com/pulse/deep-dive-venture-landscape-ai-ajit-nazre-rahul-garg-nazre
- 4. © 2016. SNU CSE Biointelligence Lab., http://bi.snu.ac.kr Various Field with ML 4https://www.linkedin.com/pulse/how-exceed-your-goals-2016-dr-travis-bradberry-1
- 5. © 2016. SNU CSE Biointelligence Lab., http://bi.snu.ac.kr Various Algorithm in ML 5
- 6. © 2016. SNU CSE Biointelligence Lab., http://bi.snu.ac.kr Function Approximation 6http://arxiv.org/pdf/1411.4555.pdf https://people.mpi-inf.mpg.de/~kkim/supres/supres.htm
- 7. © 2016. SNU CSE Biointelligence Lab., http://bi.snu.ac.kr What is Deep Learning? 7
- 8. © 2016. SNU CSE Biointelligence Lab., http://bi.snu.ac.kr Machine Learning • Supervised Learning : y = f(x) • Unsupervised Learning : x ~ p(x) , x = f(x) • Reinforcement Learning : ?? 8
- 9. © 2016. SNU CSE Biointelligence Lab., http://bi.snu.ac.kr Agent-Environment Interaction • Objective : Maximize the expected sum of future rewards • Algorithms 1) Planning : Dynamic Programming Based 2) Reinforcement Learning : Machine Learning Based 9
- 10. © 2016. SNU CSE Biointelligence Lab., http://bi.snu.ac.kr Example of Supervised Learning 10
- 11. © 2016. SNU CSE Biointelligence Lab., http://bi.snu.ac.kr Polynomial Curve Fitting 11 Microsoft Excel 2007의 추세선
- 12. © 2016. SNU CSE Biointelligence Lab., http://bi.snu.ac.kr Example of Unupervised Learning 12
- 13. © 2016. SNU CSE Biointelligence Lab., http://bi.snu.ac.kr Clustering 13 http://www.frankichamaki.com/data-driven-market-segmentation-more-effective-marketing-to- segments-using-ai/
- 14. © 2016. SNU CSE Biointelligence Lab., http://bi.snu.ac.kr Example of Reinforcement Learning 14
- 15. © 2016. SNU CSE Biointelligence Lab., http://bi.snu.ac.kr Videos • A crawling robot: a Q-learning example https://www.youtube.com/watch?v=2iNrJx6IDEo • Deep Reinforcement Learning for Robotic Manipulation https://youtu.be/ZhsEKTo7V04?t=1m27s 15
- 16. © 2016. SNU CSE Biointelligence Lab., http://bi.snu.ac.kr THANK YOU 16
Editor's Notes
- #4: 고전적인 AI 분류에서, 원래 ML은 작은 한 파트였다. 그리고 이 AI를 구현하는 방법 중의 하나가 원래 ML이고 그 안에 Deep이 있다. 아주 작은 일부분 그런데 지금은 흐름이 바뀌어서 AI에서 제시된 분야의 상당 부분이 ML을 통해 연구되고 있다. 따라서 지금의 트랜드는 거의 AI = ML 처럼 되어가고 있지만, 아직도 고전적인 AI 만 연구하는 사람이 많아서 이렇게 말하면 큰일날 수도 있다.
- #5: 머신러닝은 이렇게 방대한 분야들로부터 탄생한 학문이다. 따라서 처음에 공부하면 굉장히 두서가 없고, 난해하다. 그래서 초반에는 좋은 교재와 세미나를 통한 학습이 필수적이다.
- #6: 알고리즘마다 경계면을 찾는 방식이 다름
- #7: 이런식으로 어떤 데이터가 들어왔을 때, ouput을 내는 함수 f를 학습을 통해 찾는다. 명시적인 구현이아니라.