Acceleration of Deep Neural Networks Using Stochastic Computing (확률컴퓨팅을 이용한 딥뉴럴넷 가속)
1 like615 views
발표자: 심현욱(UNIST 박사과정) 발표일: 2018.3. 최근 들어 다시 각광받는 인공지능은 deep neural network의 (딥뉴럴넷) 발전이 크게 뒷받침하였다고 할 수 있습니다. 여러 스타트업에서도 다양한 아이디어를 가지고 저전력 IoT 디바이스 등에 적용하고자 하기도 하지만, 이 인공신경망을 실행하는 데에 따르는 많은 연산량이 난제로 남아있습니다. Stochastic computing(확률컴퓨팅)은 기존 바이너리 컴퓨팅과 다른 패러다임으로, 저전력을 장점으로 딥뉴럴넷 가속에 대한 대안으로 연구되어 왔습니다. 본 발표에서는 확률컴퓨팅으로 딥뉴럴넷을 가속하는 연구와 그 한계, 그리고 미래를 이야기하고자 합니다.
![Seminar @Acceleration of Deep Neural Networks Using Stochastic Computing9
신경 modeling
인공지능과 Deep Neural Network
[A. Krizhevsky, I. Sutskever, and G. E. Hinton, “ImageNet classification with deep convolutional neural networks,” in NIPS’12, 2012, pp. 1097–1105.]
𝑆𝑖𝑔𝑛𝑎𝑙 𝑜𝑢𝑡 = 𝐴𝑐𝑡𝑖𝑣𝑎𝑡𝑖𝑜𝑛
𝑖=1
#𝑐𝑜𝑛𝑛𝑒𝑐𝑡𝑖𝑜𝑛
𝑆𝑖𝑔𝑛𝑎𝑙𝑖𝑛[𝑖] × 𝑊𝑒𝑖𝑔ℎ𝑡[𝑖]](https://image.slidesharecdn.com/0320naverseminar-180524013131/85/Acceleration-of-Deep-Neural-Networks-Using-Stochastic-Computing-9-320.jpg)
Acceleration of Deep Neural Networks Using Stochastic Computing (확률컴퓨팅을 이용한 딥뉴럴넷 가속)
- 1. Acceleration of Deep Neural Networks Using Stochastic Computing 박사과정 심현욱 Ph. D. candidate Hyeonuk Sim 재구성 및 뉴로모픽 컴퓨팅 연구실, 울산과학기술원 Reconfigurable & Neuromorphic Computing Lab, UNIST March 20, 2018 @
- 5. !
- 7. Seminar @Acceleration of Deep Neural Networks Using Stochastic Computing7 목차 인공지능과 Deep Neural Network (딥뉴럴넷) 에너지 효율적인 딥뉴럴넷 가속기 Stochastic Computing (확률컴퓨팅) SC-DNN 현재 SC-DNN 연구의 한계 SC-DNN의 미래
- 8. Seminar @Acceleration of Deep Neural Networks Using Stochastic Computing8 인공지능과 Deep Neural Network
- 9. Seminar @Acceleration of Deep Neural Networks Using Stochastic Computing9 신경 modeling 인공지능과 Deep Neural Network [A. Krizhevsky, I. Sutskever, and G. E. Hinton, “ImageNet classification with deep convolutional neural networks,” in NIPS’12, 2012, pp. 1097–1105.] 𝑆𝑖𝑔𝑛𝑎𝑙 𝑜𝑢𝑡 = 𝐴𝑐𝑡𝑖𝑣𝑎𝑡𝑖𝑜𝑛 𝑖=1 #𝑐𝑜𝑛𝑛𝑒𝑐𝑡𝑖𝑜𝑛 𝑆𝑖𝑔𝑛𝑎𝑙𝑖𝑛[𝑖] × 𝑊𝑒𝑖𝑔ℎ𝑡[𝑖]
- 10. Seminar @Acceleration of Deep Neural Networks Using Stochastic Computing10 에너지 효율적인 딥뉴럴넷 가속기 GPU? ~250W FPGA? ~21W ASIC accelerator ‒ TrueNorth, DianNao, Eyeriss… ‒ Binary computing based
- 11. Seminar @Acceleration of Deep Neural Networks Using Stochastic Computing11 Stochastic Computing (확률컴퓨팅) 확률을 가진 비트스트림으로 표현된 수 AND 게이트 하나로 곱셈이 가능 AND 𝑃(𝑋) 𝑃(𝑌) 𝑃(𝑋) × 𝑃(𝑌)
- 12. Seminar @Acceleration of Deep Neural Networks Using Stochastic Computing12 Stochastic Computing (확률컴퓨팅) 새로운 SC 곱셈기 개발 (DAC’17)
- 13. Seminar @Acceleration of Deep Neural Networks Using Stochastic Computing13 SC-DNN 오차 수용 가능 작은 weight 분포 Dynamic precision
- 14. Seminar @Acceleration of Deep Neural Networks Using Stochastic Computing14 현재 SC-DNN 연구의 한계 SC 특화된 메모리 시스템 부재 MAC Array Input Buffer External Memory Access Weight Buffer Output Buffer
- 15. Seminar @Acceleration of Deep Neural Networks Using Stochastic Computing15 SC-DNN의 미래 많은 저전력 IoT 디바이스들에 딥러닝 적용가능 서비스 품질에 맞춘 전력소비 또는 전력 상황에 따른 서비스 품질 (Adaptive trade-off)
- 16. Thanks Q & A 박사과정 심현욱 Ph. D. candidate Hyeonuk Sim E-mail: detective@unist.ac.kr 재구성 및 뉴로모픽 컴퓨팅 연구실, 울산과학기술원 Reconfigurable & Neuromorphic Computing Lab, UNIST Homepage: ecl.unist.ac.kr