AWS DeepRacer와 Amazon SageMaker RL로 강화학습 시작하기 - 강지양 솔루션즈 아키텍트, AWS
0 likes1,155 views
발표영상 다시보기: https://youtu.be/3Q6ZlqSrBks 강화 학습 (RL)은 기계 학습 분야에서 흥미로운 연구 영역이면서 새로운 상업적 응용 프로그램의 원동력이기도 합니다. 2018년 AWS는 데이터 과학자와 개발자가 훨씬 쉽게 RL을 탐색하고 적용할 수 있는 몇 가지 새로운 서비스를 출시했습니다. 기본적인 파이썬 지식만 있다면, 이 세션에 참여해서 AWS DeepRacer 자동차가 레이스 트랙을 따라 자율 주행할 수 있도록 보상 함수를 작성하는 방법을 배울 수 있습니다. 또한, 독자적인 사용 사례에 RL을 적용하려는 분들을 위해 Amazon SageMaker RL의 기능에 대해서도 함께 알아 봅니다.
![© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
보상 함수 예제 코드
def reward_function(params):
'’’
Example of rewarding the agent to follow center line
'’’
# Calculate 3 marks that are farther and father away from the center line
marker_1 = 0.1 * params['track_width’]
marker_2 = 0.25 * params['track_width’]
marker_3 = 0.5 * params['track_width’]
# Give higher reward if the car is closer to center line and vice versa
if params['distance_from_center'] <= marker_1:
reward = 1.0
elif params['distance_from_center'] <= marker_2:
reward = 0.5
elif params['distance_from_center'] <= marker_3:
reward = 0.1
else:
reward = 1e-3 # likely crashed/ close to off track
return float(reward)](https://image.slidesharecdn.com/jiyang-200221084805/85/AWS-DeepRacer-Amazon-SageMaker-RL-AWS-8-320.jpg)
AWS DeepRacer와 Amazon SageMaker RL로 강화학습 시작하기 - 강지양 솔루션즈 아키텍트, AWS
- 1. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS DeepRacer와 Amazon SageMaker RL로 강화학습 시작하기 강지양 AWS 솔루션즈 아키텍트
- 2. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
- 3. 자율주행 로봇 자동차 개발자 여러분이 강화학습을 배우며 핸즈온을 즐길 수 있는 AWS DeepRacer를 소개합니다. 레이싱 리그훈련과 실험을 위한 가상 시뮬레이터
- 4. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 인공지능과 강화학습 강화학습 지도학습 비지도학습
- 5. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 강화학습의 적용 사례 자율주행 자동차 금융 트레이딩 데이터센터 냉각 시스템운송 물류
- 6. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 강화학습의 기본 개념
- 7. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 강화학습의 훈련 과정 가치 함수 정책 함수
- 8. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 보상 함수 예제 코드 def reward_function(params): '’’ Example of rewarding the agent to follow center line '’’ # Calculate 3 marks that are farther and father away from the center line marker_1 = 0.1 * params['track_width’] marker_2 = 0.25 * params['track_width’] marker_3 = 0.5 * params['track_width’] # Give higher reward if the car is closer to center line and vice versa if params['distance_from_center'] <= marker_1: reward = 1.0 elif params['distance_from_center'] <= marker_2: reward = 0.5 elif params['distance_from_center'] <= marker_3: reward = 0.1 else: reward = 1e-3 # likely crashed/ close to off track return float(reward)
- 9. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. RL 알고리즘은 크게 두 가지로 분류할 수 있습니다
- 10. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
- 11. AWS Cloud AWS DeepRacer NAT gateway VPC AWS DeepRacer Models Simulation video Metrics AWS DeepRacer 시뮬레이터 구조
- 12. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS DeepRacer 신경망 구조 AWS DeepRacer가 사용하는 뉴럴 네트워크 아키텍처 출력
- 13. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS DeepRacer 콘솔
- 14. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
- 15. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS DeepRacer 워크숍 보상 함수를 직접 만들고 시뮬레이터에서 평가해 볼 수 있는 DeepRacer 워크숍 실습자료가 github에 공개되어 있습니다. https://github.com/aws-samples/aws-deepracer-workshops
- 16. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 로그 분석 도구 https://github.com/aws-samples/aws-deepracer-workshops /tree/master/log-analysis/
- 17. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS DeepRacer 자동차 사양 CAR 1/18 크기 4WD 몬스터 트럭 섀시 CPU Intel Atom™ 프로세서 메모리 4GB RAM 스토리지 32GB (확장 가능) WI-FI 802.11ac 카메라 4 MP 카메라 (MJPEG) DRIVE 배터리 7.4V/1100mAh 리튬 폴리머 COMPUTE 배터리 13600mAh USB-C PD 센서 가속도계 및 자이로스코프 내장 포트 4x USB-A, 1x USB-C, 1x Micro-USB, 1x HDMI 소프트웨어 Ubuntu OS 16.04.3 LTS, Intel® OpenVINO™ 툴킷, ROS Kinetic
- 18. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
- 19. ROS Msg Node Stored File ROS Nodes Web Server Publisher Model Optimizer Video M-JPEG Web Server Video Inference Results Autonomous Drive Control Node Optimized Model Media engine Camera Model Inference engine Manual Drive Navigation Node Servo & Motor AWS DeepRacer 소프트웨어 구조
- 20. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 시뮬레이션과 현실 도메인 연결 시뮬레이션과 현실 세계의 불일치 시뮬레이션 이미지로 모델 학습 경주 자동차는 현실 세계 이미지 사용 접근 전략 환경 제어 도메인 무작위화 기법 모듈화 및 추상화
- 21. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
- 22. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 강화학습에서 겪게 되는 문제 시작하기 어려움 개발하기 어려운 RL 에이전트 알고리즘 훈련 환경 통합의 어려움 훈련에 많은 비용과 시간이 소요됨 시행 착오가 잦은 하이퍼 파라미터 튜닝 필요
- 23. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker RL로 쉽게 강화학습을 시작하세요 Difficult to get started RL agent algorithms are complex to implement Hard to integrate environments for training 훈련에 많은 비용과 시간이 소요됨 시행 착오가 잦은 하이퍼 파라미터 튜닝 필요 시작하기 어려움 개발하기 어려운 RL 에이전트 알고리즘 훈련 환경 통합의 어려움 로컬 / 분산 훈련 로컬 / 원격 환경 디버깅을 위한 로컬 모드 및 자동 모델 튜닝 사전 구축된 RL 환경 및 많은 예제 RL 에이전트 알고리즘 지원 다양한 시뮬레이션 환경과 손쉽게 통합
- 24. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker RL End-to-end examples for classic RL and real-world RL applications Robotics Industrial Control HVAC Autonomous Vehicles Operations Finance Games NLP Open AI Gym SageMaker supported Customer BYO
- 25. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 프로덕션 환경의 훈련 작업 스케일링 단일/분산 동종/ 이기종 클러스터 로컬/원격 시뮬레이션 환경 로깅/측정/ 시각화 고성능 CPU/ GPU 하드웨어
- 26. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 병렬 시뮬레이션 실행
- 27. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
- 28. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
- 29. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS 전문가로부터 기술과 지식을 습득하고, AWS 클라우드와 함께 미래를 설계하세요 클라우드 역량을 개발할 준비가 되셨다면 https://www.aws.training/ 을 방문하세요! 온라인 교육 AWS 전문가가 진행하는 무료 온라인 교육 과정 강의식 교육 AWS 공인 강사가 진행하는 오프라인 교육 과정 AWS 자격증 클라우드 전문성 입증을 위한 업계에서 인정 받는 AWS 공인 자격증
- 30. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. aws-korea-marketing@amazon.com twitter.com/AWSKorea facebook.com/amazonwebservices.ko youtube.com/user/AWSKorea slideshare.net/awskorea twitch.tv/aws AWS Innovate 에 참석해주셔서 대단히 감사합니다. 저희가 준비한 내용, 어떻게 보셨나요? 더 나은 세미나를 위하여 설문을 꼭 작성해 주시기 바랍니다.