AWS와 Open Source - 윤석찬 (OSS개발자 그룹)
29 likes9,357 views
아마존웹서비스와 함께 오픈 소스 소프트웨어 활용하기 (OSS 개발자 그룹)
AWS와 Open Source - 윤석찬 (OSS개발자 그룹)
- 1. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 아마존웹서비스(AWS)와 함께 오픈 소스 소프트웨어 활용하기 Open Source with AWS 윤석찬 아마존웹서비스코리아, 테크에반젤리스트 @channyun
- 2. ♥
- 3. 아마존 웹 서비스의 특징 1. Primitives 2. Fully-managed 3. Innovative 요구 사항에 따라 레고 블럭 조립하듯이 구현 서비스 구현을 위해 관리형 서비스로 제공 클라우드 컴퓨팅의 미래를 볼 수 있는 서비스
- 4. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. I. 오픈 소스 기반 AWS 재료 서비스 AWS’s Primitives supporting Open Source Software
- 5. 1. Amazon EC2 - 오픈 소스 운영체제 지원 • Redhat • SUSE Linux • Ubuntu • FreeBSD • NetBSD • OpenSolaris 자신만의 Amazon Machine Image(AMI)를 만들어 공유 가능!
- 6. 2. Amazon Linux • AWS가 만드는 Redhat 호환 리눅스 이미지 • 다양한 AWS 운영 도구 및 기능 탑재 • 가상 서버 경량 OS • 빠른 보안 업데이트 • https://aws.amazon.com/amazon-linux-ami/ • Amazon Linux Docker 이미지 • AWS외부에서도 사용 가능 • http://docs.aws.amazon.com/AmazonECR/latest/userg uide/amazon_linux_container_image.html
- 7. 3. AWS EB- 다양한 OSS 프레임웍 지원 • AWS ElasticBeanstalk: • AWS 자원을 활용하여 손쉽게 웹 서비스를 구성 및 배포할 수 있는 무료 관리형 서비스 • AWS EB 활용 방법 • 단계1. 앱 플랫폼 선택 • Ruby, Python, PHP, Java, NodeJS 기반 오픈소스 애플리케이션 프레임웍 지원 • DB, 로드밸런싱 및 오토스케일링 • 단계2. 애플리케이션 배포 및 운영
- 8. 4. AWS Marketplace 이용해 보기 나에게 딱 맞는 다양한 OSS 운영 체제 및 플랫폼 조합된 AMI 검색 가능! https://aws.amazon.com/marketplace
- 9. 5. 다양한 클라우드 플랫폼 서비스 Drupal PHPBBDiscourse AWS를 지원하는 서드파티 클라우드 플랫폼 서비스 이용 가능! https://bitnami.com/ https://c9.io
- 10. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. II. 오픈 소스 기반 관리형 AWS 서비스 Fully-managed Services supporting Open Source Software
- 11. 1. Amazon RDS • 관계형 DB(RDB) 관리형 서비스 • DB 서버를 따로 EC2에 직접 설치 불필요 • 업데이트, 보안 패치, 백업 등 지원 • 상용 라이센스 선택적 이용 가능 • 다양한 OSS 데이터베이스 엔진 지원 • MySQL (Aurora) • MariaDB • PostgreSQL
- 12. 2. Amazon ElastiCache • 인-메모리기반 캐시 서비스 • 자주 사용하는 작은 값이나 DB 병목을 해결하기 위해 자주 업데이트 하는 핫 아이템에 대해 메모리 캐시에 저장하는 용도로 활용 • 지원 OSS 플랫폼 • Memcached 및 Redis 지원 • 현재는 Redis 주로 활용 가능 • 기존 오픈 소스 API 그대로 사용 가능
- 13. 3. Amazon EMR (Elastic MapReduce) • 오픈 소스 기반 빅데이터 관리형 서비스 • Hadoop, Spark, Presto 및 다양한 빅데이터 애플리케이션 운용 가능 • 다양한 AWS 스토리지, DB 서비스 및 인증 및 암호화 기능 연동 가능 • EMR 5.1.0 • Hadoop 2.7.3, Hbase 1.2.3, Hive 2.1.0, Pig 0.16.0, Presto 0.152.3, Spark 2.0.1, Zeppelin 0.6.2, Zookeeper 3.4.8 • Ganglia, Flink, Hue, Mahout, Oozie, Pig, Sqoop, Tez 등 탑재
- 14. 4. 기타 오픈 소스 기반 서비스 • Amazon Elasticsearch Service: • ELK(Elastic search, Logstash, Kibana) 지원 • Amazon ElasticTranscoding Service: • FFMPEG을 이용한 동영상 인코딩 • AWS CodeCommit: • Git을 이용한 매니지드 소스 콘트롤 • AWS Directory service: • OpenLDAP을 이용한 디렉토리 관리 서비스 • Amazon CloudSearch: • Apache Lucene을 이용한 검색 서비스
- 15. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. III. 오픈 소스 개발 프로젝트 Open Source Developer Communities
- 16. Blox - Container 관리를 위한 오픈 소스 도구 blox.github.io Blox는 Amazon ECS에서 실행하는 콘테이너 기반 애플리케이션을 보다 효율적으로 제어하는 오케스트레이션 도구를 제공하고, 타 스케줄러를 통합, 클러스터 관리 및 확장 가능 cluster-state-service daemon-scheduler ecs-cli cluster-state-service는 Amazon ECS 클러스터의 인스턴스와 콘테이너에 대한 모든 변경 사항에 대한 이벤트를 로컬 데이터 저장소에 보관하며 API (예 : 검색, 필터, 목록 등)를 제공합니다. 변경 사항에 실시간으로 응답 할 수 있도록 클러스터의 상태를 쿼리 할 수 있습니다. daemon-scheduler는 클러스터의 모든 노드에서 호스트 당 정확히 하나의 작업을 실행할 수있게 해주는 스케줄러입니다. 스케줄러는 새 노드가 클러스터에 참여할 때 클러스터 상태를 모니터링하고 태스크를 시작하며 모니터링 에이전트, 로그 수집기 등을 실행합니다. 로컬 개발 환경에서 클러스터 및 태스크 생성, 업데이트 및 모니터링에 대한 명령어를 통한 고급 개발자 인터페이스 입니다.
- 17. Blox에 참여 하는 방법 • Apache 2.0 라이선스 준수 • Github 소스 코드에 바로 버그 레포팅(Issue) 및 코드 공헌 (Pull Request) 가능) • 출시 버전 및 로드맵 blox.github.io roadmap release 콘테이너 운영에 관심 있으시면 꼭 참여해 보세요!
- 18. • 유연한 프로그래밍 모델 지원 (imperative 및 symbolic 지원) • 7개 이상 언어에 대한 바인딩 지원 (예, Python, C++, Scala 등) • CPU/GPU 서버 및 저전력 모바일 기기 및 클 라우드 환경에서 고성능 및 확장성 (GPU 클러스터에 선형적인 성능 확장 가능) Apache MXNet - 오픈 소스 딥러능 프레임워크
- 19. • MXNet on Cloud - http://mxnet.io/get_started/cloud_setup.html • Amazon EC2 P2 및 Deep Learning AMI 활용 • CloudFormation Template 활용 방법 등 • Awesome MXNet - http://github.com/dmlc/mxnet/tree/master/example • 다양한 Deep Learning 예제 (이미지 분석, 자연어 분석, 사진 변환 등) • IPython Notebook 및 모바일 앱 예제 • MXNet Model Zoo - http://mxnet.io/model_zoo/index.html • 개발자가 바로 사용할 수 있는 모델과 python 스크립트, 사전-학습에 사용된 가중치값 • 모델을 튜닝하는 방법 등도 제공 Apache MXNet - 주요 활용 방법
- 20. Deep Learning Amazon Machine Image • 6개의 오픈 소스 기반 Deep Learning Framework (MXNet, Caffe, Tensorflow, Theano, Torch, CNTK 등) • 손쉬운 딥러닝 플랫폼 구축 가능 (Intel Math Kernel Library(MKL)를 지원하는 MXNet, NVIDIA 드라이버, CUDA, cuDNN, Anaconda Science Platform for Python2, Python3) http://bit.ly/deepami
- 21. AWS 관련 오픈소스 레포지터리 Java, Go, PHP, Ruby, JS 등 각종 언어별 SDK 소스코드 (Python 기반 Boto3(aws-cli) github.com/AWS AWS-shell, S2N, Chalice 등 실험적인 AWS 개발 도구 및 각종 서비스 샘플 예제 지원 github.com/AWSLabs
- 22. AWS 관련 외부 개발자 오픈 소스 레포지터리 AWS와 관련된 모든 Github 오픈 소스 목록 제공! 재미있는 것 찾기~ github.com/donnemartin/awesome-aws
- 23. Amazon 오픈 소스 레포지터리 • Amazon: 앱 개발, 인증, 지불 등의 샘플 코드 • http://github.com/amazn • http://github.com/amaznlabs • 특징적인 프로젝트 • DSSTE: GPU 기반 Deep Learning용 라이브러리 • ION: JSON 기반 텍스트-바이너리 표현 데이터 포맷 • Alexa: 아마존 에코 기반 음성 인식 샘플 코드 • http://github.com/alexa
- 24. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. IV. 한국 AWS 개발자 지원 프로그램
- 25. 1. AWS 개발자 커뮤니티 지원 Developers/Designers PoweredBy AWS Program for Developer Community EXCLUSIVE AWS & Cloud Non-ProfitOpen Source Software Big Data 서버 호스팅용 연간 500-1000 달러 크레딧 지원
- 26. 2. AWS 개발자 해커톤 지원 AWS Activate for hackathons 8 programs / 1102 developers 5 classes / 327 students AWS Educate for students 실습 및 프로토타입용 100 달러 크레딧 지원
- 27. 3. AWSKRUG (사용자 모임) 지원 • AWSKRUG 홈페이지 • http://awskr.org • Facebook Q&A그룹 • http://fb.com/groups/awskrug • Slack 채널 • http://slack.awskr.org • 다양한 글로벌 활동 지원 • AWS Re:Invent 참여 지원 • 일본/중국과 교환 세미나 월별 세미나, 다양한 소모임 및 스터디 그룹 지원
- 28. ♥
- 29. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Q&A 윤석찬 아마존웹서비스코리아, 테크에반젤리스트 channyun@amazon.com http://bit.ly/awskr-feedback @channyun