Dkos(mesos기반의 container orchestration)
6 likes3,568 views
다음메일, 카톡 게임탭, 카카오주문하기 등의 서비스가 올라가 있는 mesos 기반의 container orchestration 서비스인 DKOS에 대해 소개합니다. 수천개의 노드를 어떻게 구성해서 사용하고 있는지에 대한 아키텍처를 설명합니다.
Dkos(mesos기반의 container orchestration)
- 1. DKOS: Mesos기반의 Container Orchestration 정원천 (hardy.jung) 카카오 클라우드컴퓨팅셀 hardy.jung@kakaocorp.com
- 2. 왜 Mesos 를 선택했나요?
- 3. Mesos 란 Program against your datacenter like it’s a single pool of resources Apache Mesos abstracts CPU, memory, storage, and other compute resources away from machines (physical or virtual), enabling fault-tolerant and elastic distributed systems to easily be built and run effectively.
- 6. Mesos 아키텍처
- 7. Mesos 아키텍처
- 8. Marathon • High Availability • Stateful apps • Scaling and fault recovery • Constraints • Service Discovery & Load Balancing • Event Subscription • Metrics • REST API A container orchestration platform for Mesos and DC/OS
- 9. Marathon
- 10. Marathon
- 11. Marathon
- 12. Chronos • 분산배치 • Task 의존성 정의 • 컨테이너 사용가능 • 성공/실패 내역제공 A fault tolerant job scheduler for Mesos which handles dependencies and ISO8601 based schedules.
- 13. Chronos 아키텍처
- 14. Chronos
- 15. Chronos
- 16. DKOS(Datacenter of Kakao OS) 란 DKOS(Datacenter of Kakao OS)는 데이터센터 또는 클라우드 의 모든 시스템을 공유 관리하여 자원을 활용하고 응용프로그 램, 빅데이터 인프라 구축의 유연함과 확장성을 제공을 하는 마 치 하나의 컴퓨터 위에 올려진 OS
- 17. DKOS를 이용중인 서비스
- 18. DKOS를 이용중인 서비스
- 19. DKOS 아키텍처
- 20. DKOS 아키텍처
- 21. DKOS 아키텍처
- 22. DKOS 사용현황 • 사용중인 클러스터 : 400개 • 전체 노드 수 : 4000대 • 전체 컨테이너 개수 : 8800개 • 관리인원 : ?
- 23. 제공기능
- 24. 제공기능 • mesos 클러스터 생성 • Custom agent 추가
- 25. 제공기능
- 26. 제공기능 • SSL offloading • 클러스터 상태 알람
- 27. 제공기능
- 28. Mesos agent Service Discovery by Marathon-lb Container Marathon-lb haproxy Marathon Master Mesos agent Container Container Mesos agent Container Container Mesos Master Event subscription 운영 mesos 사용자 mesos
- 29. Marathon-lb 현재 이슈 Hypervisor Marathon-lb VM VM VM
- 30. 서비스용 아키텍처 물리 LB Marathon lb Marathon lb Marathon lb Mesos agent Mesos agent Mesos agent Mesos agent Mesos agent containercontainer DNS RR Software lb DKOS
- 31. DKOS Continuous Deploy Docker Registry github marathon Mesos Tag Push Builder
- 32. 모니터링 with KEMI • Mesos 기본 stats은 현 상태만 알 수 있다. • 에이전트 • 시스템 메트릭 • 로드밸런서 • 로드, haproxy response time • 그룹 단위 알람
- 33. DKOS 로깅 with KEMI • 용량 : TB • ElasticSearch를 통한 검색 • 1년 보관 • 실시간 Tailing • SQL 쿼리 기반 알람
- 34. We are hiring • https://careers.kakao.com/jobs • ccc@kakaocorp.com
- 35. Q&A
- 36. 감사합니다