[2018] 오픈스택 5년 운영의 경험
3 likes3,382 views
OpenStack 운영을 통해 얻은 교훈을 공유합니다. 목차 1. TOAST 클라우드 지금의 모습 2. OpenStack 선택의 이유 3. 구성의 어려움과 극복 사례 4. 활용 사례 5. 풀어야 할 문제들 대상 - TOAST 클라우드를 사용하고 싶은 분 - WMI를 처음 들어보시는 분
![[2018] 오픈스택 5년 운영의 경험](https://image.slidesharecdn.com/cloudinfra05-190131073350/85/2018-5-2-320.jpg)
[2018] 오픈스택 5년 운영의 경험
- 1. © 2018 NHN FORWARD. All rights reserved. 우리의 완벽한 OpenStack - OpenStack 5년 운영 경험 정은철 클라우드시스템운영팀
- 3. 자체 구축한 데이터센터의 OpenStack 위에 우리의 기술을 쌓아 TOAST 클라우드는 지금도 진화하고 있습니다.
- 4. 4 / 46 OpenStack == SDDC Keystone (Identity) Nova (Compute) Cinder (Block storage) Glance (Image) Neutron (Network) SDDC = SDC + SDS + SDN Software Defined Data Center Compute Service Storage Service Network Service
- 5. CONTENTS 1. TOAST 클라우드의 성장 2. 성장통과 극복 3. RDS 4. 주요 과제
- 7. 7 / 46 걸어온 길 OpenStack 연구시작 2013년 2014년 2015-2016년 2017-2018년 2019년 TOAT Cloud 내부 오픈 안정화 대외 서비스 확장 글로벌 진출
- 8. 8 / 46 5년의 시간 300+ Computer nodes 3000+ Active IaaS Projects 4000+ Floating IP 5000+ Active Server Instances Infra Product Volume Instance / Auto Scale RDS for MySQL Block Storage / Object Storage VPC / Load Balancer CDN …
- 9. 성장통과 극복
- 10. 10 / 46 운영을 해보니 마주친 다양한 문제들 SaltStack 사용 OpenStack 패키지 관리 많은 노드의 형상 관리 DVR 적용Network node 부하 방어 체계 구성, neutron 패치BUM Traffic, Switching Loop QoS 적용Block Storage IO 부하
- 11. 11 / 46 PoC • 소수의 장비 • 수동 구성 사례1. Infrastructure as Code Production • 다수의 장비 • 구성 자동화
- 12. 12 / 46 사례1. Infrastructure as Code 형상관리 문제 • Kernel, Package 버전 불일치 • Code patch 누락 구성 변경의 추적 불가 • 디버깅의 유산 불신 두려움수작업
- 13. 13 / 46 사례1. Infrastructure as Code Master Minion 형상 관리 • State 관리 • OS 형상 관리 • OpenStack 패키지 관리 구성 변경 감시 • Event monitoring • Reactor Beacons Reactor file changes system load service status state Event bus Fire Monitor Minion Minion Minion Apply SE Alert
- 14. 14 / 46 사례2. DVR(Distributed Virtual Routing) VPC(Virtual Private Cloud) • 사용자 정의 가상 네트워크 환경 • 클라우드 환경에서 격리된 네트워크 환경을 보장 Router VM-1 VM-2 Switch VM-Q VM-W 192.168.0.41/24 192.168.0.51/24 192.168.1.84/24 192.168.1.94/24 192.168.0.1/24 192.168.1.1/24 동일 서브넷 간: MAC, Switching 다른 서브넷 간: IP, Routing
- 15. 15 / 46 사례2. DVR(Distributed Virtual Routing) CVR (Centralized Virtual Routing) • HA 구성 불가 (Ice House) • External 통신은 Network node 가 전담: 부하집중, SPoF Compute node Network node VM Internal network VM External network RouterVM Compute node VM crash
- 16. 16 / 46 사례2. DVR(Distributed Virtual Routing) 전략 • IDC 이전: 목동 -> TCC1 • OpenStack 재구성: Ice House -> Kilo • DVR 선택
- 17. 17 / 46 사례2. DVR(Distributed Virtual Routing) DVR • Exnternal 통신은 Compue node 의 Router 가 처리(FIP 가 있는 경우) Compute node Network node VM Internal network VM External network Router VM Compute node VM Router Router
- 18. 18 / 46 사례2. DVR(Distributed Virtual Routing) 적용 후 • 장애 발생 시 영향 범위가 축소됨 • Network node 의 부하 감소하여 Crash 발생 안함 • 그러나 HA 문제는 해결 할 수 없음
- 19. 19 / 46 사례3. BUM, Loop Switch VM OVSovs-agent VM VM OVSovs-agent VM VM OVSovs-agent VM Neutron server Management network Tenant/Provider network Compute node
- 20. 20 / 46 사례3. BUM, Loop VM br-int br-ext br-vlan VM bond1bond2 SwitchSwitch Compute node Router Provider network Tenant network OVS
- 21. 21 / 46 사례3. BUM, Loop 문제점 • BUM: Broadcast, Unknown-Unicast, Multicast • Node 재부팅할 때 다량이 BUM Traffic 발생하여 상단 Switch 부하 유발 • 그로 인해 Overlay Network 품질 저하 및 장애 발생
- 22. 22 / 46 사례3. BUM, Loop 방지 방안1 • OVS에 Flooding 방지 설정 • fail-mode: secure Controller와 연결이 안되는 경우에 Flow설정하지 않도록 함 VM br-int br-ext br-vlan VM bond1bond2 Compute node Provider network Tenant network OVS
- 23. 23 / 46 사례3. BUM, Loop 방지 방안2 • ovs-agent에서 flow 적용 순서 변경 • Drop rule을 가장 먼저 적용 VM OVSovs-agent VM Management network Tenant/Provider network Compute node
- 24. 24 / 46 사례3. BUM, Loop 방지 방안3 • 상단 Switch 의 Storm control 적용 • Broadcast, Multicast 가 1K/s 이하로 억제 Switch VM OVSovs-agent VM Management network Tenant/Provider network Compute node
- 25. 25 / 46 사례4. ARP 학습 VM br-int br-ext br-vlan VM bond1bond2 SwitchSwitch Compute node Router Provider network Tenant network OVS Router Router FIP GW
- 26. 26 / 46 사례4. ARP 학습 VM br-int br-ext br-vlan bond1bond2 Compute node OVS Router Routing NAT Fixed => Floating IP Fixed <= Floating IP FIP GW MAC: FA:16:3E:0C:DD:21
- 27. 27 / 46 사례4. ARP 학습 VM 1 br-int br-ext br-vlan bond1bond2 Compute node1 Provider network OVS Router br-int br-ext br-vlan bond1bond2 Compute node2 OVS FIP GW MAC1: FA:16:3E:0C:DD:21 MAC2: FA:16:3E:5F:21:A2 FIP VM 2Router FIP GW Switch Router ARP Table FIP - MAC1
- 28. 28 / 46 사례4. ARP 학습 문제점 • Instance에 할당된 FIP 를 회수하여 다른 Instance에 할당 • Router(Gateway) 의 ARP Table이 갱신되지 않음 • 외부에서 FIP로 통신 불가
- 29. 29 / 46 사례4. ARP 학습 VM 1 br-int br-ext br-vlan bond1bond2 Compute node1 Provider network OVS Router br-int br-ext br-vlan bond1bond2 Compute node2 OVS FIP GW MAC1: FA:16:3E:0C:DD:21 MAC2: FA:16:3E:5F:21:A2 VM 2Router FIP GW Switch Router ARP Table FIP – MAC1 FIP
- 30. 30 / 46 사례4. ARP 학습 개선 • L3-agent가 FIP 설정 담당 • FIP구성 마지막 단계에서 Router 에게 ARP 정보를 전파함 • L3-agent는 Reply형태로 GARP 발생하도록 되어 있음 • Router가 Request 형태의 GARP를 처리함을 확인 • L3-agent 소스코드를 수정함
- 31. 31 / 46 사례5. Block Storage 부하
- 32. 32 / 46 사례5. Block Storage 부하 Compute node VM VM VM VM File File File File Disk Disk Disk Disk NAS Switch Compute node NAS Compute node Compute node
- 33. 33 / 46 사례5. Block Storage 부하 문제점 • 규모가 커지고 사용량이 증가하면서 IO 부하 발생 • 일부 Server Instance 가 높은 부하 발생 • 그로 인해 Storage network, NAS 부하 유발 • 연관된 Server Intance 의 Block storage IO 지연 발생
- 34. 34 / 46 사례5. Block Storage 부하 개선 • IO 측정 및 분석 • NAS 모니터링 • Server Instance 단위의 Block device IO 모니터링 • QoS 를 확보하기 위한 IO 제한 적용
- 35. RDS
- 36. 36 / 46 관리의 부담 감소 가용성확장성 Relational Database Service • MySQL 제공 • 개발 vs OpenStack Trove RDS
- 37. 37 / 46 RDS 1차 아키텍처 디자인 VM Public pool IaaS Project VM 10.0.0.0/24 RDS WMI pool RDS Project 192.168.0.0/24 Peering DMZ RDS Manager Firewall NE System
- 38. 38 / 46 2차 아키텍처 디자인 RDS VM Public pool IaaS Project VM 10.0.0.0/24 NE System RDS Manager RDS RDS Project VM WMI pool IaaS Project VM 10.0.0.0/24 RDS RDS Project
- 39. TOAST 클라우드의 방향
- 40. 40 / 46 가용성 확장성고성능 개발 중인 SDN 스위치 및 컨트롤러 적용 High performance networking
- 41. 41 / 46 재해복구 (DR) 지역 접근성 Global Region 확장 • 일본, 미국 Global regions
- 42. 42 / 46 WMI 환경에서 클라우드의 장점을 적극 활용할 수 있는 환경 제공 Dynamic Infrastructure API Self-ServiceOn-Demand
- 43. © 2018 NHN FORWARD. All rights reserved. 요약
- 44. 44 / 46 Life with TOAST 클라우드 • 5년의 시간 동안 OpenStack과 기반 기술 내재화 • IaaS 기반의 RDS, Redis 상품 개발 진행 중 • Overlay network 성능 고도화 진행 중 • 일본, 미국에 Region 구축 진행 중 • Dynamic Infrastructure 가능한 환경 제공 준비 • 지금! 바로! http://www.toast.com
- 45. © 2018 NHN FORWARD. All rights reserved. Q&A
- 46. © 2018 NHN FORWARD. All rights reserved. THANK YOU