하시코프와 함께하는 알리바바 클라우드 DevSecOps 뽀개기 E02 DevSec
0 likes142 views
해당 PPT에 대한 웨비나를 시청해보세요: https://youtu.be/Xp-MuQ3d5co 지난 10월 13일 진행된 하시코프와 알리바바 클라우드의 조인트 웨비나 E02에서는 하시코프와 알리바바 클라우드의 개발 보안 대한 논의가 진행되었습니다. 하시코프에서는 Terraform K8s, Vault K/V를 알리바바 클라우드에서는 Pipeline, ACR EE, Security Center-Container 에 대해 다룹니다.
하시코프와 함께하는 알리바바 클라우드 DevSecOps 뽀개기 E02 DevSec
- 1. 1 2021. 10. 13. (수) DevSecOps Episode 임종진 이규석
- 2. 2 Alibaba Cloud 서비스 맵 Cloud Monitor Anti-DDoS Cloud Shield WAF Web Application Firewall HSM Hardware Secure Module Security Block Storage OSS Object Storage Service Archive Storage NAS Network Attached Storage Message Service Storage ECS Elastic Compute Service Auto Scaling SLB Server Load Balancer Container Service HPC High Performance Compute BatchCompute Compute Global IDC Regions Available Zones MaxCompute Big Data RAM Resource Access Management CLI API DevOps Media Transcoding OpenSearch Mobile Analytics Log Service EDAS Enterprise Distributed Application Service Distributed RDS ROS Resource Orchestration Service ONS Open Notification Service Middleware Infrastructure Technical Support Professional Services Training & Certification Cloud Architects Pricing Report Support Solutions O2O Storage Healthcare Security Government E-commerce IoT Telco Web Fintech Digital Marketing VPC Virtual Private Cloud ExpressConnect Elastic IP Network CDN HA-IP High Availability IP RDS Relational Database Service Oceanbase Memcache Table Store Redis MongoDB DMS Database Management Analytic DB DTS Data Transmission Service Database PetaData KMS Key Management Service Performance Testing Platform of A.I. (PAI)
- 3. 3 HashiCorp 솔루션 맵 Infrastructure Networking Security Application Packer Vagrant Terraform Consul Boundary Vault Nomad Waypoint 다양한 플랫폼에 대한 VM, 컨테이너 이미지 생성 자동화 로컬 개발환경을 위 한 VM 프로비저닝 자동화와 관리 온프레미스와 클라우드 전반의 인프라 프로비저닝과 자동화 서비스 디스커버리와 서비스 메시로 네트워크 자동화 인증/인가 기반으로 서버와 서비스에 대한 접근관리 민감 정보의 관리와 접근에 중앙화된 관리 서비스 애플리케이션 배포와 실행을 위한 오케스트레이터 단일 구성으로 컨테이너 환경에 애플리케이션 빌드 및 배포
- 4. 4 HashiCorp 솔루션 맵 Infrastructure Networking Security Application Packer Vagrant Terraform Consul Boundary Vault Nomad Waypoint 다양한 플랫폼에 대한 VM, 컨테이너 이미지 생성 자동화 로컬 개발환경을 위 한 VM 프로비저닝 자동화와 관리 온프레미스와 클라우드 전반의 인프라 프로비저닝과 자동화 서비스 디스커버리와 서비스 메시로 네트워크 자동화 인증/인가 기반으로 서버와 서비스에 대한 접근관리 민감 정보의 관리와 접근에 중앙화된 관리 서비스 애플리케이션 배포와 실행을 위한 오케스트레이터 단일 구성으로 컨테이너 환경에 애플리케이션 빌드 및 배포
- 5. 5 DevSecOps • 모든 IT 개발과 운영이 적용되는 플랫폼부터 배포, 운영, 관리에 이르기 까지 보안을 고려 • 보안 영역을 추후 적용 시 재설계에 따른 추가 부담 발생 • DevOps 과정 중에 지속적이며 통합된 구조를 만드는 것에 집중
- 6. 6 DevSec
- 7. 7 Elastic Computing HPC (High performance compute) Compute optimized Instances with GPU Compute optimized Instances with FGPA f1 • Genome research • Video encoding & decoding • Image transcoding • Financial analysis • Deep learning • Video processing • Visualization • Scientific computing gn5i ga1 Visualization optimized gn6v gn5 f3 ECS Bare Metal Instance (X-Dragon) • High-performance website frontend • Data processing • Backend applications • High-performance and scientific computing Super Computing Clusters (SCC) Heterogeneous Computing Bare metal Elastic High-performance Clusters (E-HPC) • Cloud native/K8S on bare metal • 3rd party virtualization (KVM/VMWare) • Oracle migration solution • High performance instance 20% 컨테이너 시나리오에서 전통적인 물리 서버 대비 퍼포먼스 20% 증가 Internet Artificial Intelligence Movies Industry Energy Rendering Genetics Alibaba에서의 증명 마켓에서의 증명 5만 개 이상의 GPU card를 고객이 무거운 워크로드에 사용하여 안정성을 증명 모든 Alibaba Group의 workload는 알리바바의 X-dragon server에서 동작하며 이 서버는 광군제에서 초당 천만 건 이상의 주문을 처리 타사 대비 경쟁력 Alibaba Cloud X-dragon 가상화는 A사의 Nitro 가상화에 비해 컨테이너 시나리오에서 3배 이상의 퍼포먼스를 제공 다양한 시나리오에서 고객의 요구사항 만족
- 8. 8 Alibaba Cloud Container Service Portfolio Computing ECS, EBM, GPU, NPU, FPGA, ECI Network VPC, ENI, SLB, DNS, RDMA Storage EBS, NAS, CPFS, OSS Alibaba Cloud Container Service for Kubernetes (ACK) Alibaba Cloud Serverless Kubernetes Service (ASK) Container Registry (ACR) Service Mesh (ASM) Security Public Cloud Edge Computing (ACK@Edge) Private Cloud (Apsara Stack Agility) Apache Dubbo Spring Cloud Apache Flink Tensorflow Blockchain IoT MySQL RocketMQ Microservices Stateful Middleware Big Data and AI Innovation Observability Logging, Monitoring, Alerting Elasticity Multi-cloud Hybrid-cloud Istio/Knative Sandboxed Containers
- 9. 9 o 1만개 이상의 컨테이너 인스턴스가 10분 안에 배포 o 주문 트랜잭션을 처리하기 위해 동시에 10만개의 컨테이너가 동작 o 하루 동안 20만개에 가까운 컨테이너 운영 o 최대 초당 32만 5천개의 주문을 정상적으로 처리 Container Adoption in Alibaba Group
- 10. 10 Platinum Member Member Platinum Member Member Gold Member Kubernetes Certified Community Contribution Li Xiang(李响), a senior technical expert from Alibaba Cloud, was among the newly appointed committee members. He is the first Alibaba expert, as well as the first Chinese national, to join the committee. One of the first services that have passed the Certified Kubernetes Conformance Program. Brandon Philips was one of the creators of etcd, along with Alex Polvi and Xiang Li. Now that etcd has been accepted into the CNCF. Pouch Container is an open-source project created by Alibaba Group to promote the container technology movement. SOFAMesh is a solution for large- scale Service Mesh based on Istio which is open sourced by Ant Financial. Cloud Foundry Foundation, home of the most widely-adopted open source cloud technologies in the world, was announced in 2018 that Cloud Foundry will be available on Alibaba Cloud. Open Container Initiative (OCI), an open source community for creating open standards around containers, was announced in 2018 that Alibaba Cloud has become a member of the Initiative. Alibaba Cloud in Cloud Native Ecosystem
- 12. 12 Multiple Templates to Create Clusters Managed GPU/NPU Bare-metal Edge Computing Confidential Computing Windows Serverless Dedicated Managed Dedicated GPU/NPU
- 13. 13 • Nodeless：사용하기 쉽고, 노드에 대한 관리가 필요없으며, Node notready 상태에 대한 걱정이 필요없음 • Elastic scaling: 30초 안에 500개 pod 확장 가능 • Cost saving：on-demand, support spot and reserved instance. • Kubernetes Compatibility： deployment/statefulset/job/service/ingress/CRD 사용 가능 • Volume mounts：disk, nas, oss volume 지원 • Knative serving on ASK：automatic scaling in knative • Elastic Workload • Integrated with ARMS, SLS Elastic Container Instance ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ASK Cluster ASK: Serverless Kubernetes
- 14. 14 Differentiations of Kubernetes Cluster ECS ECS ECS POD POD POD POD Container Scheduling and Orchestration Pay for infrastructure Node maintenance required Capacity planning required Container Scheduling and Orchestration ECI POD POD POD POD POD POD POD POD POD POD POD POD POD POD POD POD Pay for workload Node maintenance NOT required Autoscaling on demand Elastic Container Instance • Simplify autoscaling for traffic busting • Data processing, Presto, Spark, Speed up CI/CD pipeline, Jenkins, Gitlab-runner etc. • Spot instance and GPU are supported • ECS, EBS(ECS Bare Metal), simplify scale up to ECI • Cloud bursting, Large scale batch processing, Hybrid elasticity • Spot instance and GPU, NPU, FPGA are supported Managed/Dedicated K8s Serverless K8s POD POD POD POD POD POD POD POD
- 15. 15 ECI ECI ECI ECI Kubernetes Cluster （ACK） Pod Pod RunC Pod Pod Pod Pod ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI Serverless Kubernetes Cluster （ASK） Pod Pod Pod ECS • Shared OS • Not secure • Not isolated OS Pod Pod Pod Bare Metal Pod Pod Pod Pod Pod Pod Sandbox • Isolated OS • Secure container • Isolated OS • Secure container • No node maintenance kubelet containerd OS Sandbox kubelet ACK/ASK on ECI
- 16. 16 Container Registry Service (ACR) Enterprise Edition • P2P기반 large scale image distribution • 이미지 Pulling 가속화 Optimized Distribution E2E Security • 서로 다른 Region에서의 Policy based image replication. • 7배 효율적인 Image Replication 제공 Global Replication • VPC intranet 지원 • User-defined domain을 사용하며 network ACL로 관리 가능 • 스토리지를 위한 Server-side encryption 사용 • Vulnerability scan 및 분석 SLA 99.95% • container images 와 Helm charts v2/v3 모두 지원 Cloud-Native Artifact
- 17. 17 DevSecOps User Sign Images Signed Images（ ongoing） Push ACK Deploy Scan Vulnerability Report Validate Validate Run-time Protect ACR EE KMS Security Center
- 18. 18 E2E Observability Tracing Analysis Log Service Low volume High volume Metrics Aggregable Tracing Request scoped Logging Events ARMS ARMS-Prometheus Cloud Monitor
- 20. 20 Security Center ③ ② ① Anti virus 마이닝, 웜 등7가지 주요 바이러스 차단 Anti malware wannacry 등의 렌섬웨어 로부터 시스템 보호 Patch management OS 레벨 취약점 탐지 및 수정 ② ① Configuration Check 클라우드 서비스 구성 체크리스트 및 보안 수준 향상을 위한 조언 제공 Best Practice ID 인증, 네트워크 엑세스 제어, 데이터 보안, 로그 감사 및 기본 보안을 포함하여 알리바바 클라우드 보안 구성을 개선 ② ① 보안 운영의 자동화, 효율성 향상 많은 프로세스를 자동화함으로써 보안 운영의 효율성 향상 시각화 시각적 인터페이스를 통해 사용자가 공격의 원인을 추적하고 신속한 대응이 이루어지도록 함
- 21. 21 Fine-grain Access Control Administrator RAM Cloud Resource Access Control Cluster Resource Access Control ACK create cluster autoscaling add node distribute certificate view cluster delete cluster list cluster RBAC
- 22. 22 Security Center-Runtime Defense Monitoring & detection Attack Case Graboid: First-Ever Cryptojacking Worm Found in Images on Docker Hub • 프로세스 및 네트워크 모니터링 • 비정상적인 동작과 vulnerability detection 모니터링 • 격리 및 배상 관리
- 23. 23 DevSecOps Steps 1 2 3 4 5 Manual Preparation - Account Creation - AD integration - Service Activation Account Setup - RAM users - RAM roles - RAM policies Cloud Managed Service Deployment - VPC / Vswitch / Security Group - K8s Cluster - RDS Database - Log Service - KMS Secrets Deploy dependency services - Cert Manager - External DNS - External Secrets - Prometheus Operator - Log Exporter Deploy application components - Deployment - Service - Ingress
- 24. 24 DevSec
- 25. 25 Secret Management o 사용자(사람) o OS 같은 장비 o 애플리케이션 o 토큰 o Username/Password o Cloud Auth o Kerberos/LDAP o JWT/OIDC o TLS Certificates o 비밀 저장소(K/V) o SSH o Cloud Auth o Database o Data Encrypt/Decrypt o PKI o TOTP o KMS/KMIP
- 27. 27 Application Deployment Orchestration AWS Alibaba On-prem o 컨테이너 애플리케이션 o 다양한 환경 o 기존 애플리케이션 o 배치 잡
- 28. 28 Application Deployment Orchestration BORG : Google에서 개발한 통합 컨테이너 관리 시스템 OMEGA : 공유 상태 모델에 의한 우선순위를 가진 선 점과 경쟁을 통한 스케줄링 BORG : https://research.google/pubs/pub43438/
- 29. 29 Service Discovery o DNS o API o CLI o Dynamic Sync o Health Check
- 31. 31 Demo
- 32. 32 Demo 배포된 Container 확인, Registry 기능 확인 Alibaba Container Registry - Versioning - Vulnerability - Management Dev ACK (Alibaba Cloud Container Service for Kubernetes) Applications Applications RDS MySQL
- 33. 33 Demo Container에 적용할 수 있는 RAM, Domain 서비스 Resource Access Management - Users - Roles - Policies Domain Service https://dev01.hello-world.com Dev ACK (Alibaba Cloud Container Service for Kubernetes) Applications Applications RDS MySQL
- 34. 34 Demo Security Service 확인 Dev ACK (Alibaba Cloud Container Service for Kubernetes) Applications Applications RDS MySQL Security Center - Image Vulnerability - Configuration Manage
- 35. 35 Demo 모니터링 및 로깅 서비스 확인 Monitoring Service - Prometheus - Grafana Logging Service Docker Logs Dev ACK (Alibaba Cloud Container Service for Kubernetes) Applications Applications RDS MySQL
- 36. 36 DevSec Components Resource Access Management - Users - Roles - Policies Domain Service https://dev01.hello-world.com Monitoring Service - Prometheus - Grafana Logging Service Docker Logs Alibaba Container Registry - Versioning - Vulnerability - Management Dev ACK (Alibaba Cloud Container Service for Kubernetes) Applications Applications RDS MySQL Security Center - Image Vulnerability - Configuration Manage
- 37. 37 Demo VM 기반 배포 OS Patch Application Application Image ECS IaC Apply/Destroy Secret Auth Secret Data
- 38. 38 Demo K8S 기반 배포 Alibaba Kubernetes Service Alibaba Cloud Provision Kubernetes Service Provision
- 39. 39 Demo Container/Legacy 배포 Application Image ECS Apply/Destroy Secret Auth Deployment (Option)
- 40. 40 DevSecOps 웨비나에 관심과 참여에 감사합니다.