大規模微服務導入 - #1, 從零開始的系統架構設計概觀
Download as PPTX, PDF4 likes990 views
文档介绍了91app公司在大数据和微服务环境下的DevOps挑战及其解决方案。该公司因提供创新的品牌新零售解决方案而获得认可，并致力于优化配置管理和部署流程。文中强调了自动化在提升效率和降低运维负担方面的重要性。
大規模微服務導入 - #1, 從零開始的系統架構設計概觀
- 1. 探索 .NET 新世界 .NET Conf
- 6. 91APP 在 DevOps 面臨的挑戰
- 7. 台灣最大&成長最快 品牌新零售解決方案公司 - 2013年成立，前Yahoo!、興奇科技經營團隊創辦 - 總部在台北，馬來西亞/香港分公司 - 員工人數超過400人 - 連續四年榮獲「創新商務獎/最佳商業模式」 - 獲選「勤業眾信亞太區高科技高成長前500強」 (Ranked 152th,Deloitte Technology Fast 500 Asia Pacific) 虛實融合OMO最佳夥伴
- 10. AWS: 200+ EC2, 3 regions… GCP: … AZURE: … Local: Mac x N …
- 11. TAIWAN MALYSIA HONG KONG … Market: 4+
- 12. 光是對內 & 對外的 DNS Records 就有 60+ … 除了環境設定複雜之外，測試人員要測試也很辛苦… End Points (domain): 60+
- 14. PRODUCTION STAGING QA DEV Deployment: Market x Environment x Instances ( x Shop … )
- 18. https://www.12factor.net https://kknews.cc/zh-tw/tech/22k6ke.html
- 19. artifact manager service discovery config management
- 20. artifact management service discovery service discovery
- 21. https://paulhammant.com/2014/08/27/provisioning-deployment-and-app-config-cycles/
- 23. (Source) Code Binary / Package (Artifacts) (Source) Config (Compiled) Config (Config Management) (Source) Scripts Environment (Infra) Everything as Code Process (Git repo + CI / CD Build Process) Integration all of them
- 24. (執行團隊) (版本控制) (自動化建置) (建置結果管理) 在地維運團隊 服務開發團隊 基礎建設團隊
- 25. 結束了? 挑戰現在才開始…
- 26. 挑戰 #1
- 30. End Points (domain): 60+
- 31. PUSH SERVICE #1 SERVICE #2 SERVICE #3 CI / CD 一次到位, 需要協調 infra 上線流程: Build / Provision / Deploy / Online 部署架構複雜，效率不佳。 自動化程序難以開發維護 Load Balancer Ctrl
- 32. PUSH SERVICE #1 SERVICE #2 SERVICE #3 CI / CD 分階段進行, 隔離 Build / Deploy 階段: Build | Provision (with Pull Artifacts) | Online (Auto Register) 部署架構簡單，效率好 (並行)。 Load Balancer Service Registry PULL
- 33. 挑戰 #2
- 34. Static: Key-Value Configuration Dynamic: Service Discovery How To: 1. Optimize for Maintains Effort 2. Optimize for Development Effort 3. Optimize for Runtime Performance
- 35. Config Config SERVICE SERVICE SERVICE CI 1. 服務建立後 自動由 AM 部署服務。 2. 服務啟動後 自動由 CM 取得所有設定 Repo
- 36. Global Region Market Shop Global Settings Schema Comments Regional Default (Global) ap-northeast-1 ap-southeast-1 tw xxx (market02) xxx (market03) 9527 9528 組態 (configuration) 的原始檔目錄結構，以方便管理為設計目標，團隊分工優化 為第一優先。目錄階層直接對應 Global / Region / Market / Shop 四層繼承階層。 One Git Repo
- 37. Global Region Market Shop Global Settings Schema Comments Regional Default (Global) ap-northeast-1 ap-southeast-1 tw hk my 9527 9528 組態 (configuration) 編譯後的結構，以方部署與執行效率最佳化為設計目標。目錄階層 直接攤平，以 Region 為主體, 每個 Market / Shop 都有所有的組態設定，Client 一次 GET 就能完成讀取設定值的動作。 One Deployment One Deployment One Deployment
- 39. 需要專屬 Load Balancer, 也需要人工維護內部 DNS records 所有程序都整併在 Service 啟動 時期自動完成。維運負擔降到最低
- 42. 挑戰 #3
- 44. ENV: CONFIG_SOURCE = … MARKET = … … Tags: - CONFIG_SOURCE - MARKET - ENVIRONMENT: PROD | STAGING - USAGE_HINTS - PUBLIC_KEY 由 infra team 負責指派 由 provision script 轉移至 OS 的環境變數 APPLICATION (CODE) Core SDK
- 45. SERVICE BFF Service Registry 按照規範開發的服務，可以大幅降低維運的成本，提升維運的效率。 大部分的維運作業，只需要透過開關機就該(能)完成。 Design For Operation, 是開發團隊降低 (自己) 維運負擔的最佳手段。 CI (AM / CM) Core SDK Core SDK
- 46. 挑戰 #4
- 47. ENV (from EC2 Tags) APPLICATION (CODE) ENV (from K8S config map) APPLICATION (CODE) Core SDK (.net standard) Virtual Machine (Windows / Linux) Container (Windows / Linux) Core SDK (.net standard)
- 48. APPLICATION (WEB) HTTP Request: - X-Request-ID - JWT { shop: 123, user: 456, … } APPLICATION (WORKER) Message: - X-Request-ID - JWT { shop: 123, user: 456, … } Core SDK (.NET Standard) Core SDK (.NET Standard) ENV ENV SN RID SID SHOP USER … 1 … … 123 456 … 2 … … 123 456 … 一致的 LOGS 前置欄位定義:
- 54. 特別感謝
Editor's Notes
- #8: 91APP創辦人、董事長何英圻先生 與共同創辦人、總經理楊明芳先生 笑稱自己是「骨灰級」電商人
- #9: 協助客戶(零售業) 做好: 線上 (官網 + APP) 的銷售，電商 線下 (APP + 門市小幫手), 讓消費者在門市有最好的體驗。APP 就是會員卡；利用數位工具，讓"店員"成為推動OMO循環的助力 OSM 做好全通路 (上+下) 的商店管理 CRM 做好會員的管理，掌握你的客戶數據 運用數據的力量，用線上的技術掌握現下的客戶，促進客戶做進一步的線上 + 線下消費 OMO 循環: 線下推播發送折價券，線上廣告投放，消費者線上購物，門市取貨，完整的循環創造優良的消費體驗。 THINK: 修改一個功能到底需要 deploy 多少東西? APP x 2, N x Web Site, N x API, 後台, ERP …
- #10: 有這麼多客戶 (不同的使用情境，不同的功能客製化，會踩到不同的漏洞…) 每次的部屬都是個挑戰…
- #11: 全國有 X 千萬個會員帳號 …
- #13: 複雜的例行維運… 複雜的組態…
- #17: 需求提出到交付的整個流水線，我們在(工程面)開發與部署階段面臨很大的挑戰(效率)。這是我們目前階段的主要瓶頸。 關鍵在於要DevOps的系統複雜度很高。
- #19: Build Once, Binary To AM, Deploy from AM ( x N ) EX: Docker-Compose.YML Store config in “ENVIRONMENT” -- CI / CD / CD -- Dynamic IP / PORT with Service Discovery, Use RP / APIGW to publish -- Self Management, Just Start / Stop VM or Containers Infra As Code -- --
- #22: 第一步，要先做到 single code, multiple deploy, 才能降低開發與測試時間。Code (source) 必須經過測試與建置，到 AM (binary) 為止 第二步，讓同一個 binary 部署到每個環境，運作起來有所不同的主因是 configuration, 因此 config (source) 也必須經過測試與建置，到 CM (service) 為止 第三步，每個環境實際的承載平台是 infra，為了自動化必須落實 infra as code, 同樣需要 script (source) 經過測試與建置，最終部署島 infra (environment) 為止 但是，文章內缺了最後一個環節: integration (app code)，才能把這一切串起來
- #25: CI / CD 流程圖 (新): 隔離三大元素的互相交互複雜度； 開發時就應該做好準備，CODE / CONFIG 分開管理。 ENVIRONMENT 才將正確的 CODE / CONFIG 組合再一起，便能順利運行 1. CODE / CONFIG / ENV(INFRA) as CODE 2. 關鍵: 做好整合 3. 實際案例
- #28: 透過 artifacts management 隔離 (1) 跟 (2) 的關聯。 每個服務個別獨立建置 => AM 部署時按照組態與相依性，決定該到 AM 取出甚麼樣的組合
- #31: 複雜的例行維運… 複雜的組態…
- #32: 過去太強調 “自動化”，因此部署 script 一次到位。 CI server 負責: BUILD | DEPLOY | SWITCH ONLINE 現在優化流程，分工處理。 CI server 只負責: BUILD (將結果推送到 Artifacts Management) Instance Provision 時用 PULL 方式 DEPLOY Instance Start 時透過 Service Discovery 自動註冊與健康偵測的機制上線
- #33: 過去太強調 “自動化”，因此部署 script 一次到位。 CI server 負責: BUILD | DEPLOY | SWITCH ONLINE 現在優化流程，分工處理。 CI server 只負責: BUILD (將結果推送到 Artifacts Management) Instance Provision 時用 PULL 方式 DEPLOY Instance Start 時透過 Service Discovery 自動註冊與健康偵測的機制上線
- #37: 修改設定十，目錄結構以團隊分工優化為第一優先。因此目錄階層為 /{module}/{region} 為主
- #38: 編譯後的目錄結構，已執行效能為第一優先。因此按照 region 預先將 config 的繼承關係展開，搭配 index 維護 config 清單，讓 client 能在一次 round trip 就完成 config 的解析。 BUILD TOOL 要提供: 展開繼承關係 格式轉換 Schema 檢查 移除 comments 按照 region 打包
- #40: Client Side Disco