DevOpsDays Taipei 2025 - 🚒 DevOps 救火隊的逆襲：如何擺脫永無止境的電話鈴聲
0 likes341 views
「每當電話鈴聲響起，DevOps 團隊就像消防隊員一樣衝向災難現場，解決各種突發狀況。然而，這種模式讓 DevOps 團隊陷入無止境的救火循環，沒有時間進行自動化改進，更遑論長遠的技術發展。我們如何擺脫這種困境，讓 DevOps 團隊從救火隊轉型為具備軟體開發能力的團隊？」 本演講將分享我們如何逐步解決這個問題： - 透過良好的監控機制與建立有效的 On-Call 作法，減少突發事件對團隊的影響 - 運用定期的 Retrospective 會議找出工作瓶頸，釋放團隊時間 - 導入 Agile 與專案管理的重要精神，讓團隊能夠進行開發工作 - 以開發區塊鏈節點維護工具為例，闡述如何將日常維運流程自動化 - 最終成功讓 DevOps 團隊從維運模式轉型為軟體開發導向的團隊
DevOpsDays Taipei 2025 - 🚒 DevOps 救火隊的逆襲：如何擺脫永無止境的電話鈴聲
- 1. 🚒 DevOps 救火隊的逆襲 📞 如何擺脫永無止境的電話鈴聲 DevOpsDays Taipei 2025 06 • 05 • 2025
- 2. MaiCoin Group 打雜小弟大叔 主要涉略範圍：SRE, IT, Data, QA 時常擔任團隊首位推動 DevOps 的人 目前 SRE 團隊 6 人 ↑ 努力讓瑣事維持在 60% ↓ Hello! I’m smalltown
- 3. 過去一週你接到幾次 On-Call 電話？ 根據統計健康的團隊落在 0.5~2 次/週/人
- 4. Incident 1 On-Call 2 Fixing 3 Tech Debt 4 頻繁的 On-Call 讓我們成為「救火隊」 !
- 5. 團隊士氣低落、離職率高 眼袋深度 ↑ 健保卡點數 ↑ 救火隊伴隨著 高壓與低滿意度
- 6. Downtime 也造成營運成本的上升 ！ 實際損失 = 停機時間 x 每秒請求數 x 每用戶平均營收 Bug 修不好，連財務長都會來 Code Review！ !
- 8. Manually Automation 痛點二：手動 SOP ! 人工登入執行指令，容易出錯 複製貼上最好別含 sudo rm -rf /
- 11. 警報疲勞 1 欠技術債 2 溝通斷層 3 手動 SOP 2 形成逐漸侵蝕著團隊健康的慢性病 !
- 12. (告警 ↓) × (可用時間 ↑) = 開發力 ↑ 讓救火隊轉型為產品導向的軟體團隊
- 13. 救火隊轉型軟體團隊三步驟 減少告警數量 釋放團隊時間 自動化/平台化 ! ⏳ 定義 SLO、分級告警與抑 制規則，只留關鍵警報 用 Retro 找瓶頸，透過 Sprint 克服人性 針對高頻痛點開發工具， 打造可複製的內部平台
- 16. 設定規則篩掉告警雜訊 Rule 1 如果沒有用戶感覺到， 那就不該吵醒工程師 Rule 2 三次無效 → 調整閥值 → 非商業影響則靜音 Rule 3：如果一個告警沒有任何 logs、metrics、traces 關聯 那它可能只是系統的情緒反應，不用太在意
- 17. Retro 會議 = 4Ls / 5 Why ⏳ Why? Why? 為什麼今天網站掛掉了 Why? Why? Why? 所有 API Pod 同時 OOM，Kubernetes 進入 CrashLoop 最新版本程式的記憶體使用量暴增 10 倍 回傳檔案被塞進 4K貓咪影片當「驚 喜彩蛋」 開發者聽到主管說「客戶需要更多 Cache」，以為是「Cats」 當時他戴著降噪耳機，只開一條縫聽主 管講話
- 20. 工時切分 60/30/10 ⏳ 日常工作 自動化 學習 一年多前 現在 80 10 10 60 30 10
- 22. 為什麼選擇區塊鏈節點？ 因為它每天都在 Down，叫最大聲 Analysis + Retro + Decision Matrix Agree ＆ Commit Disagree ＆Commit Disagree＆ Not Commit Option 1 🙌 🙌🙌🙌 🙌 Blockchain Ops 🙌🙌🙌 🙌 … 🙌🙌 🙌🙌🙌🙌🙌 🙌
- 23. 撰寫 Product Requirement Document Auto-Restarter Auto-Rotation Health Checker Peer Maintainer Release Pipeline Snapshot Manager Desc … … … … … … … … … … … … … MVP … … … … … … Auto-Restarter?! SRE = Service Restart Engineer
- 24. 盡量不去重造輪子 Golang + Terraform + Kubernetes + Jenkins
- 25. 利用半年的時間讓服務上線 Health Checker Peer Maintainer Snapshot Manager Auto-Rotation Release Pipeline 最基本且跟其他功 能有相依性 定期要做的手動任 務 確保定期 Rotation 的區 塊鏈資料有著落 需要跟 Developer 一 起合作完成擺最後
- 26. 複製同樣的工作模式擴展到其他服務
- 27. 提升團隊的工作滿意度
- 28. 未來的 Roadmap 下一步：讓 AI 幫我輪值班（希望啦）
- 30. 明日行動清單 1 關掉一個雜訊告 警 召開一次 Retro 會議 2 下個 Sprint 預留 10% 時間 選一個 MVP開 始做 3 4
- 31. CREDITS: This presentation template was created by Slidesgo, including icons by Flaticon, and infographics & images by Freepik Thanks! Do you have any questions? 不問問題的話，今天晚上電話會響喔
- 32. 一起來當同事吧！ ! We’re Hiring! ● Senior Site Reliability Engineer ● Senior Data Engineer ● Senior IT Engineer ● Blockchain Engineer (Wallet Team) ● (Senior) Backend Engineer ● Micro Service Software Engineer ● Cyber Security Engineer