Data pipeline essential
5 likes1,449 views
该文档讨论了数据管道的重要性及其设计原则，强调有效的数据处理和管理流程。内容涵盖了数据管道的生命周期、开发、评估及部署过程，并提供了不同框架的优缺点分析。最终，文档指出了数据管道需集中管理与分散运行的重要性。
Data pipeline essential
- 1. DATA PIPELINE ESSENTIAL Bryan@LINE TV 資料⼯程年會 2020.09
- 3. 你正在為這些事情困擾嗎？ ➤ 資料量量⼀一⼤大就不知道該怎麼辦？ ➤ 花非常多時間建立、管理理資料管線？ ➤ 好多⼯工具不知道要⽤用哪⼀一套？
- 4. AGENDA ➤ Why you need data pipelines ➤ How to design a data pipeline ➤ What a good framework should look like
- 5. WHO AM I ๏ 現職 ๏ LINE TV 資料架構師，負責打點資 料的⼤⼤⼩⼩⽣活瑣事。 ๏ 資料⼯程協會常務理事。 ๏ 經歷 ๏ 稱霸亞洲的⼤數據集團 ๏ 股價翻了 20 倍的矽⾕新創 ๏ 總經理很帥的台灣電信業 ๏ 跨國⾏銷顧問業
- 6. WHY WE NEED DATA PIPELINE
- 11. DATA PIPELINE
- 15. E T LExtract Transform Load
- 19. 5W2H1E ➤ What 想要得到什什麼東⻄西？ ➤ Why 為什什麼需要這份資料？ ➤ Where 資料從哪來來？要往哪裡去？ ➤ When 什什麼時候要拿到？多久拿⼀一次？可以忍受的修復時間？ ➤ Who 使⽤用者是誰？誰要負責處理理？有沒有其他⼈人有可能⽤用到？ ➤ How 打算⽤用什什麼⽅方式處理理？ ➤ How much 有多少預算？ ➤ Effect 這份資料有什什麼影響⼒力力？
- 22. EXAMPLE Volumn Velocity Variety 說明 Input 200 GB/day Near Real Time Nested Json 從 App 收到的 使⽤者資料 Output 20 MB/day Daily Batch Flatten Parquet 每⼩時 Aggregate 的使 ⽤者⾏為
- 23. PREPARATION
- 24. DATA PREPARATION 資料來來源1 Data Lake 資料來來源2 （後端DB） 資料處理理地 （Athena） 資料⽬目的地 (Data Warehouse) 權限 權限 權限
- 25. DEVELOPMENT
- 26. 確認資料流程 Conceptual 建立⽬目標表格 根據條件下 SQL 將算好的資料拋 到⽬目標表格 Logical 確認來來源欄欄位格 式 確認⽬目標表格儲 存形式 確認 SQL 語法邏 輯 Physical 確定⽬目標表格的 檔案存放位置與 格式 確認中繼檔案的 存放地點並刪除 舊的檔案 將檔案從中繼地 移動到⽬目的地 建立 Partition
- 27. JOB DESIGN PATTERN Trigger Task2 Task3 Alert Task4
- 28. JOB DESIGN PATTERN - TRIGGER ➤ Scheduler (time based) ➤ Event Trigger (push) ➤ Status Listener (pull) Trigger Task2 Task3 Alert Task4
- 29. JOB DESIGN PATTERN - TASK 的抽象化 ➤ 每個 Task 負責的事情很單純，盡量量讓每個 Task 都可以輕易易被 複⽤用
- 30. 類似的 JOB 裡⾯面的 TASK ⼀一模⼀一樣
- 31. JOB DESIGN PATTERN - 狀狀態管理理 Task2 Task3 Alert Task4 監控運⾏行行狀狀態
- 32. JOB DESIGN PATTERN - 狀狀態管理理 Task2 Task3 Alert Task4 發⽣生異異常時 Retry
- 33. JOB DESIGN PATTERN - 狀狀態管理理 Task2 Task3 Alert Task4 綠燈才允許放⾏行行
- 34. JOB DESIGN PATTERN - 狀狀態管理理 Task2 Task3 Alert Task4 紅燈發送告警或做其他事情
- 35. TIP 1 - 設置適當參參數 ➤ 透過Connection/參參數控制資料來來源 ➤
- 36. TIP 2 參參數化 SQL ➤ 資料來來源可以帶參參數 ➤ ⽇日期也可以帶參參數
- 37. TIP 3 SQL 和 TASK 分別管理理
- 38. TIP 4 PIPELINE 的冪等性 ➤ 確保 Pipeline 重複執⾏行行時不會影響資料 ➤ RDBMS -> update/ replace ➤ Hive -> overwrite partition ➤ Athena -> s3 delete
- 39. TIP 5 - ⼆二階段轉換 ➤ 當你要確認資料轉換結果時： 1. 將資料轉換結果放入⼀一暫存區 2. 驗證轉換後的資料是否正確 3. 再將資料轉入正式環境
- 40. EVALUATION
- 41. Unit Test Integration Test User Test E2E Test Monitoring 測試各 Functions 和 SQL 測試 Pipeline 運作 測試商務邏輯是否符合 測試 Pipeline 在⽣生產環境下 運作是否正常 持續監控資料看有無異異常
- 42. UNIT TEST 可以涵蓋的範圍 ➤ Read data ➤ Data validation ➤ Utilities ➤ Templated SQL ➤ Write data
- 43. TIPS ➤ 使⽤用⼩小資料測試管線運作 ➤ 使⽤用過去的正式資料驗證結果 ➤ 撈幾個範例例資料給使⽤用者，請使⽤用者確認無誤後再著⼿手⾃自動化
- 44. DEPLOYMENT
- 45. DEPLOYMENT 流程 Staging 環境 + Staging 資料 >> 測試 Pipeline 運⾏行行 Staging 環境 + Production 資料 >> 測試 Pipeline 是否能負荷正式資料 Production 環境 + Production 資料 >> 正式上線
- 46. 常⾒見見問題 ➤ 輸入資料不正確或延遲（資料意外的延遲） ➤ 計算資源不⾜足導致的 Crach 或延遲（資料量量過⼤大） ➤ 資料處理理過程中有 bug（程式沒考慮到的狀狀況） ➤ 未預想到的輸入資料造成 Crash 或 bug（Python 1 -> False） ➤ 儲存時發⽣生錯誤（權限不⾜足）
- 47. 上線後監控 - TASK 狀狀態
- 48. 上線後監控 - 資料狀狀態
- 49. 上線後監控 - 錯誤告警
- 50. TIPS ➤ 每次部署都可以做版本控管，隨時可以回退版本 ➤ 發⽣生意外時發送告警 ➤ 確保任務的 Log 有紀錄 ➤ 錯誤排除後可以⾃自動/⼿手動重新執⾏行行
- 52. PIPELINE 框架
- 53. 幾個 PIPELINE 框架比較（BATCH） 優點 缺點 Cron Linux 環境都可以⽤用 很難開發除錯 很難管理理相依性 Jenkins UI 介⾯面可以直接操作 很多現成套件可以⽤用 直接透過 UI 操作會不好 做版本管理理 Airflow Python 開發 ⽅方便便測試 UI 很難⽤用 K8s cronjob k8s 原⽣生 很難開發除錯 很難管理理相依性
- 54. 幾個 PIPELINE 框架比較（STREAMING/ NEAR REAL TIME） 特點 Kafka + Consumer 1. 真 Streaming 處理理 2. 穩，可以當 DB 使⽤用 3. 透過 Topic 管理理資料⽤用途 Spark Streaming 1. 可以⾝身兼資料收集以及資料處理理 2. 分散式運算 AWS Kinesis + Firehose + Lambda 1. 雲端服務 2. 可以 Streaming 也可以 minibatch 3. Lambda 開發語⾔言彈性 4. Auto scaling GCP Pub Sub + Dataflow 1. 雲端服務 2. 同個框架可以處理理 Streaming 或 Batch 資料 3. 可以在 Local 或雲端執⾏行行 4. Auto scaling
- 56. TIP 1 - 框架要能提供查核點
- 57. TIP 2 ⽅方便便查找 LOG
- 58. TIP 3 - JOB 運⾏行行環境和系統運⾏行行環境分離 https://www.bigdataschool.ru/blog/airflow-kubernetes-executor.html
- 59. TIP 4 - JOB 運算環境獨立
- 60. TIP 5 - LOADING 太重的運算可以再獨立出來來
- 61. ➤ 資料存放的安全性 ➤ 運算時的安全性 ➤ 連線之間的權限 ➤ 運⾏行行環境的權限 ➤ Secret Manager TIP 6 - 系統安全性
- 62. TAKE HOME ➤ Data Pipeline 非常需要中央集中管理理、分散式運⾏行行 ➤ 資料越早落落地越安全 ➤ 如果我當年年問顧客他們想要什什麼，他們肯定告訴我要⼀一匹更更快 的⾺馬。
- 63. Q & A