BigData-JAWS 2020-11-30 - AWS Batchによるデータ変換処理
0 likes170 views
BigData-JAWS 勉強会#15 reboot Loading & Transform - AWS Batchによるデータ変換処理
BigData-JAWS 2020-11-30 - AWS Batchによるデータ変換処理
- 1. CONFIDENTIAL Loading & Transform AWS Batchによるデータ変換処理 BigData-JAWS 勉強会#15 reboot ©2020JapanDigitalDesign,Inc.
- 2. Japan Digital Design, Inc. 2 小野 雄太郎 VP of Infrastructure, Technology and Design Division. インフラストラクチャの設計運用等をメインに、 パブリッククラウドのみで構成されたプラット フォームを実装中 これまでWindows Server, Visual Studio, IPv6などを中心に、コミュニティ運営など。 ここ最近はAWSメイン 個人事業主で普通のIT屋さんもしています Twitter: @chamreo LinkedIn: linkedin.com/in/yutaro
- 3. CONFIDENTIAL “金融の「新しいあたりまえ」を創造し、 人々の成長に貢献する” To create new financial standard to contribute to customer's growth. 上原 高志 CEO, Japan Digital Design 3 ClassifiedasConfidentialbyJapan DigitalDesign,Inc.
- 4. Classified as Confidential by Japan Digital Design, Inc. 三菱UFJフィナン シャルグループ 持株会社 三菱UFJ銀行 34,000人 … 三菱UFJ信託銀行 7,000人 三菱UFJ証券 ホールディングス 三菱UFJモルガン スタンレー証券 5,300人 Kabu.com … 三菱UFJニコス 3,100人 … Japan Digital Design < 100人
- 5. 目指すところ クラウドネイティブに内製化できる組織 ⚫ 会社として独立する前に銀行内にあった “Innovation Lab” 時代は、 モノづくりを外注するしかなく、実現したいことができなかった ⚫ 自分たちで作り、フィードバックを得て、自分たちで改善してい く組織が必要だった (by 社長 エンジニア中心組織を目指す • 柔軟な働き方を取り入れ、外部のエンジニアを直 接雇用 • まずは雇用体系をあたらしく • 副業ができる、副業でできる、勤務体系 • 週5日勤務に限らず、週4日～週1日まで多様な働き方を可能に Classified as Confidential by Japan Digital Design, Inc.
- 6. 設立3年 2017年10月02設立 ⚫ 3年目経ちました 10人の組織からスタート ⚫ 銀行からのTraineeとして、全国の地銀35行から出向者を受入 ◼ いきなり40名を超える組織に (バタバタバタ… エンジニアとデザイナーの募集 ⚫ 100名の会社にまで育ってきました 人権確保! ⚫ MacBook Pro 15inch - Mem 32GB! (もうM1も選べるよ) ⚫ Surface Laptop 3 – Intel Core 7 Classified as Confidential by Japan Digital Design, Inc.
- 8. 金融ビッグデータ活用 グループ各社が持つデータを、各社がそれぞれ集約し、 それぞれが分析を行っていても、資源投資が分散化し てしまう データがオンプレミスデータセンターに囲い込まれ、 新たな取り組みにデータを素早く利用できなくなって しまっている 保守費用が高額でデータを長期保管できない それ、Japan Digital Designで解決しましょう
- 9. MUFG AI Studio (M-AIS) 2018年4月 ⚫ データ分析人材を集約 ⚫ データサイエンティストの雇用 ⚫ グループ各社からの出向 AWS上に新たなデータ分析プラット フォームを構築 ⚫ グループのビッグデータと、最新のツールが利用 可能な環境を分析者に提供 ⚫ また、AI研究機関として自立すべく論文執筆等も 業務の一つに位置づけ
- 10. Classified as Confidential by Japan Digital Design, Inc. オンラインで完結する中小企業向け融資 ⚫ 紙の書類なしで、中小企業向けの融資ができるように ⚫ 既存顧客の口座取引履歴から与信スコアを付与 2019年6月にリリースしています!
- 13. CONFIDENTIAL データは散在し、フォーマットは統一されておらず、更新頻度はまばらで、マ スターコードもシステムごとに異なり、予告なく形式が変わることもある フォーマット • CSV • という名のフリーフォーマット 営業日ベースの更新 • 第X営業日... • 月末月初 • 祝日... ビッグデータのホントのところ 13 ©2020JapanDigitalDesign,Inc.
- 14. CONFIDENTIAL データフォーマットとして一般的 • テキストファイルなので中身が確認できる • 相互運用性が高い なんてことは適当な言い訳 • テキストだからやりたい放題 • 改行コードなんでしたっけ • カンマが紛れていたらどうするんだっけ • ダブルクォーテーション? • ダブルクォーテーションがあるフィールドは? • フィールド内の改行は? • それShift-JIS? • 数値なの? ゼロ埋め? • 列数変わってませんか? CSV – カンマ区切りテキストファイル 14 ©2020JapanDigitalDesign,Inc.
- 15. CONFIDENTIAL データがいつ時点のものかはよくわからない • CSVにメタデータはない (ファイルシステムの更新日を信じる?) • ファイルがないのは更新が遅延しているのか、更新がないのかわからない • 増分・差分・全件? 営業日 • 増えたり変わったりする祝日 • え、山の日? 成人の日は月曜? • データ来てないのは正しいの? 休みなの? 遅れてる? ほどほどに更新されるデータ 15 ©2020JapanDigitalDesign,Inc.
- 16. CONFIDENTIAL マスターデータはタイムリーに更新されない • 新しいマスターは毎月一回更新? • え、再利用? こっちのマスターコード • なんで桁数違うの? • でたゼロ埋め • ん、文字列だけど数字? なんか突然ほかの来るの? マスターコードという名の分散コード体系 16 ©2020JapanDigitalDesign,Inc.
- 17. CONFIDENTIAL NULLなしだけどこれNULL? • 新しい列だから古いやつはデータないよ 更新されない列 • ほかの列は更新されているけど、この列は使わなくなったからもう変わらないよ 列 • 列数は同じだけど • ああ、ひとつ列なくなったけど、新しい列増えてるから、真ん中で • 列ヘッダないCSV... 歴史 17 ©2020JapanDigitalDesign,Inc.
- 21. CONFIDENTIAL データを活用するための変換処理 • RDBMSなどのデータをほかのシステムに連携する • Extract: データベースからデータをエクスポートする (クエリ/ダンプ) • Transform: 連携先で利用するため構造に変換する (コード変換/Joinなど) • Load: 連携先システムに読み込む メリット • 連携先システムは利用するために必要なデータのみを読み込む • 変換機能を別システム化しやすい 課題 • 変換処理が複雑かつ重い処理になりやすい ETL: Extract - Transform - Load 21 ©2020JapanDigitalDesign,Inc.
- 22. CONFIDENTIAL 大量データをそのまま扱う • スケールする環境を活用する構成 • Extract: データベースからデータをエクスポートする (クエリ/ダンプ) • Load: 処理先の環境にデータを読み込む (実質上のレプリケート) • Transform: 求める形式のデータを作り出す (オンデマンドもアリ) メリット • 並列処理しやすい • 新しいデータソースを増やしやすい 課題 • 連携先システム内に変換処理が行える機能が必要 ELT: Extract - Load - Transform 22 ©2020JapanDigitalDesign,Inc.
- 24. CONFIDENTIAL 構成 24 ©2020JapanDigitalDesign,Inc. データソース的な なにか ロード処理 (前処理) 変換 分析 1 2 3 4 5 6 S3 Upload S3 Object Get Backup Copy Master Copy 分析用データ 分析利用 連携用バケット 受領データ履歴 分析データ用 バケット 都度変換
- 25. CONFIDENTIAL 構成 25 ©2020JapanDigitalDesign,Inc. データソース的な なにか ロード処理 (前処理) 変換 分析 1 2 3 4 5 6 S3 Upload S3 Object Get Backup Copy Master Copy 分析用データ 分析利用 連携用バケット 受領データ履歴 分析データ用 バケット データが正しく 届いたかチェック ファイル形式統一 都度変換
- 26. CONFIDENTIAL 必要なデータが届いているかを確認したい • 営業日ベースで届くはずのファイルのリストから確認する データ形式が変わっていないか・壊れていないかを確認したい • データ種別ごとの列数や列内データ形式を確認する 変換処理のためにファイル形式を揃えたい • ソースごとに自由に作られたCSVファイルをParquetに変換 前処理したいこと 26 ©2020JapanDigitalDesign,Inc.
- 28. CONFIDENTIAL ファイルごとに独立できるので並行処理が可能 • 分散処理して早く終わらせたい データサイズが様々だけど統一して扱いたい • データが大きすぎてタイムアウトしてほしくないし、小さいデータのために 都度分散クラスタを立てたくもない データが届いていないときは課金されないようにしたい • 更新頻度が1日1回までなので、処理が終わったらリソースを削除したい 実現するために 28 ©2020JapanDigitalDesign,Inc.
- 29. CONFIDENTIAL 1. Lambda 2. EMR 3. Athena 4. Glue 5. AWS Batch 選択肢 29 ©2020JapanDigitalDesign,Inc.
- 33. CONFIDENTIAL AWS Glue ETL • そのまんまフィットしたETL向け機能 • 定義したJobを実行すると、内部のSparkクラスタで処理される • Pythonで処理が書ける いいね！ AWS Glue 33 ©2020JapanDigitalDesign,Inc.
- 34. CONFIDENTIAL ジョブを定義するとAWS管理されたEC2インスタンスで実行される • 自分でスポットインスタンスフリートを作ったりしなくてよい • EC2なので好きな処理を実行できる これもいいね！ AWS Batch 34 ©2020JapanDigitalDesign,Inc.
- 36. CONFIDENTIAL 1ファイルごとに Glue ジョブで処理させてみた • ECSのタスクをCloudWatch Eventsで定時実行し、ファイル存在チェックを したあとに、Parquet変換をGlueジョブとして実行 • クォータを増やすことで同時実行数を増やせる Glue ETLっていうんだからいいはず 36 ©2020JapanDigitalDesign,Inc.
- 37. CONFIDENTIAL ファイル単位のParquet変換だとジョブ単位のリソース利用効率が高くない • 課金が10分単位*1 なので、小さいデータの場合に効率が悪い • ジョブ実行のための起動時間のほうがずっと長くなる • 日本銀行券にものを言わせればかなり無理ができる • 300並列で処理とかすると気持ちいい やってみた 37 ©2020JapanDigitalDesign,Inc. *1 : Glue 2.0 が登場して秒単位課金かつ起動時間も短くなったようなので、いまはちょっと違うかも
- 38. CONFIDENTIAL CSV to Parquet 変換するだけだと、I/OとCPUがつらい • 1DPU = 4vCPU + 16GBメモリ • CPUリソースがあまる • 1 Job 内で並列処理なり頑張っていくのは、ファイルごとの処理時間の差 の考慮と、エラー時の対応を考えるとあまりやりたくない... • 大きなCSVをひとつ読むだけだと、I/O待ちという感じ Loading処理だけに使うのはもう少し工夫したほうがよさそう ちゃんとTransformしないとちょっといまいち? 38 ©2020JapanDigitalDesign,Inc.
- 42. CONFIDENTIAL CloudWatch EventsでStep Functionsを起動し、Lambdaでファイルの存在 チェック後、AWS Batchのジョブを起動して、CSVからParquetに変換する • ジョブはDockerコンテナイメージで作成 • 実際のところはマネージドECSという感じ AWS BatchでParquet変換をやる 42 ©2020JapanDigitalDesign,Inc.
- 43. CONFIDENTIAL コンピューティング環境 • ジョブを実行するインスタンスの定義 ジョブ定義 • 実行するバッチの実体定義 ジョブキュー • ジョブを実行するためのコンピューティング環境セット ジョブ • バッチ定義から起動された実行中処理 AWS Batchの主な構成要素 43 ©2020JapanDigitalDesign,Inc. コンピューティング 環境 コンピューティング 環境 ジョブキュー ジョブ キュー ジョブ ジョブジョブ ジョブ ジョブ定義 ジョブ 定義 ジョブ 定義
- 44. CONFIDENTIAL EC2インスタンスのタイプを選べる • 処理に合わせたタイプを選べて効果的 • スポットインスタンスにできればコスト的にはかなり安い • マネージドなのでフリート管理/クラスタ管理しなくてよい • すでにEC2インスタンスがある環境では、新たな設計をたくさんせず導入できる • EC2インスタンスロールの権限設計を流用するなどがしやすい ジョブの実行状態を簡単に確認できる • AWS Batchのジョブステータスで進行状況をモニタリングできる • キューイングやタイムアウト・再試行によって、リソースの適正利用を管理しなく てよい AWS Batchのいいところ 44 ©2020JapanDigitalDesign,Inc.
- 47. CONFIDENTIAL AWS Batchコンソール • ジョブのステータスは24時間で消えちゃう CloudWatch Events / Logs • 基本的にはこれ • バッチ内部からも CloudWatch にデータを送っている • Logs に処理しているデータの情報を記録 • CloudWatch Metrics にデータを送って監視 • 処理を始めたデータのカウント • 処理を完了したデータのカウント • 処理できなかったデータのカウント • CloudWatch ダッシュボードによる可視化 • メール監視からの脱却 ジョブの監視 47 ©2020JapanDigitalDesign,Inc.
- 48. CONFIDENTIAL ジョブの起動が早い • 単に Glue 1.0 が遅すぎるという話かも 課題 • VPC Endpointがない • ジョブ起動するためにはVPCの外からたたく必要がある • Closed VPCからジョブ起動できたら楽なのに • VPC内にインスタンスを起動させるので、VPC CIDRが小さいと苦労する Glue 1.0 と比較して 48 ©2020JapanDigitalDesign,Inc.
- 50. CONFIDENTIAL AWS Batchによって手組みのバッチからマネージドなバッチシステムに進化 • EC2環境(ECS環境)でオンデマンドな処理をマネージド実行 • スポットインスタンスを手軽に利用 • ジョブ失敗時の再試行もマネージド可 Glue に比べて • 実行環境の多様性 • Linux AMIで動くものなら何でも動く • でも Glue 2.0 はやっぱり気にはなる... まとめ 50 ©2020JapanDigitalDesign,Inc.