Data Factoryの勘所・大事なところ
Download as PPTX, PDF1 like4,669 views
Data Factoryの勘所・大事なところ
- 3. About me • 吉野翼(よしのつばさ) • シグマコンサルティング株式会社 • Microsoft MVP for Azure (2016/10~) • Twitter : @papemk2
- 4. 今日のお話 • Azure Data Factoryの簡単な概要 • お金の話 • Azure Data Factoryの使いどころとは？ • Data Factory v2について
- 7. What is Azure Data Factory ?
- 8. What is Azure Data Factory • データの読み込み、加工、出力をするためのツー ル – ETLツールに近い立ち位置 • 正確にはELとTLを組み合わせたツール • 週間、月間単位など低頻度での処理向き – 頻度がポイント
- 10. 頻度の考え方 • 高頻度 or 低頻度 • 高頻度 – 1日2回以上の実行 • 低頻度 – 高頻度以外
- 11. ADFの大事な用語(ざっくり) • データセット • アクティビティ • パイプライン
- 12. データセット • データのインプット、アウトプット部分 • Blob、SQL DB、No SQL etc。。。 • 要するにデータストア
- 13. アクティビティ • データに対するアクション – データ移動アクティビティ – カスタム.NETアクティビティ • データコピー処理 – データ変換アクティビティ • Hive, Sparkなどのデータ加工処理 • v2で拡張されます。(後述) • 0個以上の入力(データセット)を受け取る。 • 1個以上の出力を返す
- 14. カスタムアクティビティ • コピーアクティビティでサポートされていないデー タストア間のデータ移動に使う • データコピーにカスタムロジックを組み込める • バックエンドでAzure Batchが動いて処理 • サポートされているデータストア
- 15. 複数アクティビティの連動 • パイプライン内に複数アクティビティを含める • アクティビティの入力をもう一つのアクティビ ティの出力に含める • 複数アクティビティの入出力が繋がらない場 合は並列に稼働
- 16. パイプライン • アクティビティの論理的グループ • 複数のアクティビティの塊 • アクティビティをセット管理するのに便利 – デプロイ、実行等を一塊にできる • JSONでまとめられる
- 17. それぞれの関係
- 18. Demonstration
- 19. ポイント 1. 複数のデータソースを入力にできる 2. 複数の出力先を指定できる 3. 実行頻度が少ない処理向き
- 20. よくある勘違い • データ処理はData Factoryの仕事ではない • データ処理 = HDInsightとか • Data Factory = ベルトコンベア
- 21. 使用上の注意 • リアルタイム実行は保証されない – 99.9%で予定時間から4分以内に実行が保証さ れる – 予定時刻から4分が許容できない場合は注意
- 22. 使えるリージョン • 米国東部 • 米国中西部 • 米国西部 • ヨーロッパ西部
- 23. 料金体系
- 24. 料金の計算方法 • アクティビティの頻度 • アクティビティの実行場所 – オンプレ or クラウド • パイプラインがアクティブかどうか • アクティビティの再実行の有無
- 25. 実行場所による料金(v1) 低頻度 高頻度 クラウドサービスのオーケストレー ション 61.20/アクティビティ/月 102/アクティビティ/月 オンプレミスのオーケストレーション 153/アクティビティ/月 255/アクティビティ/月 ※一か月で100アクティビティを超えると20%割引 低頻度は、月5回まで無料
- 30. ダメだったパターン • 一日一回顧客データをSQL DBからBlobに 全件移動したい – 顧客データは、5万件(仮定) – データの加工はなし(CSV出力) – データソースは一つ
- 31. 何がダメだったか • ADFでは、オーバースペック過ぎた – 大したデータ量ではない • Functionsで十分 • ノンコーディングで行ける – 大したコーディング量ではなかった
- 32. 料金比較 Data Factory Functions WebJobs(S1) 月額料金 2646.57 0 8954.79 実行辺り料金 88.219 0 時間辺り料金 12.04
- 33. 比較 • 扱うデータが小さい – Functionsはほぼ0円 • タイマーの信頼性を考えて、実行回数を増やしてもこの作業量では、大した金 額になることがなかった • Web Jobsは無駄な時間が多い – App Serviceで既に何か動いていて、それに付随するものならWeb JobsでもOK(追加料金なしなので) • Data Factoryは、実行辺り料金が大きい – データが大きくなればData Factoryが強い – Web Appsでは、メモリを増やそうとすると値段が跳ね上がる
- 35. 個人的見解 • 単純なデータ移動のみの処理は、本当にADFが必要か見定 める必要あり – 本当にADFが必要なサイズのデータなのか – ADFよりシンプルにできるやつがあるかも • 複数のデータソースを統合できるところがミソ – 単一のデータソースの場合、大半はADFはオーバースペックかも
- 36. Azure Data Factory v2
- 37. What’s new • フロー制御の追加 • Webアクティビティの追加 • SSISパッケージのデプロイ、実行 • SDKの拡充
- 38. フロー制御 • 結果によるフローの分岐が可能に • 例 – 成功 : 成功メールの送信 – 失敗 : 失敗メールの送信
- 39. Webアクティビティ • アクティビティ内で任意のREST呼び出しが可 能に • JSONを返すサービスからデータを取得可能に – JSONを返してくれればカスタム.NETアクティビ ティが不要に – Logic Appなども呼び出せる
- 40. SSISパッケージ • ADF上でSSISが実行可能に • 既存のパッケージもデプロイ可能 – 既存資産のPaaS移行に便利
- 41. 現状 • ポータルからの操作がまだ少ない – パイプライン作成等できない • 手軽に試すには面倒 – PowerShell or C# or etc…
- 42. 料金体系の変更 • アクティビティの再実行に関する項目が消滅 – 再実行も通常の実行と同じ扱いになった？ • SSISパッケージは、別途VM料金が必要 • プレビューのためGA後に金額が変わるので 注意
- 43. まとめ • 使いどころを見極めて使おう • 実務で使うための知見が足りない気がする – みんなで使って色々発信していきましょう – バッドプラクティスのノウハウが欲しい(
Editor's Notes
- #15: https://docs.microsoft.com/ja-jp/azure/data-factory/v1/data-factory-data-movement-activities