Data Factory V2 新機能徹底活用入門

Editor's Notes

• #2: 00:20 50:00 – 49:40 00:00 – 00:20 皆様こんにちは、システムサポート 藤川と申します。 このセッションでは、データファクトリーV2新機能徹底活用入門と題しまして、 データファクトリとはなんぞやという点から、先日バージョン2がGAし、バージョンアップされたことで追加された新機能についてを中心に説明させていただきます。 お付き合いいただきますようお願い致します。
• #3: 0:30 49:40 – 49:10 00:20 – 00:50 まずは自己紹介させてください。 私は藤川佳祐と申します。 株式会社システムサポートに所属しています。 これまでの略歴を簡単に説明させていただきますが、 数々のジョブを転々として参りまして、 最初は営業として社会人生活をスタートし、WEBサービスのサービス開発に携わったり、 ソーシャルゲームの運営にも携わってきました。 その後、DBエンジニアに転向し、現在は領域をクラウドに広げてきています。 このような場でお話させていただくのは初めてでございますが、何卒宜しくお願い致します。
• #4: 00:20 49:10 – 48:50 00:50 – 01:10 本セッションのゴールですが、 皆さんにはDataFactoryV2の新機能を中心に覚えて帰っていただきたいと思います。 Newマークを付けている箇所はバージョンアップして追加された新機能に関する説明箇所になりますので、 そこだけでも覚えて帰っていただけると幸いです。
• #5: 00:20 48:50 – 48:30 01:10 – 01:30 本日の流れですが、オンプレ環境にあるcsvファイルやDBデータを、Azure環境のBlobにアップロードしてデータ加工し、 SQLデータベースにコピーする、という流れを例に新機能の説明を致します。
• #6: 00:30 48:30 – 48:00 01:30 – 02:00 そもそも、データファクトリーって何？という点からご説明致します。 ～～ ちなみに、この中でデータファクトリーを使ったことがあるよ、という方はいらっしゃいますでしょうか？ ->結構いる 結構いらっしゃいますね。もう知っているよ、という点も多々でてくると思いますが、ぜひとも改めて聞いていただけると助かります。 ->あまりいない あまりいないようですね。では、説明を聞いていただきADFとはそもそもなんぞや、というところから理解していただけると幸いです。
• #7: 00:20 48:00 – 47:40 02:00 – 02:20 データファクトリーとは、Azureが提供するフルマネージドのデータ統合サービスです。 各種データソース上のデータロードや加工、出力を管理できるツールです。 2018年6月末に最新バージョンとなるVersion 2がGAされました。
• #8: 00:20 47:40 – 47:20 02:20 – 02:40 接続できるデータソースは現時点で70種以上あります。詳細に関してはアペンディクスとして資料を添付していますので、本資料が公開された際にご確認ください。
• #9: 00:40 47:20 – 46:40 02:40 – 03:20 さて、ここで私がV1を実際に使用していた時に感じていた点をここに挙げています。 アクティビティ失敗時のエラーハンドリングはどうしたらいいのか、、、パイプラインの細やかな制御ができないな、、 データ変換を行うのが難しいな、、、何よりGUIが使いづらいな、、といったいくつも改善してほしいと願っていた点がありました。 V1を使ったことがある方なら共感していただけるのではないかなと思います。 これが、バージョンアップしたことで解決したのか。これからの説明で感じ取ってもらえるかと思います。
• #10: 00:10 46:40 – 46:30 03:20 – 03:30 さて、まずはデータファクトリーを理解して頂く上で、ここに挙げたキーワードを理解して頂く必要がございます。 それぞれのキーワードについて、これから説明致します。
• #11: 00:20 46:30 – 46:10 03:30 – 03:50 まずは統合ランタイムについてです。 統合ランタイムとは何かというと、各データソース間のデータコピーやこの後説明する各アクティビティの実行、SSISパッケージの実行等を担当するコンピューティング環境を指します。 三種類存在しますので、簡単に説明致します。
• #12: 00:30 46:10 – 45:40 03:50 – 04:20 まずはセルフホステッド統合ランタイムです。 V1では「データマネジメントゲートウェイ」と言われていましたが、オンプレ環境のデータソースにアクセスするためには必須の環境であり、オンプレ環境上のデータソースに接続できるWindows環境上に構築します。 データコピー等のデータ処理性能はノードの性能に依存し、 複数ノード上に構成してリンクさせることで冗長構成をとることも可能です。
• #13: 00:50 45:40 – 44:50 04:20 – 05:10 次にV2で新しく登場したAzure-SSIS統合ランタイムです。 SSISとはSQL Server Integration Servicesの略称で、SQL Serverに同梱されたETLツールを指します。 そのツールを使ってデータコピーやデータ加工等多様な処理を行うことができ、 データフローを定義したSSISパッケージと呼ばれる定義ファイルを元に実施されるETL処理の実行環境になるのがAzure-SSIS統合ランタイムです。 V2の目玉機能の一つといえると思います。 スケールアップ、スケールアウトが可能であり、データファクトリーで管理できます。 なお、SSIS統合ランタイムを構成するには、カタログ情報格納先となるSQL Server環境が必要となります。
• #14: 00:20 44:50 – 44:30 05:10 – 05:30 最後にAzure統合ランタイムです。 Azure環境上のデータに接続するために必要な環境であり、こちらはユーザーが手動で構成する必要はないサーバーレス環境です。 自動スケールされるので、例えばBlobストレージ上の複数ファイルをコピーする際は、ファイル数に応じて自動的に最適なノード数が選択されてパラレルでファイル転送が実施されます。
• #15: 00:10 44:30 – 44:20 05:30 – 05:40 次は各データソースへの接続に関するLinkedService,datasetについてです。
• #16: 00:10 44:20 – 44:10 05:40 – 05:50 LinkedServiceは各データソースへの接続情報です。今回は赤枠で囲ったデータソースへのLinkedServiceをあらかじめ定義しておきます。
• #17: 00:10 44:10 – 44:00 05:50 – 06:00 次にデータセットです。各データソースの構造についてを定義します。 DBならテーブル名やカラムについてを定義します。
• #18: 00:10 44:00 – 43:50 06:00 – 06:10 次はアクティビティについて説明します。
• #19: 00:50 43:50 – 43:00 06:10 – 07:00 アクティビティは大きく分けてデータコピー、データ変換、制御アクティビティの三種類があります。 データ移動は各データソース間のデータコピーを実施する際に利用します。 データ変換はHDInsightやAzureBatchを利用してデータセットの変換等を行う際に利用します。 例えば、HDInsightのhiveを使用してデータ変換を実施する場合には、 処理内容を記載したhiveQLファイルをBlobストレージに データ変換を行う際に、アクティビティ実行に合わせてHDInsightをオンデマンドで起動、停止することもサポートされていますが、 V1ではHadoopクラスターのみ可能でした。V2でSparkクラスターもサポートされたため、データ変換手段の選択肢が広がりました。 さらに、V2では制御アクティビティが追加されました。次のスライドで説明します。
• #20: 00:60 43:50 – 42:50 06:10 – 07:10 こちらに、制御アクティビティで実現可能となりました新機能を一部上げさせて頂いております。 スライドに記載しました、繰り返し処理、条件分岐、カスタムRESTエンドポイント呼び出し等、様々なフローに対応できるようになりました。 例えば、WEBアクティビティを利用できるようになったことで、メール送信APIやSlack等チャットツールのAPIを利用してのメールやメッセージ通知が可能になり、 また、ソースデータのメタ情報（例えば、元データのカラム数や存在有無）を取得した上で取得した内容に合わせて異なる処理を実行させることも可能となりました。 ここで説明した制御アクティビティを活用して、場合に合わせたフローの組み立てが、データ統合を実現する上で重要なポイントになると私は考えます。 次のスライドでは、今回のデモ環境で実行するアクティビティを簡単に説明致します。
• #21: 00:30 42:50 – 42:20 07:10 – 07:40 まず、今回のデモ環境では４つのアクティビティを利用します。 一つ目がデータ移動アクティビティです。 ここでは、オンプレ環境に格納しているcsv、DBに格納しているテストデータをセルフホステッド統合ランタイムを介してAzureのBlobストレージに転送します。 その際、DBに格納しているテーブルデータもcsv形式にして出力させます。
• #22: 00:40 42:20 – 41:40 07:40 – 08:00 次はBlobストレージ上に格納した各データをSSISを使ってデータ加工するアクティビティです。 まずはそれぞれのcsvファイルの末尾に日付情報をくっつけて、 Unionでがっちゃんこするデータ加工を行い、一つのログファイルとして統合する処理をSSISで行い、Blobに格納する、というフローをここで実施します。
• #23: 00:30 41:40 – 41:10 08:00 – 08:30 次は、SSISで加工済みデータが指定のコンテナに格納されたイベントを検知してSQLデータベースにデータを転送するアクティビティです。 その処理を実施するために重要となるのが、後ほど説明しますイベントトリガーです。 そちらの説明に関してはまた後程。
• #24: 01:10 41:10 – 40:00 08:30 – 09:40 最後に、データコピーに失敗した場合のメール通知を行うWEBアクティビティです。 データコピーがなんらかの原因で失敗した際に、SendGridというクラウドメール配信サービスが提供しているメール送信APIをキックしてメール通知する設定を加えます。 V２では、アクティビティの失敗時に特定のアクティビティを実行するといったアクティビティの成否による制御も可能となりました。 これにより、エラーハンドリングも容易となりました。 なお、今回は失敗時の動作を定義しますが、アクティビティが成功、失敗、完了、またスキップという４つの状態での分岐が制御できます。 以上、４種類のアクティビティを組み合わせてオンプレ環境のデータをAzure環境のデータ分析基盤に転送するETL処理をデモ環境で実現させ説明致します。
• #25: 00:10 40:00 – 39:50 09:40 – 09:50 それでは、処理の実行単位となるパイプラインについて説明します。
• #26: 00:30 39:50 – 39:20 09:50 – 10:20 パイプラインとは、複数のタスクを連携して実行するための、アクティビティの論理的グループを指します。 データファクトリーでは、このパイプライン単位で処理を管理しています。 今回の例では、 一つ目に、オンプレ環境のデータをBlobに格納しSSISでデータ加工するパイプラインをまず作成します。
• #27: 00:20 39:20 – 39:00 10:20 – 10:40 二つ目に作成するパイプラインは、加工済みデータをSQLデータベースにコピーし、失敗した場合はメール通知するパイプラインです。
• #28: 00:10 39:00 – 38:50 10:40 – 10:50 最後に、パイプラインの実行タイミングを司るトリガーについてを説明します。
• #29: 01:20 38:50 – 37:30 10:50 – 12:10 トリガーはスケジュール、タンブリングウィンドウ、イベントベースの三種類がございます。上から順に説明致します。 まず、スケジュールトリガーは実時間のスケジュールを指定してパイプラインを実行したい場合に設定します。 次のタンブリングウィンドウトリガーは15秒おき、1時間おき等、定期間隔でパイプラインを実行したい場合に設定します。 スケジュール指定、定期間隔はイメージしやすいと思いますが、V2では新たにイベントベースでの実行が可能となりましたのでそちらについて説明します。 イベントベーストリガーとは、その名の通りある特定のイベントを検知したタイミングでパイプラインを実行させたい、という場合に使用できるトリガーです。 検知できるイベントは何かというと、現時点ではBlobストレージ上へのファイル追加やファイル削除イベントを検知したタイミングで、 指定のパイプラインを実行する、という処理が可能となっています。 今回、このイベントトリガーを実際に使用して、SSISで加工し統合したファイルが指定コンテナに格納されたイベントを検知して、パイプラインを実行するデモをお見せいたします。
• #30: 00:20 37:30 – 37:10 12:10 – 12:30 駆け足で説明して参りましたが、キーワードはご理解いただけましたでしょうか。 では、実際にデモを通じて実際にパイプラインを構成する流れを見て頂きたいと思います。
• #31: 20:00 37:10 – 17:10 12:30 – 32:30 では、ここからは実際のデモ画面を見ていただき、これらの流れをデータファクトリーではどう設定すればいいかをご説明致します。 ～デモ画面～
• #32: 00:10 17:10 – 17:00 32:30 – 32:40 ここで今日のまとめになります。
• #33: 00:10 17:00 – 16:50 32:40 – 32:50 冒頭で発表したこれらの困りごと。これらはV2にバージョンアップしたことで、かなり改善されました。
• #34: 02:00 16:50 – 14:50 32:50 – 34:50 これら私が感じていた困りごとが、V2にバージョンアップしたことで改善、向上したことが皆様にもご理解いただけましたでしょうか。 特に、GUIに関しては大きく改善されており、非常に直感的にパイプラインの構成等ができるようになりました。 SSISを使えるようになったことでデータ加工も容易となり、既存で使用していたSSISパッケージの再利用も可能となりました。 また制御アクティビティを使ったデータフローの細かな制御も可能となったことで、 ジョブ管理ツールとしても非常に使いやすいツールになったと思われます。 制御フローアクティビティの一つ、WEBアクティビティを使用することでAzureのLogicAppsと連携し、複雑なワークフローの実現も可能となりました。 一方で、このデータファクトリーで既存で使っているジョブ管理ツール等を全て置き換えられるか、というとまだそこまで至っていないと私は考えます。 例えば、ジョブ管理ツールでは失敗したジョブフローを検知したら、特定のジョブから再実行するといったことが可能かと思いますが、 データファクトリではパイプライン単位での手動再実行しかできないため、失敗時にどうするかは考える必要がございます。 しかしながら、バージョンアップしたことにより、細かな制御が可能になったことで、 既存ツールで行っていたジョブ管理をデータファクトリーにリプレイスするという選択肢も十分考えられるようになったと思いますし、 AI/機械学習を促進させデータ統合を支援するツールとして、データファクトリーはデータプラットホームにおける重要なツールとなると私は考えます。 本発表でお伝えしたことが皆様のデータ分析を手助けすることに繋がれば幸いです。 以上で発表を終わります。 アペンディクスとして、使用できるアクティビティの一覧やデータファクトリーの制限事項、接続できるデータソース一覧をまとめています。 資料が公開された際にはご覧になってください。 ご清聴ありがとうございました。