Azure Synapse Analyticsのターゲットエンドポイントとしての利用

© 2019 QlikTech International AB. All rights reserved.
Azure Synapse Analyticsの
ターゲットエンドポイント
としての利用
クリックテック・ジャパン株式会社

2
概要
このセクションでは、レプリケーションタスクのターゲットとしてMicrosoft Azure Synapse Analyticsをセットアップして使用する方法につ
いて説明します。Microsoft Azure Synapse Analyticsはクラウド上にあり、Microsoft Azureアカウントを通じてアクセスできます。

3
一般的な前提条件
• 以下のセクションでは、Microsoft Azure Synapse AnalyticsをReplicateタスクのターゲットエンドポイントとして使用するために
必要な前提条件について説明します。
• Microsoft Azure Blob Storageへのサインアップ（ADLS Gen2 Storageを使用する場合はこの手順は不要）
• Microsoft Azure Synapse Analyticsへのサインアップ
• 必要なクライアントのインストール
• 必要な権限
• 必要なファイアウォールのポートを開く

4
Microsoft Azure側の
設定

5
Microsoft Azure Blob Storageへのサインアップ
• この工程は、ADLS Gen2 Storageを使用する場合は必要ありません。
• Azure Blob Storageアカウントにサインアップし、アカウント名、アカウントキー、コンテナ名、ターゲットフォルダをメモしておきます（後で必要になります）。
※ 最高のパフォーマンスを得るために、Azure Blob Storageコンテナは、Microsoft Azure Synapse Analyticsと同じリージョンに設置してください。
• 以下のblobストレージタイプがサポートされています。
• Standard storage with block blobs
• Premium storage with block blobs only

6
Microsoft Azure Synapse Analyticsへのサインアップ
• Microsoft Azure Synapse Analyticsにサインアップし、サーバー名、ポート、ユーザー名、パスワード、データベース名、Azure Blob Storage access
Credential をメモしておきます。なお、Azure Blob Storage access Credential をまだ作成していない場合は、「一般的な接続プロパティの設定」で
説明するように、レプリケートが自動的に作成するように設定することができます。

7
Azure Synapse Analyticsのデプロイメント
• Azureポータルで[Azure Synapse Analytics]を選択します。
• [Create Synapse workspace]もしくは[+Create]を選択します。

8
• [Basic]タブの各項目を画像を参考に設定します。設定が完了したら[Next ]
を選択します。
• Resource group : 任意の名前を指定。ここでは、synapse
• Workspace name：任意の名前を指定。ここでは
workspace1283749718
• Account name : 任意の名前を指定。ここでは、
storageaccount1283749718
• File System name : 任意の名前を指定。ここでは、
filesystem1283749718

9
• [Security]タブで、管理者権限をもつユーザーのパスワードを入力して[Next
]を選択します。
• ここで設定するSQL Server admin loginのユーザー名とSQL
PasswordをQlik Replicateのエンドポイント設定で使用しますので、控
えてください。
• 最後のページまで[Next]で進みます。

10
• 最後のページまで進み、[Create]をクリックします。Deploymentが完了する
まで数分待ちます。

11
WorkspaceのDedicated SQL Endpointのコピー
• Deployの完了後、作成したSynapse workspaceを開き、[Overview]ページの[Dedicated SQL Endpoint]をコピーして控えます。後ほどQlik
Replicateからの接続に使用します。

12
Dedicated SQL Poolの作成
• Synapse Workspace上で[SQL Pool]タブを開き、[+New]を選択します。

13
Dedicated SQL Poolの作成
• Dedicated SQL pool nameに任意の名称を入力して[Review +
Create]を選択します。
• 設定内容を確認し、[Create]を選択してSQL Poolを作成します。
Deploymentが完了するまで数分待ちます。

14
Master Keyの作成
• Storage AccountとSQL Poolを接続するためのMaster Keyを作成します。
• Synapse workspaceを開いて[Overview]ページの[Open Synapse
Studio] > [Open]を選択します。Synapse Studioが立ち上がります。

15
Master Keyの作成
• [Data]> [Databases]>[<作成したSQL Pool名>]>[New SQL script]>[Empty script]を選択します。
• “CREATE MASTER KEY;” コマンドを入力し、[Run]します。

16
Azure Active Directoryへのアプリ登録
• Qlikデータ統合製品からAzure上のStorage AccountなどへのAPIアクセスを許可するためにAzure Active Directoryへのアプリ登録を行います。
• Azureポータルで[Azure Active Directory]を選択します。

17
• 左側のメニューから[App registrations]を選択します。続いて、[+ New registration]を選択します。

18
• 任意の名前を設定し、[Register]を選択します。

19
• ここで生成される”Application (client) ID” と “Directory (tenant) ID”を後ほどQlik Replicateからの接続パラメータとして使用しますので、テ
キストエディタなどにコピー&ペーストして保存してください。

20
• 左側のメニューから[API permissions]を選択します。続いて、[+ Add permission]を選択します。

21
• [Microsoft API]配下の[Azure Data Lake]を選択します。

22
• [Delegated permissions]配下の[user_impersonation]にチェックを入れ、
[Add permissions]を選択します。

23
• 左側メニューから[Certificates & secrets]を選択します。
• 続いて、[+ New client secret]を選択します。

24
• Descriptionに任意で名称を記入し、期限を[12 months]とし、[Add]を選択します。

25
• 直後に生成されるClient secretの[value]をテキストエディタなどにコピー&ペーストし安全な場所に保存してください。以降、このページを離れ
るとSecretのValueは二度と確認することができなくなりますので、必ず生成直後に保存してください。

26
ADLS Gen2のストレージアカウントの設定
• 作成したStorage Accountのページに移動します。

27
• [Access key]を選択します。[Show keys]を選択して、Key1 の[Key]を表示させます。
• 後ほどQlik Replicateの設定にこちらのKey1の[Key]を使用しますので控えておいてください。

28
• 続いてコンテナを作成します。左側メニューから[Containers]を選択し、[+ Container]を選択します。
• 右側に表示されるNew containerにて、任意のコンテナ名(ここでは「replicate」)を指定し、[Create]を選択してコンテナを作成します。

29
• コンテナ一覧から、作成した[replicate]を選択します。
• 続いて、[+Add Directory]を選択します。

30
• 右側に表示されるメニューからディレクトリを作成します。Nameを「landing」とし、[Save]を選択します。

31
• Storage Accountのトップページから[Access Control (IAM) ] を選択します。続いて[+Add]>[Add role assignment]の順に選択し
ます。

32
• 以下の項目を設定し、[Save]を選択します。
• Roleタブで、Storage Blob Data Contributorを選択し、Membersタブに移動
• Membersタブで、Assign access to: User, group, or service principalを選択し、[+ Select members]を選択
• 右側にSelect membersメニューが表示されるので、先ほどADで登録したアプリ名(ここでは「synapse」)を選択し、Selectを選択。

33
• [Review + assign]を選択し、設定内容を確認しもう一度[Review + assign]を選択します。

34
Qlik Replicate側の
設定

35
必要なクライアントのインストール
• Windows版Qlik Replicate
• ソースデータベースのすべてのバージョンについて、Microsoft ODBC Driver 17 (17.6) for SQL Server またはそれ以
上を Qlik Replicate Server マシンにインストールします。
• Linux版Qlik Replicate
• SQL Server用のMicrosoft ODBC Driver 13 (13.01.0009)以上をQlik Replicate Serverのマシンにインストー
ルしてください。

36
ポートの設定
• Replicate ServerがAzure外のマシン上で動作する場合 - アウトバウンドトラフィック用にポート1433を開きます。
• Replicate ServerがAzureVM上で動作する場合 - アウトバウンドトラフィック用に以下のポートを開きます。
• 1433
• 11000-11999
• 14000-14999

37
Qlik Replicateでの
エンドポイント定義

38
一般的な接続プロパティの設定
• Microsoft Azure Synapse AnalyticsのターゲットをQlik Replicateに追加するには、以下の手順で行います。
1. Qlik Replicate コンソールで [Manage Endpoint Connections] をクリックし、[Manage Endpoints Connections] ダイアログボックスを開
きます。
2. [Manage Endpoint Connections］ダイアログボックスで［New Endpoint Connection］をクリックします。
3. [Name］フィールドに、エンドポイント名を入力します。この名前は、Microsoft Azure Synapse Analyticsデータベースを識別するのに役立つ任
意の名前にすることができます。
4. [Description］フィールドに、Microsoft Azure Synapse Analytics対象データベースの識別に役立つ説明を入力します。これは任意の項目で
す。
5. [Role]として［Target］を選択します。
6. [Type］として［Microsoft Azure Synapse Analytics］を選択します。

39
7. 以下のSynapse ODBC Accessの情報を入力してください。 :
• Server name: Dedicated SQL endpointのURLを入力します。
• Authentication method: SQL認証またはAzure Active Directory認
証のいずれかを適切に選択します。
• Port: Microsoft Azure Synapse Analyticsに接続するためのポート番
号を指定します。
• User name: 登録されているMicrosoft Azure Synapse Analyticsユー
ザーのユーザー名を指定します。
• Password: user nameの欄に入力したユーザーのパスワードを指定します。
• Database name: ターゲットデータベース名を指定します。(ここでは、作成し
たsqlpool1を指定)
• 以下の中から適切なものを選択してください。 :
• Automatically create SQL Server Credential
• Use existing SQL Server Credential
※ レプリケーションタスク中、Microsoft Azure Synapse AnalyticsはSQL
Server Credentialを使用して外部データソースを認証します。実行時に自動的
にクレデンシャルを作成するようにReplicateを構成するか（デフォルト）、既存のク
レデンシャルを使用することができます。

40
8. [Azure Storage]セクションの「Storage type」ドロップダウンリストから、ストレージタイプを選択します。画像ではADLS Gen2を使用しています。
※ Qlik ReplicateがLinuxで動作している場合、Blobストレージオプションはサポートされません。
• Azure Blob Storageを選択した場合:
• [Azure Storage account name」欄に、コンテナへの書き込み権限を持つアカウント名を
指定します。
• [Container name］フィールドに、コンテナ名を指定します。
• コンテナ名は、Microsoft のガイドラインに準拠する必要があります。
• [Access key］フィールドで、アカウントのアクセスキーを指定します。
• [Folder］フィールドで、Blobストレージ上のデータファイルを作成する場所を指定します。
• Azure Data Lake Storage (ADLS) Gen2を選択した場合:
• [Storage account]: ストレージアカウント名を指定します。
• [Container]: フォルダやファイルを含むコンテナを指定します。 (ここでは、replicate)
• [Azure Active Directory ID］: Azure ADのDirectory(tenant) IDを指定します。
• [Azure Active Directory application ID］:Azure ADのApplication ID を指定しま
す。
• [Azure Active Directory application key]: Client secretを指定します。
• [Access key] : Storage accountのAccess keyを指定します。
• [Target folder]: 作成したディレクトリを[Browse...]のリストから選択します。 (ここでは、
landing)

41
高度な接続プロパティの設定
[Advanced ] タブでは、次のプロパティを設定できます。
• Max file size (MB): Microsoft Azure Synapse Analyticsへのデータ転送に使用するCSVファイルの最大サイズを選択または入力します。デフォルト
値は1024です。
• ODBC driver: Microsoft Azure Synapse Analyticsへの接続に使用しているデフォルトのODBCドライバの名前です。デフォルトのドライバーは「
ODBC Driver 17 for SQL Server」です。
• Additional ODBC connection properties: 必要に応じて、追加のODBC接続プロパティを入力します。
• Proxy server:
• Use proxy server: プロキシサーバー経由でMicrosoft Azure Synapse Analyticsにアクセスする場合は、このオプションを選択します。
• Host name: プロキシサーバのホスト名
• Port: プロキシサーバにアクセスする際のポート
• User name: プロキシサーバにアクセスするユーザー名
• Password: プロキシサーバにアクセスする際のパスワード

43
必要な権限
• Storage permissions: Microsoft Azure Synapse Analyticsのエンドポイント設定で指定するユーザーに、以下のスト
レージ権限を付与する必要があります。
• BlobストレージまたはADLS Gen2 storageのいずれかを使用する場合に適用されます。
• Azure Blob/ADLS Gen2 Storage container: LIST
• Azure Blob/ADLS Gen2 Storage folder。READ、WRITE、DELETE
• ADLS Gen2 storage を使用している場合のみ該当 :
• ADLS Gen2ファイルシステムのアクセスコントロール（IAM）の設定で、「Storage Blob Data Contributor」ロー
ルをReplicate（AD App ID）に割り当てます。ロールが有効になるまで数分かかることがあります。

44
必要な権限
• Table permissions: Microsoft Azure Synapse Analyticsのエンドポイント設定で指定したユーザーには、以下のテーブル
操作の権限を付与する必要があります。
• SELECT, INSERT, UPDATE and DELETE
• Bulk Load
• CREATE, ALTER, DROP (タスク定義で必要な場合)

45
必要なファイアウォールのポートを開く
• Replicate ServerがAzure外のマシン上で動作する場合 - アウトバウンドトラフィック用にポート1433を開きます。
• Replicate ServerがAzureVM上で動作する場合 - アウトバウンドトラフィック用に以下のポートを開きます。
• 1433
• 11000-11999
• 14000-14999

46
制限事項
• CHAR/VARCHARデータ型を持ち、ラテン語以外の照合順序（"Chinese_PRC_CI_AS "など）を持つソース列は、
NVARCHARにマッピングする必要があります。これは、レプリケーションタスク内のすべてのテーブルに対してグローバルな変換を定
義するか、特定のテーブルに対して単一の変換を定義することで行うことができます。
• Microsoft Azure Synapse Analyticsは、空（NULL）のカラムをサポートしていません。そのため、空の値を持つソース列を
複製する場合、Replicateは対応するターゲット列にスペースを挿入します。
• rename column DDLはサポートされていません。
• Qlik ReplicateがLinuxにインストールされている場合、Blobストレージはサポートされません。
• フルLOBレプリケーションはサポートされていません。
• 1MBを超えるレコードのレプリケーションはサポートされていません。

47
制限事項
• 変更処理（CDC）の制限 :
• 2000バイトを超えるBLOBカラムの変更のキャプチャはサポートされていません。
• 4000バイトを超えるCLOB/NCLOBカラムの変更のキャプチャはサポートされていません。

48
ターゲットデータ型
• Microsoft Azure Synapse Analytics Replicateエンドポイントは、ほとんどのMicrosoft Azure Synapse Analytics
データタイプをサポートしています。次の表は、Qlik Replicateの使用時にサポートされているMicrosoft Azure Synapse
Analyticsターゲットのデータタイプと、Qlik Replicateのデータタイプからのデフォルトのマッピングを示しています。

49
ターゲットデータ型
Qlik Replicate データ型 Azure Synapse データ型
BOOL BIT
BYTES If length is => 1 and =< 8000, then:
VARBINARY (Length in Bytes)
If length is => 8001 and =< 2147483647, then:
VARBINARY (8000)
DATE DATE
TIME TIME
DATETIME DATETIME2 (s)
INT1 SMALLINT
INT2 SMALLINT
INT4 INTEGER
INT8 BIGINT
NUMERIC DECIMAL (p,s)
REAL4 FLOAT(24)
REAL8 FLOAT(53)
STRING If length is => 1 and =< 8000, then:
VARCHAR (Length in Bytes)
VARCHAR (8000)
UINT1 TINYINT
UINT2 SMALLINT
UINT4 INTEGER
UINT8 BIGINT
Qlik Replicate データ型 Azure Synapse データ型
WSTRING If length is => 1 and =< 4000, then:
NVARCHAR (Length in Bytes)
NVARCHAR (4000)
BLOB Full Load:
VARBINARY (8000)
Change Processing:
VARBINARY (4000)
NCLOB NVARCHAR (4000)
CLOB Full Load:
VARCHAR (8000)
Change Processing:
VARCHAR (4000)

50
LOBサポート
• フルLOBデータタイプはサポートされていません。限定サイズのLOBデータタイプをレプリケーションに含める方法については、
「Customizing tasks」の「Metadata 」タブの説明を参照してください。

Azure Synapse Analyticsのターゲットエンドポイントとしての利用

More Related Content

What's hot (20)

Similar to Azure Synapse Analyticsのターゲットエンドポイントとしての利用 (20)

More from QlikPresalesJapan (20)

Recently uploaded (8)

Azure Synapse Analyticsのターゲットエンドポイントとしての利用