SlideShare a Scribd company logo
Qlik Talend Cloud
MySQL への接続(ソース・ターゲット)
PostgreSQL への接続(ソース・ターゲッ
ト)
Qlik Talend Cloud 勉強会 - #7
クリックテック・ジャパン株式会社
2024/09/03
Qlik Cloud データ統合 勉強会
*予定は予告なく変更する場合があります。
No 日付 内容
1 2024/06/04 基本の設定とゲートウェイの導入
2 2024/06/11 データパイプライン作成の基本動作
データのオンボーディングの機能と操作
データマートの作成と管理、系列・影響分析
3 2024/06/18 データ変換の機能と操作ー SQL 変換と変換フロー
4 2024/07/25 データレプリケーションタスクの機能と操作
5 2024/08/06 SaaS App への接続( Salesforce )
Snowflake への接続(ターゲット)
6 2024/08/27 SAP への接続(ソース)
No 日付 内容
7 2024/09/03 SaaS App への接続( Microsoft Dynamics CRM )
MySQL への接続(ソース・ターゲット)
PostgreSQL への接続(ソース・ターゲット)
Oracle への接続(ソース・ターゲット)
8 2024/09/10 IBM DB2 への接続(ソース)
Amazon S3 への接続ターゲット)
Amazon Redshift への接続(ターゲット)
9 2024/09/24 Azure Synapse Analytics への接続(ターゲット)
Microsoft Fabric への接続(ターゲット)
Azure Data Lake Storage への接続(ターゲット)
10 2024/10/01 Microsoft SQL Server への接続(ソース・ターゲット)
Databricks への接続(ターゲット)
Google BigQuery への接続(ターゲット)
Google Cloud Storage への接続ターゲット)
Qlik Cloud への接続(ターゲット)
YouTube プレイリスト
3
社内ネットワーク環
境
4
ソースとターゲットの接続の例
クラウド DWH
メインフレーム
データベース (MySQL/
PostgreSQL 等 )
SAP
Data
Movement
Gateway
(on Linux)
オンプレミスデータソース
クラウドデータソース
クラウド DWH
Qlik Talend
Cloud
Qlik Talend
Cloud
線の意味
実データの流れ
制御コマンドの流れ
ユーザの社内ネットワーク環境内の Data Movement Gateway を
介して、オンプレミスシステムのデータをクラウド DWH やデータ
ベースにアップロード
Qlik Talend Cloud が直接、 SaaS アプリやクラウドデータ
ベースのデータをクラウド DWH にアップロード
SaaS アプリ
クラウドデータベース
(MySQL/PostgreSQL 等 )
データベース
(MySQL/PostgreSQL 等 )
MySQL への接続(ソース)
5
6
ソースへの接続: MySQL (2024/9/3 の時点 )
ソースプラットフォーム レプリケー
ション
ソース
データパイプラ
イン
ソース
プライベート接
続経由でのアク
セス ( )
※
サポートされる
エディション
サポートさ
れる
バージョン
オンプレミ
ス
• MySQL
• Percona( 使用する場
合、 CDC の前提条件は関連
ありません )
• MariaDB
〇 〇 可能
(Data Movement
Gateway を利
用 )
• MySQL Community
Edition
• MySQL Standard
Edition
• MySQL Enterprise
Edition
• MySQL Cluster Carrier
Grade Edition
8.0 、 8.1
MariaDB は
10.4 ~
10.11
クラウド
ベース
• Amazon Aurora
• Amazon RDS for MySQL
• Amazon RDS for MariaDB
• Google Cloud SQL for
MySQL
• Microsoft Azure Database
for MySQL
〇 〇 可能
(Data Movement
Gateway を利
用 )
特に制限なし 8.0 、 8.1
Amazon RDS
for MariaDB
は
10.3 、 10.4
、 10.5
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/supported-sources.htm
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/MySQL/MySQL-source.htm
( )[Qlik Talend Data Integration
※ でのプライベート接続のサポート ]
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/Gateways/replication-gateway.htm#anchor-3
プライベート接続とは、データ ソースまたはターゲットがインターネットに公開されず、 Qlik Cloud からアクセスできないことを意味します。
Data source
• Data gateway: ユースケースに応じて Data Movement Gateway を選択します
• None または 管理コンソールに登録済みで接続されている Gateway サーバー
• Cloud provider: MySQL データベースがクラウドにある場合は、次のプロバイダーを
選択
• None ( オンプレミスの場合 )
• Amazon Aurora
• Amazon RDS
• Google Cloud
• Microsoft Azure
• Server と Port
Account properties
• User name と Password
SSL options
• SSL を使用してデータ ソースに接続するように Qlik Data Gateway – Data
Movement を構成できます
Database properties
• Database timezone
7
接続プロパティの設定
CDC properties
• Check binary log for changes every (seconds)
バイナリログの変更を確認する間隔 - データベースがアイドル状態のと
き ( つまり、ソーステーブルに変更が加えられていないとき ) にバイナリ
ログの変更を確認する頻度です。デフォルトは 5 秒です。通常、間隔を変
更する必要はありません。ただし、システムの負荷を軽減するために、次
のような状況では間隔を長くすることを推奨します
• データベースの更新頻度が少ない
• システムの変更をポーリングすると、システムの速度が低下する
• リアルタイムでの変更は不要である
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/MySQL/MySQL-source.htm
ドライバーのセットアップ
• Data Movement Gateway サーバーに、必要なドライバをインストールす
る
• ドライバーインストールユーティリティを使用したドライバーのイ
ンストール
• ドライバーの手動インストール ( 自動ドライバーのインストールが
正常に完了しなかった場合 )
前提条件が満たされていることを確認
• 必要な権限 ( 後述 ) の MySQL アカウント
• MySQL 8: Standard 認証が変更のキャプチャに使用されている
• サポートされている MySQL バージョンは、日付・時刻のデータ型に対す
る小数値をサポートしています (MySQL 5.6 より ) 。そのため、旧形式の
日付・時刻のデータ型形式の移動はサポートされません。新しいデータ型
形式にアップグレードする方法については、ベンダーのオンラインヘルプ
を参照してください
自分でインストールした MySQL データベースからの変更のキャプチャ
• バイナリログの有効化
• クラスターの場合の追加設定
• クラスターノードに対して接続することにより、クラスター (NDB)
テーブルを移動する場合
• ソースとして Percona を使用している場合、設定は不要
8
準備
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/MySQL/prereq-mysql-source.htm
Google Cloud for MySQL からの変更のキャプチャ
• バイナリ ログの有効化 ( デフォルト )
• レプリケーション
• セカンダリ サーバーから変更をキャプチャするには、バイナリ ログ パ
ラメータ log_slave_updates を true (1) に設定す
• https://cloud.google.com/sql/docs/mysql/replication
Amazon RDS for MySQL および Amazon Aurora for MySQL からの変更のキャ
プチャ
• バイナリログの有効化
• 新しいパラメータグループを作成して利用 ( binlog_format=row )
• レプリケーション
• セカンダリ サーバーから変更をキャプチャするには、バイナリ ログ パ
ラメータ log_slave_updates を true (1) に設定する
• https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/USER
_MySQL.Replication.html
Microsoft Azure Database for MySQL からの変更のキャプチャ
• バイナリ ログの有効化 ( デフォルト )
サポートされている MySQL のソースデータ型と、 Data Movement Gateway データ型へのデフォルトのマッピング
MySQL ベースのターゲットにデータをレプリケートする場合、同種レプリケーションで説明されている例外を除き、ソース
データ型とターゲットデータ型は同じ
9
対応しているデータ型
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/MySQL/mysql-source-data-types.htm
サポートされている MySQL のソースデータ型と、 Data Movement Gateway データ型へのデフォルトのマッピング
MySQL ベースのターゲットにデータをレプリケートする場合、同種レプリケーションで説明されている例外を除き、ソース
データ型とターゲットデータ型は同じ
10
対応しているデータ型 ( 続き )
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/MySQL/mysql-source-data-types.htm
• TIMESTAMP 列をレプリケートする場合、ターゲット上の時刻は UTC に変換される
• 次の Gateway 構成または操作はサポートされない
• 変更のみを適用するタスク
• タスクの停止と再開
• タイムスタンプからのタスクの起動
• タスク設定の [ フルロード設定 ] タブで [ ターゲットテーブルが既に存在する場合 ] が [ 何もしない ] に設定
• データ型は次の例外を除いて同一
• 照合順序
• テーブルと列の照合順序がターゲットにレプリケートされる
• NULL 不可の列とプライマリ / 一意のインデックス名は同種レプリケーション中に保持される
11
同種レプリケーション - MySQL から MySQL へレプリケーションを処理する方
法https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/MySQL/homogeneous_replication.htm
12
制限と考慮事項
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/MySQL/limitations-mysql-source.htm
13
制限と考慮事項 ( 続き )
• フルロードタスク
• ソーステーブルに対する SELECT 権限を持つ ReplicationAdmin ロール
• CDC タスク
• REPLICATION CLIENT および REPLICATION SLAVE 権限を持つ ReplicationAdmin ロール
• Microsoft Azure Database for MySQL 8.0 から変更をキャプチャする場合、ユーザーは標準認証
(Standard authentication) も持つ必要もあり
• 開いている XA トランザクションの確認
• タスクが初期化されると、 Data Movement Gateway は開いている XA トランザクション (2 フェーズコ
ミットプロトコルを使用するトランザクション ) があるかどうかを確認します
• そのクエリを実行できるようにするには、次の権限を付与する必要あり
• grant XA_RECOVER_ADMIN on *.* to 'userName'@'%';
14
必要な権限 - 接続設定で指定されたユーザー
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/MySQL/security-req-mysql-source.htm
MySQL への接続(ターゲッ
ト)
15
16
ターゲットへの接続:データベース (2024/9/3 の時点 )
ターゲットプラットフォーム レプリケーション
ターゲット
データパイプライ
ン
ターゲット
プライベート
接続経由での
アクセス ( )
※
サポートされる
バージョン
MySQL および
MariaDB
オンプレミスのサポートに加えて、次の
クラウドプラットフォームもサポート
• Amazon Aurora
• Microsoft Azure Database for MySQL
- Flexible Server
• Amazon RDS for MariaDB
• Amazon RDS for MySQL
• Google Cloud SQL for MySQL
• Microsoft Azure Database for MySQL
〇 × 可能
(Data
Movement
Gateway を利
用 )
8.0 、 8.1
MariaDB は
10.4 ~ 10.11
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/data-project-connections.htm
( )[Qlik Talend Data Integration
※ でのプライベート接続のサポート ]
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/Gateways/replication-gateway.htm#anchor-3
プライベート接続とは、データ ソースまたはターゲットがインターネットに公開されず、 Qlik Cloud からアクセスできないことを意味します。
Data target
• Data gateway: ユースケースに応じて Data Movement Gateway を選択します
• None または データソースへのアクセスに使用された Gateway サーバーと同
じ !!
• Cloud provider: MySQL データベースがクラウドにある場合は、次のプロバイダーを
選択
• None
• MySQL( オンプレミス ), MariaDB, Amazon Aurora, Microsoft Azure
Database for MySQL - Flexible Server
• Data Movement Gateway なしで作業する場合
• Amazon RDS
• Google Cloud
• Microsoft Azure
• Server と Port
Account properties
• User name と Password
17
接続プロパティの設定
Database properties
• Target Database Type
• Specific database
• すべてのソーススキーマが、指定されたデータベースにロード
されます
• Multiple databases
• 各ソーススキーマが対応するデータベースにロードされます
• デフォルトでは、すべてのコントロールテーブルが
attrep_control という新しいスキーマにレプリケートされます
• Max file size (KB)
• CSV ファイルが MySQL ターゲットデータベースにロードされる前に、
CSV ファイルの最大サイズ (KB 単位 ) を入力。デフォルト値は
32000KB
• Parallel load threads
• スレッドの数を増やすと、 MySQL ターゲットデータベースにデータ
をロードする際のパフォーマンスが向上する可能性があります
• スレッドごとに個別の接続が必要となるため、多数のスレッドを設定
するとデータベースのパフォーマンスに悪影響を及ぼす可能性がある
ことに注意してください
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/mysql-target.htm
接続するユーザーに必要な権限
• MySQL アカウントへのアクセス
• MySQL データベースの読み取り / 書き込み権限
• レプリケーションに関係する各ターゲットスキーマに対する次の権
限
• ALTER
• CREATE
• CREATE TEMPORARY TABLES
• DELETE
• DROP
• INSERT
• SELECT
• UPDATE
ドライバーのセットアップ
• Data Movement Gateway サーバーに、必要なドライバをインストー
ルする
• ドライバーインストールユーティリティを使用したドライ
バーのインストール
• ドライバーの手動インストール ( 自動ドライバーのインス
トールが正常に完了しなかった場合 )
18
準備
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/mysql-target.htm#anchor-2
制限と考慮事項
ネイティブデータタイプの情報は保持され、データセットビューの [ ネイティブデータタイプ ] 列に表示されます。列が表示
されない場合は、データセットビューの列ピッカーを開いて、 [ ネイティブデータタイプ ] 列を選択する必要があります
19
対応しているデータ型
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/mysql-target.htm#anchor-4
PostgreSQL への接続(ソー
ス)
20
21
ソースへの接続: PostgreSQL (2024/9/3 の時点 )
ソースプラットフォーム レプリケー
ション
ソース
データパイプ
ライン
ソース
プライベート接
続経由でのアク
セス ( )
※
サポートされる
バージョン
オンプレミ
ス
• PostgreSQL
• PostgreSQL オンプレミスソースは、 Microsoft Azure
Database for PostgreSQL - Flexible Server からの移
動もサポートします
〇 〇 可能
(Data Movement
Gateway を利
用 )
12.x 、 13.x 、 1
4.x 、 15.x 、 16
.x
クラウド
ベース
• Amazon Aurora Cloud for PostgreSQL
• Amazon RDS for PostgreSQL
• Microsoft Azure Database for PostgreSQL
• Google Cloud SQL for PostgreSQL(Data Movement
Gateway 2022.11.42 以降が必要 )
• Google Cloud AlloyDB for PostgreSQL(Data
Movement Gateway 2023.5.10 以降が必要 )
〇 〇 可能
(Data Movement
Gateway を利
用 )
12.x 、 13.x 、 1
4.x 、 15.x 、 16
.x
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/supported-sources.htm
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/PostgreSQL/postgresql-source.htm
( )[Qlik Talend Data Integration
※ でのプライベート接続のサポート ]
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/Gateways/replication-gateway.htm#anchor-3
プライベート接続とは、データ ソースまたはターゲットがインターネットに公開されず、 Qlik Cloud からアクセスできないことを意味します。
Data source
• Data gateway: ユースケースに応じて Data Movement Gateway を選択します
• None または 管理コンソールに登録済みで接続されている Gateway
サーバー
• Cloud provider: PostgreSQL データベースがクラウドにある場合は、次のプロ
バイダーを選択
• None ( オンプレミスの場合 )
• Amazon Aurora
• Amazon RDS
• Microsoft Azure
• Google Cloud (Data Movement Gateway 2022.11.42 以降が必要 )
• Server と Port
Account properties
• User name と Password
SSL options
• SSL を使用してデータ ソースに接続するように Qlik Data Gateway – Data
Movement を構成できます
22
接続プロパティの設定
CDC properties
• WAL heartbeat
• 実行中だが変更をキャプチャしていない CDC タスク ( ソーステーブルが非
アクティブであるため ) は、タスクに割り当てられたスロット内の LSN 位
置を占有し続けるため、 WAL の切り捨てが防止されます。 WAL はすべて
の PostgreSQL プロセスで使用されるサーバー全体のリソースであるため、
変更が長期間キャプチャされない場合、非常に大きくなる可能性がありま
す。これを防ぐには、 WAL ハートビートオプションを有効にします。この
オプションを有効にすると、 PostgreSQL ソースコネクタは、ハートビート
テーブルに定期的に疑似トランザクション ( 「ハートビート」と呼ばれる )
をコミットしてタスクアクティビティを模倣し、それによってタスクス
ロットの LSN 位置を進めます。
• Schema for heartbeat artifacts
• WAL ハートビートテーブル (attrep_wal_heartbeat) が作成されるス
キーマ。デフォルト値は「 public 」
• Heartbeat frequency (minutes)
• トランザクションをハートビートテーブルにコミットする頻度
DDL properties
• このオプションは、クラウドストレージターゲットへのレプリケートではサポー
トされません
• Capture DDL events: トリガーとその他のアーティファクトが作成される
• Create DDL artifacts in schema: デフォルト値は「 public 」
• ソース データベースからのアーティファクトの削除
• タスクを削除する場合は、これらのアーティファクトを削除できます
Internal properties
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/PostgreSQL/postgresql-source.htm
ドライバーのセットアップ
• Data Movement Gateway サーバーに、必要なドライバをインストールする
• ドライバーインストールユーティリティを使用したドライバーのインストー
ル
• ドライバーの手動インストール ( 自動ドライバーのインストールが正常に完
了しなかった場合 )
自分でインストールした MySQL データベースからの変更のキャプチャ
• Gateway サーバーの IP アドレスと「 replication 」キーワードを pg_hba.conf ファ
イルに追加
• 例 : host replication all 176.123.1.212/32 trust
• test_decoding 出力プラグインがインストール済み
• postgresql.conf ファイルを設定
• wal_level = logical
• max_replication_slots = number of replication slots( 実行タスク数に設定。
例 :3)
• wal_sender_timeout = 60s( 非アクティブな接続タイムアウト値。デフォルト
60 秒 )
Amazon RDS for PostgreSQL からの変更のキャプチャ
• 接続に、 AWS マスターユーザーアカウントを使用
• CDC を設定するのに必要な役割あり
• マスターユーザーアカウントを使用しない場合
• rds_superuser ロールと rds_replication ロールが必要
• データベースインスタンスの論理的複製を有効化
23
準備
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/PostgreSQL/prereq-postgresql-source-dmgateway.htm
Microsoft Azure for PostgreSQL からの変更のキャプチャ
• 「 replication 」プロパティを「 logical 」に設定
• 例 : az postgres server configuration set --resource-group azuredb --
server-name qlik-azure-pg --name azure.replication_support --value
logical
• データベースを再起動
Google Cloud SQL for PostgreSQL からの変更のキャプチャ
• Data Movement Gateway 2022.11.42 以降が必要
• 論理的レプリケーションを設定
• PostgreSQL 設定にフラグを設定
• cloudsql.logical_decoding = on
• max_replication_slots = number of replication slots( 実行タスク数に設定。
例 :3)
• max_wal_senders = N( 平行に実行できるタスク数 )
• 接続ユーザーがレプリケーションをサポートするよう変更
• 例 : ALTER USER username WITH REPLICATION;
サポートされている PostgreSQL のソースデータ型と、 Data Movement Gateway データ型へのデフォルトのマッピング
PostgreSQL ベースのターゲットにデータをレプリケートする場合、同種レプリケーションで説明されている例外を除き、
ソースデータ型とターゲットデータ型は同じ
24
対応しているデータ型
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/PostgreSQL/postgresql-data-types-source.htm
サポートされている PostgreSQL のソースデータ型と、 Data Movement Gateway データ型へのデフォルトのマッピング
PostgreSQL ベースのターゲットにデータをレプリケートする場合、同種レプリケーションで説明されている例外を除き、
ソースデータ型とターゲットデータ型は同じ
25
対応しているデータ型 ( 続き )
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/PostgreSQL/postgresql-data-types-source.htm
• 次の Gateway 構成または操作はサポートされない
• 変更のみを適用するタスク
• タスクの停止と再開
• タイムスタンプからのタスクの起動
• タスク設定の [ フルロード設定 ] タブで [ ターゲットテーブルが既に存在する場合 ] が [ 何もしない ] に設定
• データ型は右の表の例外を除いて同一
• 列とテーブルの照合順序はターゲットにレプリケートされる
• プライマリ / 一意のインデックス名は同種レプリケーション中に保持される
• パーティションされたテーブルのレプリケーションに必要な処理
• ターゲットデータベースに親テーブルと子テーブルを手動で作成
• これらのテーブルにレプリケートする別のタスクを定義
• Full load で [ ロード前に切り捨て ] オプションを設定
26
同種レプリケーション - PostgreSQL から PostgreSQL へレプリケーションを処理
する方法
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/PostgreSQL/postgresql-source-homog.htm
27
制限と考慮事項
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/PostgreSQL/postgresql-source-limitations.htm
28
制限と考慮事項 ( 続き )
• PostgreSQL データベースで次の権限を付与する必要あり
• フルロードタスク : Standard SELECT
• CDC タスク : Superuser
29
必要な権限 - 接続設定で指定されたユーザー
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Global_Common/Content/SharedReplicateHDD/PostgreSQL-Source/security_req_postgresql.htm
PostgreSQL への接続(ターゲッ
ト)
30
ターゲットへの接続:データベース (2024/9/3 の時点 )
ターゲットプラットフォーム レプリケー
ション
ターゲット
データパイプライ
ン
ターゲット
プライベート接続
経由でのアクセス
( )
※
サポートされる
バージョン
PostgreSQL
オンプレミスのサポートに加えて、次のクラ
ウドプラットフォームもサポート
• Amazon Aurora
• Azure Database for PostgreSQL - Flexible
Server
• Amazon RDS for PostgreSQL
• PostgreSQL 用 Google Cloud SQL
• PostgreSQL 用 Google Cloud AlloyDB
• Microsoft Azure Database for PostgreSQL
〇 × 可能
(Data Movement
Gateway を利用 )
12.x 、 13.x 、 14.x
、 15.x 、 16.x
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/data-project-connections.htm
( )[Qlik Talend Data Integration
※ でのプライベート接続のサポート ]
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/Gateways/replication-gateway.htm#anchor-3
プライベート接続とは、データ ソースまたはターゲットがインターネットに公開されず、 Qlik Cloud からアクセスできないことを意味します。
Data target
• Data gateway: ユースケースに応じて Data Movement Gateway を選択します
• None または データソースへのアクセスに使用された Gateway サーバー
と同じ !!
• Cloud provider: MySQL データベースがクラウドにある場合は、次のプロバイ
ダーを選択
• None
• PostgreSQL( オンプレミス )
• Amazon Aurora
• Azure Database for PostgreSQL - Flexible Server
• Data Movement Gateway なしで作業する場合
• Amazon RDS
• Google Cloud
• PostgreSQL 用 Google Cloud SQL
• PostgreSQL 用 Google Cloud AlloyDB
• Microsoft Azure
• Server と Port
Account properties
• User name と Password
32
接続プロパティの設定
Database properties
• Database name
• 方法 1 - リストから選択 : [Load databases]
• 方法 2 - 手動 : [Enter database name manually]
• SSL Mode
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/postgresql-target.htm
接続するユーザーに必要な権限
• Can login ( ログイン可能 )
• Create databases ( データベースの作成 )
• ターゲットのスキーマがデータベースにすでに存在する場合、「データベースの作成」権限は必要あ
りません
ドライバーのセットアップ
• Data Movement Gateway サーバーに、必要なドライバをインストールする
• ドライバーインストールユーティリティを使用したドライバーのインストール
• ドライバーの手動インストール ( 自動ドライバーのインストールが正常に完了しなかった場合 )
33
準備
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/postgresql-target.htm#anchor-2
制限と考慮事項
ネイティブデータタイプの情報は保持され、データセットビューの [ ネイティブデータタイプ ] 列に表示されます。列が表示
されない場合は、データセットビューの列ピッカーを開いて、 [ ネイティブデータタイプ ] 列を選択する必要があります
34
対応しているデータ型
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/postgresql-target.htm#anchor-4
Thank you !
35

More Related Content

PPTX
Qlik Talend Cloud しっかり学ぶ勉強会 #10 SQLServer(Microsoft CDCベース)への接続
PPTX
Qlik Talend Cloud しっかり学ぶ勉強会 #10 SQLServer(オンプレミス)への接続.pptx
PPTX
QCDI勉強会_20240604_QCDI_基本の設定とゲートウェイのインストール
PPTX
Qlik Talend Cloud しっかり学ぶ勉強会 #10 SQLServerとの接続_ターゲット
PPTX
Qlik Cloudデータ統合:Data Gateway - Data Movementのセットアップ
PPTX
Qlik Talend Cloudしっかり学ぶ勉強会 - Amazon Redshiftとの接続.pptx
PPTX
Qlik Talend Cloud (旧Qlik Cloud データ統合) しっかり学ぶ勉強会 #5 - Snowflakeへの接続
PPTX
Qlik Talend Cloud しっかり学ぶ勉強会 #10 Google BigQuery, Google Cloud Storage and Dat...
Qlik Talend Cloud しっかり学ぶ勉強会 #10 SQLServer(Microsoft CDCベース)への接続
Qlik Talend Cloud しっかり学ぶ勉強会 #10 SQLServer(オンプレミス)への接続.pptx
QCDI勉強会_20240604_QCDI_基本の設定とゲートウェイのインストール
Qlik Talend Cloud しっかり学ぶ勉強会 #10 SQLServerとの接続_ターゲット
Qlik Cloudデータ統合:Data Gateway - Data Movementのセットアップ
Qlik Talend Cloudしっかり学ぶ勉強会 - Amazon Redshiftとの接続.pptx
Qlik Talend Cloud (旧Qlik Cloud データ統合) しっかり学ぶ勉強会 #5 - Snowflakeへの接続
Qlik Talend Cloud しっかり学ぶ勉強会 #10 Google BigQuery, Google Cloud Storage and Dat...

Similar to Qlik Talend Cloud - MySQLへの接続(ソース・ターゲット), PostgreSQLへの接続(ソース・ターゲット) (20)

PPTX
02_3_20240611_Qlik Cloud データ統合 しっかり学ぶ勉強会 #2 - データパイプラインの作成「データの管理(簡単なデータ変換)」
PPTX
03 Qlik Cloud データ統合 しっかり学ぶ勉強会 #3 データ変換 タスク監視
PPTX
Qlik Talend Cloud 勉強会 - #11:Qlik Talend Data Integration Microsoft Fabricターゲッ...
PPTX
Qlik Talend Cloud概要:リアルタイムデータ統合とデータ品質を実現するデータファブリック
PPTX
Qlik Talend Cloudしっかり学ぶ勉強会 #8 「データソース IBM DB2接続」
PPTX
Qlikデータ統合・品質関連機能を完全おさらい! Qlik Talend Cloudの概要紹介
PPTX
Qlik Talend Cloud しっかり学ぶ勉強会 #6 - 1 -SAPへの接続
PPTX
Qlik TECH TALK 20220823 SaaS Migration
PDF
Qlik Talend Cloud しっかり学ぶ勉強会 #7 Oracleへの接続
PPTX
Qlik Talend Cloudしっかり学ぶ勉強会 #7 各種データソースへの接続 - Dynamics365との接続
PPTX
Microsoft Azure SQLデータベースのターゲットエンドポイントとしての利用
PPTX
Qlik Talend Cloudしっかり学ぶ勉強会 #8 - Amazon S3 との接続.pptx
PPTX
2024-08-06 Qlik Talend Cloud しっかり学ぶ勉強会 #5 - 1 SaaSアプリケーションへの接続
PPTX
Qlik Talend Cloudしっかり学ぶ勉強会 #11 - ターゲット:Qlik Cloud への接続
PPTX
MySQLのソース・ターゲットエンドポイントとしての利用
PDF
Linux 対応だけじゃない!! sql server 2017 こんな機能が追加されています。
PDF
02_1_20240611_Qlik Cloudデータ統合_データパイプラインの作成「基本動作」
PPTX
Azure Database for MySQL PostgreSQLを使って運用の手間を省きませんか?
PPTX
Hybrid Data Deliveryを活用してオンプレミスデータをQlik Cloudでリアルタイム活用!
PDF
RDS(MySQL)の利用と注意点
02_3_20240611_Qlik Cloud データ統合 しっかり学ぶ勉強会 #2 - データパイプラインの作成「データの管理(簡単なデータ変換)」
03 Qlik Cloud データ統合 しっかり学ぶ勉強会 #3 データ変換 タスク監視
Qlik Talend Cloud 勉強会 - #11:Qlik Talend Data Integration Microsoft Fabricターゲッ...
Qlik Talend Cloud概要:リアルタイムデータ統合とデータ品質を実現するデータファブリック
Qlik Talend Cloudしっかり学ぶ勉強会 #8 「データソース IBM DB2接続」
Qlikデータ統合・品質関連機能を完全おさらい! Qlik Talend Cloudの概要紹介
Qlik Talend Cloud しっかり学ぶ勉強会 #6 - 1 -SAPへの接続
Qlik TECH TALK 20220823 SaaS Migration
Qlik Talend Cloud しっかり学ぶ勉強会 #7 Oracleへの接続
Qlik Talend Cloudしっかり学ぶ勉強会 #7 各種データソースへの接続 - Dynamics365との接続
Microsoft Azure SQLデータベースのターゲットエンドポイントとしての利用
Qlik Talend Cloudしっかり学ぶ勉強会 #8 - Amazon S3 との接続.pptx
2024-08-06 Qlik Talend Cloud しっかり学ぶ勉強会 #5 - 1 SaaSアプリケーションへの接続
Qlik Talend Cloudしっかり学ぶ勉強会 #11 - ターゲット:Qlik Cloud への接続
MySQLのソース・ターゲットエンドポイントとしての利用
Linux 対応だけじゃない!! sql server 2017 こんな機能が追加されています。
02_1_20240611_Qlik Cloudデータ統合_データパイプラインの作成「基本動作」
Azure Database for MySQL PostgreSQLを使って運用の手間を省きませんか?
Hybrid Data Deliveryを活用してオンプレミスデータをQlik Cloudでリアルタイム活用!
RDS(MySQL)の利用と注意点
Ad

More from QlikPresalesJapan (20)

PDF
Qlik TECH TALK セミナー:What's New In Qlik ~ 2025年7月リリース最新機能のご紹介
PPTX
【Qlik 医療データ活用勉強会】第50回 日本医療マネジメント学会参加報告、DPCデータの活用等
PPTX
20250729_TechTalk_QlikTalendCloud_データ品質とデータガバナンス
PDF
20250722_TECH TALK 事例発表 Qlikを活用したSAPデータ活用の事例紹介
PDF
20250722_TECH TALK 事例発表 データ活用で未来を拓く!AI/機械学習が導くビジネス変革事例
PPTX
Powering Performance: メルセデス・ベンツにおけるDatabricksとQlikのリアルなユースケース
PPTX
Qlik Cloud Analytics HTMLによるレポートテンプレートの作成方法
PPTX
Snowflakeでキーペア認証を行う ~ Talend Studio, Qlik Cloud, Qlik Replicate ~
PPTX
Qlik TECH TALK セミナー:What's New In Qlik ~ 2025年6月リリース最新機能のご紹介 ~
PDF
Qlik Cloud Analyticsの機能を全部知ってますか? Qlik Cloud Analyticsの機能概要紹介
PDF
Qlik TECH TALK セミナー:What's New In Qlik ~ 2025年5月リリース最新機能のご紹介
PPTX
【Qlik 医療データ活用勉強会】DPC機能評価係数Ⅱ(2025年度)の内訳データの分析
PPTX
Qlik TECH TALK セミナー:Qlik Talend CloudのDatabricksデータ連携ベストプラクティス
PPTX
Qlik Talend CloudのSnowflakeデータ連携ベストプラクティス
PPTX
【無料ハンズオンセミナー】 20250513_Qlik Talend Cloud と Snowflake による最新のデータ統合と変換の実践.pptx
PPTX
Qlik TECH TALK セミナー:What's New In Qlik ~ 2025年4月リリース最新機能のご紹介 ~
PPTX
【Qlik 医療データ活用勉強会】令和5年度DPC「退院患者調査」データの活用(過年度と比較した二次医療圏の変化)
PPTX
2025-04-22 Qlik Tips QTC パイプラインのGitHub連携
PPTX
QlikTips: Qlik Cloud REST APIでユーザー登録(Node.js)
PDF
20250422_Qlik_Tips_AutoCalendar セッション用資料
Qlik TECH TALK セミナー:What's New In Qlik ~ 2025年7月リリース最新機能のご紹介
【Qlik 医療データ活用勉強会】第50回 日本医療マネジメント学会参加報告、DPCデータの活用等
20250729_TechTalk_QlikTalendCloud_データ品質とデータガバナンス
20250722_TECH TALK 事例発表 Qlikを活用したSAPデータ活用の事例紹介
20250722_TECH TALK 事例発表 データ活用で未来を拓く!AI/機械学習が導くビジネス変革事例
Powering Performance: メルセデス・ベンツにおけるDatabricksとQlikのリアルなユースケース
Qlik Cloud Analytics HTMLによるレポートテンプレートの作成方法
Snowflakeでキーペア認証を行う ~ Talend Studio, Qlik Cloud, Qlik Replicate ~
Qlik TECH TALK セミナー:What's New In Qlik ~ 2025年6月リリース最新機能のご紹介 ~
Qlik Cloud Analyticsの機能を全部知ってますか? Qlik Cloud Analyticsの機能概要紹介
Qlik TECH TALK セミナー:What's New In Qlik ~ 2025年5月リリース最新機能のご紹介
【Qlik 医療データ活用勉強会】DPC機能評価係数Ⅱ(2025年度)の内訳データの分析
Qlik TECH TALK セミナー:Qlik Talend CloudのDatabricksデータ連携ベストプラクティス
Qlik Talend CloudのSnowflakeデータ連携ベストプラクティス
【無料ハンズオンセミナー】 20250513_Qlik Talend Cloud と Snowflake による最新のデータ統合と変換の実践.pptx
Qlik TECH TALK セミナー:What's New In Qlik ~ 2025年4月リリース最新機能のご紹介 ~
【Qlik 医療データ活用勉強会】令和5年度DPC「退院患者調査」データの活用(過年度と比較した二次医療圏の変化)
2025-04-22 Qlik Tips QTC パイプラインのGitHub連携
QlikTips: Qlik Cloud REST APIでユーザー登録(Node.js)
20250422_Qlik_Tips_AutoCalendar セッション用資料
Ad

Qlik Talend Cloud - MySQLへの接続(ソース・ターゲット), PostgreSQLへの接続(ソース・ターゲット)

  • 1. Qlik Talend Cloud MySQL への接続(ソース・ターゲット) PostgreSQL への接続(ソース・ターゲッ ト) Qlik Talend Cloud 勉強会 - #7 クリックテック・ジャパン株式会社 2024/09/03
  • 2. Qlik Cloud データ統合 勉強会 *予定は予告なく変更する場合があります。 No 日付 内容 1 2024/06/04 基本の設定とゲートウェイの導入 2 2024/06/11 データパイプライン作成の基本動作 データのオンボーディングの機能と操作 データマートの作成と管理、系列・影響分析 3 2024/06/18 データ変換の機能と操作ー SQL 変換と変換フロー 4 2024/07/25 データレプリケーションタスクの機能と操作 5 2024/08/06 SaaS App への接続( Salesforce ) Snowflake への接続(ターゲット) 6 2024/08/27 SAP への接続(ソース) No 日付 内容 7 2024/09/03 SaaS App への接続( Microsoft Dynamics CRM ) MySQL への接続(ソース・ターゲット) PostgreSQL への接続(ソース・ターゲット) Oracle への接続(ソース・ターゲット) 8 2024/09/10 IBM DB2 への接続(ソース) Amazon S3 への接続ターゲット) Amazon Redshift への接続(ターゲット) 9 2024/09/24 Azure Synapse Analytics への接続(ターゲット) Microsoft Fabric への接続(ターゲット) Azure Data Lake Storage への接続(ターゲット) 10 2024/10/01 Microsoft SQL Server への接続(ソース・ターゲット) Databricks への接続(ターゲット) Google BigQuery への接続(ターゲット) Google Cloud Storage への接続ターゲット) Qlik Cloud への接続(ターゲット) YouTube プレイリスト
  • 3. 3
  • 4. 社内ネットワーク環 境 4 ソースとターゲットの接続の例 クラウド DWH メインフレーム データベース (MySQL/ PostgreSQL 等 ) SAP Data Movement Gateway (on Linux) オンプレミスデータソース クラウドデータソース クラウド DWH Qlik Talend Cloud Qlik Talend Cloud 線の意味 実データの流れ 制御コマンドの流れ ユーザの社内ネットワーク環境内の Data Movement Gateway を 介して、オンプレミスシステムのデータをクラウド DWH やデータ ベースにアップロード Qlik Talend Cloud が直接、 SaaS アプリやクラウドデータ ベースのデータをクラウド DWH にアップロード SaaS アプリ クラウドデータベース (MySQL/PostgreSQL 等 ) データベース (MySQL/PostgreSQL 等 )
  • 6. 6 ソースへの接続: MySQL (2024/9/3 の時点 ) ソースプラットフォーム レプリケー ション ソース データパイプラ イン ソース プライベート接 続経由でのアク セス ( ) ※ サポートされる エディション サポートさ れる バージョン オンプレミ ス • MySQL • Percona( 使用する場 合、 CDC の前提条件は関連 ありません ) • MariaDB 〇 〇 可能 (Data Movement Gateway を利 用 ) • MySQL Community Edition • MySQL Standard Edition • MySQL Enterprise Edition • MySQL Cluster Carrier Grade Edition 8.0 、 8.1 MariaDB は 10.4 ~ 10.11 クラウド ベース • Amazon Aurora • Amazon RDS for MySQL • Amazon RDS for MariaDB • Google Cloud SQL for MySQL • Microsoft Azure Database for MySQL 〇 〇 可能 (Data Movement Gateway を利 用 ) 特に制限なし 8.0 、 8.1 Amazon RDS for MariaDB は 10.3 、 10.4 、 10.5 https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/supported-sources.htm https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/MySQL/MySQL-source.htm ( )[Qlik Talend Data Integration ※ でのプライベート接続のサポート ] https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/Gateways/replication-gateway.htm#anchor-3 プライベート接続とは、データ ソースまたはターゲットがインターネットに公開されず、 Qlik Cloud からアクセスできないことを意味します。
  • 7. Data source • Data gateway: ユースケースに応じて Data Movement Gateway を選択します • None または 管理コンソールに登録済みで接続されている Gateway サーバー • Cloud provider: MySQL データベースがクラウドにある場合は、次のプロバイダーを 選択 • None ( オンプレミスの場合 ) • Amazon Aurora • Amazon RDS • Google Cloud • Microsoft Azure • Server と Port Account properties • User name と Password SSL options • SSL を使用してデータ ソースに接続するように Qlik Data Gateway – Data Movement を構成できます Database properties • Database timezone 7 接続プロパティの設定 CDC properties • Check binary log for changes every (seconds) バイナリログの変更を確認する間隔 - データベースがアイドル状態のと き ( つまり、ソーステーブルに変更が加えられていないとき ) にバイナリ ログの変更を確認する頻度です。デフォルトは 5 秒です。通常、間隔を変 更する必要はありません。ただし、システムの負荷を軽減するために、次 のような状況では間隔を長くすることを推奨します • データベースの更新頻度が少ない • システムの変更をポーリングすると、システムの速度が低下する • リアルタイムでの変更は不要である https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/MySQL/MySQL-source.htm
  • 8. ドライバーのセットアップ • Data Movement Gateway サーバーに、必要なドライバをインストールす る • ドライバーインストールユーティリティを使用したドライバーのイ ンストール • ドライバーの手動インストール ( 自動ドライバーのインストールが 正常に完了しなかった場合 ) 前提条件が満たされていることを確認 • 必要な権限 ( 後述 ) の MySQL アカウント • MySQL 8: Standard 認証が変更のキャプチャに使用されている • サポートされている MySQL バージョンは、日付・時刻のデータ型に対す る小数値をサポートしています (MySQL 5.6 より ) 。そのため、旧形式の 日付・時刻のデータ型形式の移動はサポートされません。新しいデータ型 形式にアップグレードする方法については、ベンダーのオンラインヘルプ を参照してください 自分でインストールした MySQL データベースからの変更のキャプチャ • バイナリログの有効化 • クラスターの場合の追加設定 • クラスターノードに対して接続することにより、クラスター (NDB) テーブルを移動する場合 • ソースとして Percona を使用している場合、設定は不要 8 準備 https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/MySQL/prereq-mysql-source.htm Google Cloud for MySQL からの変更のキャプチャ • バイナリ ログの有効化 ( デフォルト ) • レプリケーション • セカンダリ サーバーから変更をキャプチャするには、バイナリ ログ パ ラメータ log_slave_updates を true (1) に設定す • https://cloud.google.com/sql/docs/mysql/replication Amazon RDS for MySQL および Amazon Aurora for MySQL からの変更のキャ プチャ • バイナリログの有効化 • 新しいパラメータグループを作成して利用 ( binlog_format=row ) • レプリケーション • セカンダリ サーバーから変更をキャプチャするには、バイナリ ログ パ ラメータ log_slave_updates を true (1) に設定する • https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/USER _MySQL.Replication.html Microsoft Azure Database for MySQL からの変更のキャプチャ • バイナリ ログの有効化 ( デフォルト )
  • 9. サポートされている MySQL のソースデータ型と、 Data Movement Gateway データ型へのデフォルトのマッピング MySQL ベースのターゲットにデータをレプリケートする場合、同種レプリケーションで説明されている例外を除き、ソース データ型とターゲットデータ型は同じ 9 対応しているデータ型 https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/MySQL/mysql-source-data-types.htm
  • 10. サポートされている MySQL のソースデータ型と、 Data Movement Gateway データ型へのデフォルトのマッピング MySQL ベースのターゲットにデータをレプリケートする場合、同種レプリケーションで説明されている例外を除き、ソース データ型とターゲットデータ型は同じ 10 対応しているデータ型 ( 続き ) https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/MySQL/mysql-source-data-types.htm
  • 11. • TIMESTAMP 列をレプリケートする場合、ターゲット上の時刻は UTC に変換される • 次の Gateway 構成または操作はサポートされない • 変更のみを適用するタスク • タスクの停止と再開 • タイムスタンプからのタスクの起動 • タスク設定の [ フルロード設定 ] タブで [ ターゲットテーブルが既に存在する場合 ] が [ 何もしない ] に設定 • データ型は次の例外を除いて同一 • 照合順序 • テーブルと列の照合順序がターゲットにレプリケートされる • NULL 不可の列とプライマリ / 一意のインデックス名は同種レプリケーション中に保持される 11 同種レプリケーション - MySQL から MySQL へレプリケーションを処理する方 法https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/MySQL/homogeneous_replication.htm
  • 14. • フルロードタスク • ソーステーブルに対する SELECT 権限を持つ ReplicationAdmin ロール • CDC タスク • REPLICATION CLIENT および REPLICATION SLAVE 権限を持つ ReplicationAdmin ロール • Microsoft Azure Database for MySQL 8.0 から変更をキャプチャする場合、ユーザーは標準認証 (Standard authentication) も持つ必要もあり • 開いている XA トランザクションの確認 • タスクが初期化されると、 Data Movement Gateway は開いている XA トランザクション (2 フェーズコ ミットプロトコルを使用するトランザクション ) があるかどうかを確認します • そのクエリを実行できるようにするには、次の権限を付与する必要あり • grant XA_RECOVER_ADMIN on *.* to 'userName'@'%'; 14 必要な権限 - 接続設定で指定されたユーザー https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/MySQL/security-req-mysql-source.htm
  • 16. 16 ターゲットへの接続:データベース (2024/9/3 の時点 ) ターゲットプラットフォーム レプリケーション ターゲット データパイプライ ン ターゲット プライベート 接続経由での アクセス ( ) ※ サポートされる バージョン MySQL および MariaDB オンプレミスのサポートに加えて、次の クラウドプラットフォームもサポート • Amazon Aurora • Microsoft Azure Database for MySQL - Flexible Server • Amazon RDS for MariaDB • Amazon RDS for MySQL • Google Cloud SQL for MySQL • Microsoft Azure Database for MySQL 〇 × 可能 (Data Movement Gateway を利 用 ) 8.0 、 8.1 MariaDB は 10.4 ~ 10.11 https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/data-project-connections.htm ( )[Qlik Talend Data Integration ※ でのプライベート接続のサポート ] https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/Gateways/replication-gateway.htm#anchor-3 プライベート接続とは、データ ソースまたはターゲットがインターネットに公開されず、 Qlik Cloud からアクセスできないことを意味します。
  • 17. Data target • Data gateway: ユースケースに応じて Data Movement Gateway を選択します • None または データソースへのアクセスに使用された Gateway サーバーと同 じ !! • Cloud provider: MySQL データベースがクラウドにある場合は、次のプロバイダーを 選択 • None • MySQL( オンプレミス ), MariaDB, Amazon Aurora, Microsoft Azure Database for MySQL - Flexible Server • Data Movement Gateway なしで作業する場合 • Amazon RDS • Google Cloud • Microsoft Azure • Server と Port Account properties • User name と Password 17 接続プロパティの設定 Database properties • Target Database Type • Specific database • すべてのソーススキーマが、指定されたデータベースにロード されます • Multiple databases • 各ソーススキーマが対応するデータベースにロードされます • デフォルトでは、すべてのコントロールテーブルが attrep_control という新しいスキーマにレプリケートされます • Max file size (KB) • CSV ファイルが MySQL ターゲットデータベースにロードされる前に、 CSV ファイルの最大サイズ (KB 単位 ) を入力。デフォルト値は 32000KB • Parallel load threads • スレッドの数を増やすと、 MySQL ターゲットデータベースにデータ をロードする際のパフォーマンスが向上する可能性があります • スレッドごとに個別の接続が必要となるため、多数のスレッドを設定 するとデータベースのパフォーマンスに悪影響を及ぼす可能性がある ことに注意してください https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/mysql-target.htm
  • 18. 接続するユーザーに必要な権限 • MySQL アカウントへのアクセス • MySQL データベースの読み取り / 書き込み権限 • レプリケーションに関係する各ターゲットスキーマに対する次の権 限 • ALTER • CREATE • CREATE TEMPORARY TABLES • DELETE • DROP • INSERT • SELECT • UPDATE ドライバーのセットアップ • Data Movement Gateway サーバーに、必要なドライバをインストー ルする • ドライバーインストールユーティリティを使用したドライ バーのインストール • ドライバーの手動インストール ( 自動ドライバーのインス トールが正常に完了しなかった場合 ) 18 準備 https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/mysql-target.htm#anchor-2 制限と考慮事項
  • 19. ネイティブデータタイプの情報は保持され、データセットビューの [ ネイティブデータタイプ ] 列に表示されます。列が表示 されない場合は、データセットビューの列ピッカーを開いて、 [ ネイティブデータタイプ ] 列を選択する必要があります 19 対応しているデータ型 https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/mysql-target.htm#anchor-4
  • 21. 21 ソースへの接続: PostgreSQL (2024/9/3 の時点 ) ソースプラットフォーム レプリケー ション ソース データパイプ ライン ソース プライベート接 続経由でのアク セス ( ) ※ サポートされる バージョン オンプレミ ス • PostgreSQL • PostgreSQL オンプレミスソースは、 Microsoft Azure Database for PostgreSQL - Flexible Server からの移 動もサポートします 〇 〇 可能 (Data Movement Gateway を利 用 ) 12.x 、 13.x 、 1 4.x 、 15.x 、 16 .x クラウド ベース • Amazon Aurora Cloud for PostgreSQL • Amazon RDS for PostgreSQL • Microsoft Azure Database for PostgreSQL • Google Cloud SQL for PostgreSQL(Data Movement Gateway 2022.11.42 以降が必要 ) • Google Cloud AlloyDB for PostgreSQL(Data Movement Gateway 2023.5.10 以降が必要 ) 〇 〇 可能 (Data Movement Gateway を利 用 ) 12.x 、 13.x 、 1 4.x 、 15.x 、 16 .x https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/supported-sources.htm https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/PostgreSQL/postgresql-source.htm ( )[Qlik Talend Data Integration ※ でのプライベート接続のサポート ] https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/Gateways/replication-gateway.htm#anchor-3 プライベート接続とは、データ ソースまたはターゲットがインターネットに公開されず、 Qlik Cloud からアクセスできないことを意味します。
  • 22. Data source • Data gateway: ユースケースに応じて Data Movement Gateway を選択します • None または 管理コンソールに登録済みで接続されている Gateway サーバー • Cloud provider: PostgreSQL データベースがクラウドにある場合は、次のプロ バイダーを選択 • None ( オンプレミスの場合 ) • Amazon Aurora • Amazon RDS • Microsoft Azure • Google Cloud (Data Movement Gateway 2022.11.42 以降が必要 ) • Server と Port Account properties • User name と Password SSL options • SSL を使用してデータ ソースに接続するように Qlik Data Gateway – Data Movement を構成できます 22 接続プロパティの設定 CDC properties • WAL heartbeat • 実行中だが変更をキャプチャしていない CDC タスク ( ソーステーブルが非 アクティブであるため ) は、タスクに割り当てられたスロット内の LSN 位 置を占有し続けるため、 WAL の切り捨てが防止されます。 WAL はすべて の PostgreSQL プロセスで使用されるサーバー全体のリソースであるため、 変更が長期間キャプチャされない場合、非常に大きくなる可能性がありま す。これを防ぐには、 WAL ハートビートオプションを有効にします。この オプションを有効にすると、 PostgreSQL ソースコネクタは、ハートビート テーブルに定期的に疑似トランザクション ( 「ハートビート」と呼ばれる ) をコミットしてタスクアクティビティを模倣し、それによってタスクス ロットの LSN 位置を進めます。 • Schema for heartbeat artifacts • WAL ハートビートテーブル (attrep_wal_heartbeat) が作成されるス キーマ。デフォルト値は「 public 」 • Heartbeat frequency (minutes) • トランザクションをハートビートテーブルにコミットする頻度 DDL properties • このオプションは、クラウドストレージターゲットへのレプリケートではサポー トされません • Capture DDL events: トリガーとその他のアーティファクトが作成される • Create DDL artifacts in schema: デフォルト値は「 public 」 • ソース データベースからのアーティファクトの削除 • タスクを削除する場合は、これらのアーティファクトを削除できます Internal properties https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/PostgreSQL/postgresql-source.htm
  • 23. ドライバーのセットアップ • Data Movement Gateway サーバーに、必要なドライバをインストールする • ドライバーインストールユーティリティを使用したドライバーのインストー ル • ドライバーの手動インストール ( 自動ドライバーのインストールが正常に完 了しなかった場合 ) 自分でインストールした MySQL データベースからの変更のキャプチャ • Gateway サーバーの IP アドレスと「 replication 」キーワードを pg_hba.conf ファ イルに追加 • 例 : host replication all 176.123.1.212/32 trust • test_decoding 出力プラグインがインストール済み • postgresql.conf ファイルを設定 • wal_level = logical • max_replication_slots = number of replication slots( 実行タスク数に設定。 例 :3) • wal_sender_timeout = 60s( 非アクティブな接続タイムアウト値。デフォルト 60 秒 ) Amazon RDS for PostgreSQL からの変更のキャプチャ • 接続に、 AWS マスターユーザーアカウントを使用 • CDC を設定するのに必要な役割あり • マスターユーザーアカウントを使用しない場合 • rds_superuser ロールと rds_replication ロールが必要 • データベースインスタンスの論理的複製を有効化 23 準備 https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/PostgreSQL/prereq-postgresql-source-dmgateway.htm Microsoft Azure for PostgreSQL からの変更のキャプチャ • 「 replication 」プロパティを「 logical 」に設定 • 例 : az postgres server configuration set --resource-group azuredb -- server-name qlik-azure-pg --name azure.replication_support --value logical • データベースを再起動 Google Cloud SQL for PostgreSQL からの変更のキャプチャ • Data Movement Gateway 2022.11.42 以降が必要 • 論理的レプリケーションを設定 • PostgreSQL 設定にフラグを設定 • cloudsql.logical_decoding = on • max_replication_slots = number of replication slots( 実行タスク数に設定。 例 :3) • max_wal_senders = N( 平行に実行できるタスク数 ) • 接続ユーザーがレプリケーションをサポートするよう変更 • 例 : ALTER USER username WITH REPLICATION;
  • 24. サポートされている PostgreSQL のソースデータ型と、 Data Movement Gateway データ型へのデフォルトのマッピング PostgreSQL ベースのターゲットにデータをレプリケートする場合、同種レプリケーションで説明されている例外を除き、 ソースデータ型とターゲットデータ型は同じ 24 対応しているデータ型 https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/PostgreSQL/postgresql-data-types-source.htm
  • 25. サポートされている PostgreSQL のソースデータ型と、 Data Movement Gateway データ型へのデフォルトのマッピング PostgreSQL ベースのターゲットにデータをレプリケートする場合、同種レプリケーションで説明されている例外を除き、 ソースデータ型とターゲットデータ型は同じ 25 対応しているデータ型 ( 続き ) https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/PostgreSQL/postgresql-data-types-source.htm
  • 26. • 次の Gateway 構成または操作はサポートされない • 変更のみを適用するタスク • タスクの停止と再開 • タイムスタンプからのタスクの起動 • タスク設定の [ フルロード設定 ] タブで [ ターゲットテーブルが既に存在する場合 ] が [ 何もしない ] に設定 • データ型は右の表の例外を除いて同一 • 列とテーブルの照合順序はターゲットにレプリケートされる • プライマリ / 一意のインデックス名は同種レプリケーション中に保持される • パーティションされたテーブルのレプリケーションに必要な処理 • ターゲットデータベースに親テーブルと子テーブルを手動で作成 • これらのテーブルにレプリケートする別のタスクを定義 • Full load で [ ロード前に切り捨て ] オプションを設定 26 同種レプリケーション - PostgreSQL から PostgreSQL へレプリケーションを処理 する方法 https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/PostgreSQL/postgresql-source-homog.htm
  • 29. • PostgreSQL データベースで次の権限を付与する必要あり • フルロードタスク : Standard SELECT • CDC タスク : Superuser 29 必要な権限 - 接続設定で指定されたユーザー https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Global_Common/Content/SharedReplicateHDD/PostgreSQL-Source/security_req_postgresql.htm
  • 31. ターゲットへの接続:データベース (2024/9/3 の時点 ) ターゲットプラットフォーム レプリケー ション ターゲット データパイプライ ン ターゲット プライベート接続 経由でのアクセス ( ) ※ サポートされる バージョン PostgreSQL オンプレミスのサポートに加えて、次のクラ ウドプラットフォームもサポート • Amazon Aurora • Azure Database for PostgreSQL - Flexible Server • Amazon RDS for PostgreSQL • PostgreSQL 用 Google Cloud SQL • PostgreSQL 用 Google Cloud AlloyDB • Microsoft Azure Database for PostgreSQL 〇 × 可能 (Data Movement Gateway を利用 ) 12.x 、 13.x 、 14.x 、 15.x 、 16.x https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/data-project-connections.htm ( )[Qlik Talend Data Integration ※ でのプライベート接続のサポート ] https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/Gateways/replication-gateway.htm#anchor-3 プライベート接続とは、データ ソースまたはターゲットがインターネットに公開されず、 Qlik Cloud からアクセスできないことを意味します。
  • 32. Data target • Data gateway: ユースケースに応じて Data Movement Gateway を選択します • None または データソースへのアクセスに使用された Gateway サーバー と同じ !! • Cloud provider: MySQL データベースがクラウドにある場合は、次のプロバイ ダーを選択 • None • PostgreSQL( オンプレミス ) • Amazon Aurora • Azure Database for PostgreSQL - Flexible Server • Data Movement Gateway なしで作業する場合 • Amazon RDS • Google Cloud • PostgreSQL 用 Google Cloud SQL • PostgreSQL 用 Google Cloud AlloyDB • Microsoft Azure • Server と Port Account properties • User name と Password 32 接続プロパティの設定 Database properties • Database name • 方法 1 - リストから選択 : [Load databases] • 方法 2 - 手動 : [Enter database name manually] • SSL Mode https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/postgresql-target.htm
  • 33. 接続するユーザーに必要な権限 • Can login ( ログイン可能 ) • Create databases ( データベースの作成 ) • ターゲットのスキーマがデータベースにすでに存在する場合、「データベースの作成」権限は必要あ りません ドライバーのセットアップ • Data Movement Gateway サーバーに、必要なドライバをインストールする • ドライバーインストールユーティリティを使用したドライバーのインストール • ドライバーの手動インストール ( 自動ドライバーのインストールが正常に完了しなかった場合 ) 33 準備 https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/postgresql-target.htm#anchor-2 制限と考慮事項
  • 34. ネイティブデータタイプの情報は保持され、データセットビューの [ ネイティブデータタイプ ] 列に表示されます。列が表示 されない場合は、データセットビューの列ピッカーを開いて、 [ ネイティブデータタイプ ] 列を選択する必要があります 34 対応しているデータ型 https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/postgresql-target.htm#anchor-4