SlideShare a Scribd company logo
TECH TALK
Qlik Talend Cloud 勉強会 - #8
「データソース: IBM DB2 」
「ターゲット: Amazon S3 と Redshift 」
クリックテック・ジャパン株式会社
2024 年 9 月 10 日
• 質問は Zoom 画面下の Q&A アイコンをクリックして入力してください。
• 質問に対して Qlik パネラーが随時 Q&A パネルで回答します。
• 質問と回答については、セミナーの最後に他の参加者に共有させていただきます。
Q&A について
Qlik Talend Cloud 勉強会
*予定は予告なく変更する場合があります。
No 日付 内容
1 2024/06/04 基本の設定とゲートウェイの導入
2 2024/06/11 データパイプライン作成の基本動作
データのオンボーディングの機能と操作
データマートの作成と管理、系列・影響分析
3 2024/06/18 データ変換の機能と操作ー SQL 変換と変換フロー
4 2024/07/25 データレプリケーションタスクの機能と操作
5 2024/08/06 SaaS App への接続( Salesforce )
Snowflake への接続(ターゲット)
6 2024/08/27 SAP への接続(ソース)
No 日付 内容
7 2024/09/03 SaaS App への接続( Microsoft Dynamics CRM )
MySQL への接続(ソース・ターゲット)
PostgreSQL への接続(ソース・ターゲット)
Oracle への接続(ソース・ターゲット)
8 2024/09/10 IBM DB2 への接続(ソース)
Amazon Redshift への接続(ターゲット)
Microsoft SQL Server への接続(ソース・ターゲット)
9 2024/09/24 Azure Synapse Analytics への接続(ターゲット)
Microsoft Fabric への接続(ターゲット)
Azure Data Lake Storage への接続(ターゲット)
10 2024/10/08 Microsoft SQL Server への接続(ソース・ターゲット)
Databricks への接続(ターゲット)
Google BigQuery への接続(ターゲット)
Google Cloud Storage への接続ターゲット)
Qlik Cloud への接続(ターゲット)
済
済
済
済
済
済
済
YouTube プレイリスト
4
Qlik Talend Cloud 勉強会 - #1 ~ #7 の復習
https://www.youtube.com/@QTJMarketing
TECH TALK
Qlik Talend Cloud 勉強会 - #8
IBM DB2 への接続
クリックテック・ジャパン株式会社
阿部 智師
2024 年 9 月 10 日
Agenda 1. 本セッションの概要
2. IBM DB2 for iSeries
• IBM DB2 のセットアップ
• Qlik Data Gateway のセットアップ
• Qlik Talend Cloud のセットアップ
• 制限と考慮事項
3. IBM DB2 for LUW
• IBM DB2 のセットアップ
• Qlik Data Gateway のセットアップ
• Qlik Talend Cloud のセットアップ
• 制限と考慮事項
4. IBM DB2 for z/OS
• IBM DB2 のセットアップ
• Qlik Data Gateway のセットアップ
• Qlik Talend Cloud のセットアップ
• 制限と考慮事項
本セッションの概要
• IBM DB2 接続
• Qlik Data Gateway – Data Movement
8
IBM DB2 データソース
Qlik Talend Cloude でサポートするプラットフォーム
コネクタ プラットフォーム データソース 対応バージョン 対応している
サブスクリプ
ション
Qlik Data
Gateway
IBM DB2 for iSeries
IBM i, AS400, iSeries,
Power System i
IBM DB2 for iSeries
DB2: 7.2, 7.3, 7.4, 7.5
Enterprise 必要
IBM DB2 for LUW
Linux, Unix and Windows
IBM DB2 for LUW
DB2: 11.1, 11.5
Enterprise 必要
IBM DB2 for z/OS
IBM System z
IBM DB2 for z/OS
DB2: 12, 12.1, 13.1
z/OS: 2.4, 2.5
Enterprise 必要
DB2 関連製品に関しては、 IBM 社のサイトを参照してください。
IBM DB2 への接続概要
Cloud
Qlik Talend Cloud
Qlik Data Gateway によりオンプレのデータをセキュアに Cloud へ移動
Qlik Data Gateway
(Data Movement)
データソース
プライベートネットワーク
Firewall
クラウドデータプラットフォーム
HTTPS
カタログ
閉域網
(Linux)
Data
Jornal
ターゲット
11
Qlik Data Gateway の導入について
Qlik Data Gateway のセットアップについては、こちらを参照してください。
https://youtu.be/3YLP5OMmo3g
Qlik Cloud データ統合勉強会 #1
IBM DB2 for iSeries
データソースとしての利用
IBM DB2 のセットアップ
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Conte
nt/Sense_Hub/DataIntegration/SourcesConnections/IBM4DB2-is
eries/IBM4DB2-iseries-source.htm
IBM DB2 for iSeries
14
必要な権限 (1/3)
IBM DB2 for iSeries コネクタ 設定の基本設定で指定されたユーザーに、次の権
限を付与する必要があります。
• USER CLASS = *USER ( デフォルト値 )
• Special authority = *NONE
• Full Load: ソーステーブルの読取り権限
• CDC: IBM DB2 for iSeries コネクタ およびタスクのソース テーブルに定義されたジャーナルの読み取り権限。
• 次のテーブルに対する SELECT 権限
⁃ QSYS2.SYSCOLUMNS
⁃ QSYS2.SYSTABLES
IBM DB2 for iSeries
※ 各オブジェクトの権限を設定するためのコマンドの使用方法は、 IBM のドキュメントを参照してください。
15
必要な権限 (2/3)
IBM DB2 for iSeries データベースに対して、下記の権限とロックを設定する必
要があります。
• Journal Authority: *USE
• Journal Library Authority: *EXECUTE
• Journal Receivers Authority: *USE
• Journal Receivers Library's Authority: *EXECUTE
• File Authority ( 指定されている場合 ): *USE
• File Library Authority: *EXECUTE
• Journal Lock: *SHRRD
• Journal Receiver Lock: *SHRRD
• File Lock ( 指定されている場合 ): *SHRRD
IBM DB2 for iSeries
※ 各オブジェクトの権限を設定するためのコマンドの使用方法は、 IBM のドキュメントを参照してください。
16
必要な権限 (3/3)
ジャーナル権限にも *OBJEXIST が必要なケース
• ファイル キーに *ALLFILE が指定されている。
• 指定されたオブジェクトがシステムに存在しない。
• 選択されたジャーナル コードのジャーナル コード選択値に、 *IGNFILSLT または *IGNOBJSLT が指定
されている。
データ移動ゲートウェイ ジョブ / ユーザー ID に次の属性を設定するケース
• 次のエラーが発生する場合
SQL0666N SQL query exceeds specified time limit or storage limit
このエラーが発生しないようにするには、データ移動ゲートウェイ ジョブ / ユーザー ID に次の属性
を設定します。
⁃ QRYSTGLMT=*NOMAX
⁃ QRYTIMLMT=*NOMAX
詳細については、「 https://www.ibm.com/docs/en/i/7.4?topic=ssw_ibm_i_74/cl/chgqrya.htm」を参照してください。
IBM DB2 for iSeries
17
R4I UDTF on IBM DB2 for iSeries の利用
目的: CDC パフォーマンスの改善 - IBM DB2 for iSeries 上での CDC フィルタリング
下記の手順を実施してください。
1. 製品のダウンロード (https://community.qlik.com/t5/Download-Qlik-Products/tkb-p/Downloads) に移動します。
2. Qlik Data Integration を選択します。
3. 製品リストを下にスクロールして、 Qlik Replicate を選択します。
4. ダウンロード リンク列で、 QlikReplicate_< バージョン >_R4I.zip のリンクをクリックしてダウンロードを開始します。
5. IBM DB2 for iSeries サーバーに R4I UDTF をインストールします。
6. [UDTF キャプチャを有効化する ] オプションを選択します。
7. R4I インストール中に既定の CDC リーダーの UDTF 名を変更した場合、 [CDC リーダー UDTF 名 ] 項目で新しい名前
を指定します。
8. [UDTF 結果セット サイズ (MB)] 項目で、 R4I UDTF によって返された結果セット バッファの最大サイズを設定できます。
結果セットが大きいほど通常はパフォーマンスが改善しますが、 DB2 メモリー消費にも影響します。 DB2 のメモリ不足
により、ターゲット上でデータの不整合 ( 記録が部分的にキャプチャされるため ) が発生する可能性があるため、結果
セットのサイズを大きくしたい場合は、まずテスト環境でタスクを実行することがベスト プラクティスとなります。
IBM DB2 for iSeries
Qlik Data Gateway の
セットアップ
IBM DB2 for iSeries
19
ドライバーのセットアップ
Qlik Data Movement サーバーへ必要なドライバーのインストール
詳細は、およびドライバーの更新、アンインストール、手動セットアップについてはこちらを参照してください。
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/IBM4
DB2-iseries/prereq-idb2.htm
1. Python 3.6x 以降のインストールします。
2. IBM Web サイトから IBM i Access Client Solutions Linux Application Package 「 ibm-iaccess-
<version>.x86_64.rpm 」をダウンロードします。
3. rpm ファイルを /opt/qlik/gateway/movement/drivers/db2iseries にコピーします。
4. 作業ディレクトリを /opt/qlik/gateway/movement/drivers/bin に変更します。
5. 次のコマンドを実行します。 ./install db2iseries
6. EULA が表示されます。すべて表示後、「 y 」を入力すると、インストールが開始します。
IBM DB2 for iSeries
20
Qlik Data Gateway でサポートされているバージョン
/opt/qlik/gateway/movement/drivers/manifests/db2iseries.yaml
binary-artifacts
ibm-iaccess-1.1.0.26-1.0.x86_64.rpm
↑
サポートされているバージョン
IBM DB2 for iSeries
Qlik Talend Cloud の
セットアップ
IBM DB2 for iSeries
22
接続するデータベースの選択
データ統合 ⇒ 接続 ⇒ 「接続を作成」⇒ 「 IBM DB2 for iSeries 」を選択
データベースを選択する
と、利用可能なコネクタ
が表示されます。
IBM DB2 for iSeries
23
接続プロパティの設定 (1/2)
Gateway を選択します。
IBM DB2 for iSeries のサーバーを指定しま
す。 (IP or ホスト名 )
IBM DB2 for iSeries サーバーにアクセスするための
ユーザ名を入力します。
IBM DB2 for iSeries サーバーにアクセスするための
パスワードを入力します。
•プライマリ キーまたは一意のインデックスなしで、
ターゲット テーブルに RRN*1
列を追加する
•RRN 列をすべてのターゲット テーブルに追加する
•RNN 列をターゲット テーブルに追加しない
テーブルとスキーマにシステム名を使用する場合にチェックします。
IBM DB2 for iSeries
*1 : Relative Record Number 行の正確な位値を示す
24
接続プロパティの設定 (2/2)
ジャーナル名を入力します。
ジャーナルライブラリを入力します。
( ジャーナルが配置されているライブラリ名 )
タスクの開始時にジャーナルの検証をスキップ
(指定されたジャーナルが存在し、正しいテーブ
ルが含まれていることが確実な場合には、検証
フェーズをスキップできます)
UDTF*1
の使用時チェック。
UDTF 名を入力します。
ソースデータベースの変更を確認する頻度を設定します。
CCSID*2
マッピングが必要な場合、記入します。
( 例 : CCSID1,codepage1,CCSID2,codepage2,...)
IBM DB2 for iSeries
*1 : ユーザ定義表関数 SQL 文を FROM 節で呼び出すことができる関数
*2 : コードキャラクターセット IBM 文字セットの識別
25
本日のデモンストレーション環境
データソース: DB2, ターゲット : Snowflake
データソース データ統合
オンプレミス
Full load or CDC
Qlik Talend Cloud
クラウド
制御 , SQL プッシュ データ
Qlik Data
Gateway
(Data Movement)
IBM DB2 for iSeries
制限と考慮事項
IBM DB2 for iSeries
27
対応しているデータ型
IBM DB2 for iSeries データ型 データ移動ゲートウェイ データ型
INTEGER INT4
SMALLINT INT2
BIGINT INT8
DECIMAL (p,s) NUMERIC (p,s)
FLOAT REAL8
DOUBLE REAL8
REAL REAL4
CHAR (n) n<=32 KB の場合 : STRING
VARCHAR (n) n<=32 KB の場合 : STRING
GRAPHIC (n) n<=16 KB の場合 : STRING
VARGRAPHIC (n) n<=16KB の 2 バイト文字である場合 : STRING
DATE DATE
TIME TIME
TIMESTAMP DATETIME (6)
BLOB BLOB 最大サイズ : 2 GB
CLOB CLOB 最大サイズ : 2 GB
ROWID BYTES - これはユーザー定義の列である必要があります。
DATALINK STRING
この表は、サポートされている IBM
DB2 for iSeries のソースデータ型と
Data Movement Gateway 型への既
定のマッピングを示しています。
IBM DB2 for iSeries
28
タスク制限と考慮事項 (1/2)
下記は、すべてのデータタスクに影響します。
• マルチメンバー ( パーティション ) テーブルはサポートされていません。
• フィールドレベルの暗号化はサポートされていません。
• ジャーナルの受信者は、ユーザー管理ではなくシステム管理である必要があります。
• 最小化されたデータを含むジャーナルはサポートされていません。
• MINENTDTA パラメーターは「 MINENTDTA(*NONE) 」に設定してください。
• すべてのテーブルは同じジャーナルにある必要があります。
• XML データ型はサポートされていません。
• DBCLOB データ型はサポートされていません。
• LOB を除き、行サイズは 32740 バイト以下である必要があります。
• 通常 データ移動ゲートウェイ は、変更を伴うトランザクションがフル ロードの開始前にコミットされた場合にのみ、ソース データ
ベースの変更をターゲットに適用します。ただし、コミットされていないトランザクションの一部としてソースから削除されたレ
コードは、フル ロード中にターゲットに移動済みされません。
• 自動コミット モードでの DELETE 操作は、 *AFTER イメージでジャーナリングされたテーブルでは無視されます。このような場合、
[RRN 列の追加 ] オプションのいずれかが有効になっており、唯一の主キーとして設定されている場合にのみ、 DELETE 操作がキャ
プチャされます。
• auto-commit=ON の場合、最後にコミットされたトランザクションの日付と時刻は、 attrep_status Control テーブルの
SOURCE_CURRENT_TIMESTAMP 列に「 01-01-1970 00:00 」として表示されます。
• 名前に特殊文字が含まれる 移動 列、テーブル、ライブラリはサポートされていません。
• DDS*1
によって作成されたテーブル : DDS によって作成されたテーブルをレプリケートする必要がある場合は、 Qlik サポートまた
は Qlik カスタマー サクセス マネージャーに指示を求めてください。
• R4I UDTF は、最大 300 個のテーブルをキャプチャできます。 300 を超えるテーブルをキャプチャする必要がある場合は、このオプ
ションを使用しないでください。
IBM DB2 for iSeries
*1 : Data Definition Specification IBM i のデータ定義仕様書
29
タスク制限と考慮事項 (2/2)
下記は、すべてのデータタスクに影響します。
• 4 バイトの絵文字を含む 移動 データはサポートされていません。
• ラテン文字以外の文字 (NLS) を含むテーブルおよび列名はサポートされていません。
• [ テーブルとスキーマのシステム名の使用 ] オプションが 有効になっている場合 ( コネクタ設定にて ) 、大文字、数字、アンダース
コア (_) を含むテーブル / スキーマ名のみがサポートされます。
• リモート ジャーナルはサポートされていません。
• NLS ( 非ラテン語 ) 文字が含まれるテーブル名または列名はサポートされていません。
下記は、レプリケーションタスクに影響します。
• DROP TABLE DDL はサポートされていません
• RENAME TABLE DDL はサポートされていません
• バッチ最適化適用モードでは、タスクのテーブル キャプチャ パターンに一致するテーブルがソース データベースに作成される
(CREATE TABLE) 場合、キャプチャされたテーブルのいずれかでトランザクションが発生するまで、そのテーブルはターゲット デー
タベースに作成されません。
IBM DB2 for iSeries
IBM DB2 for LUW
データソースとしての利用
IBM DB2 for LUW
IBM DB2 のセットアップ
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Conte
nt/Sense_Hub/DataIntegration/SourcesConnections/IBM4DB2-lu
w/IBM4DB2-luw-source.htm
IBM DB2 for LUW
32
必要な設定
IBM DB2 for LUW コネクタで指定されたユーザーに、次の権限を付与する必要
があります。
• SYSADM または DBADM
• DATAACCESS
IBM DB2 for LUW
データベースを回復可能に設定します。
• 変更をキャプチャするには、データ移動ゲートウェイ ではデータベースを回復可能に構成する必要があ
ります。
• データベース構成パラメーター LOGARCHMETH1 および LOGARCHMETH2 のいずれかまたは両方が
OFF に設定されていない場合、データベースは回復可能です。
自動的にデータキャプチャの変更を有効
• 接続設定で有効に選択されている場合、データ移動ゲートウェイ はタスクの実行開始時に ALTER TABLE
操作を実行します。タスクがすでに実行されている間に、テーブル選択パターンに一致する新しいテーブ
ルが追加 ( ソース データベースに ) された場合、データ移動ゲートウェイ は、 DATA CAPTURE
CHANGE 属性で作成された場合にのみ、そのテーブルからの変更をキャプチャします。
LOGARCHMETH1 : 現行ログ・パスからアーカイブされるログの 1 次宛先のメディア・タイプ
LOGARCHMETH2 : 現行ログ・パスまたはミラー・ログ・パスのアーカイブ済のログの 2 次宛先のメディア・タイプ
33
pureScale 環境の LRI からタスクを再開または開始
pureScale*1
環境の LRI*2
からタスクを再開または開始するには下記を実行しま
す。
IBM DB2 for LUW
1. db2pd DB2 コマンド ラインを実行して、 [ 現在のログ番号 ] を決定します :
$ db2pd -log -db <database_name>
出力例 :
Database Member 0 -- Database SAMPLE -- Active -- Up 0 days 00:27:02 -- Date 2018-05-23-14.49.45.515600
Logs:
Current Log Number 2
Pages Written 19
Cur Commit Disk Log Reads 0
Cur Commit Total Log Reads 0
Method 1 Archive Status n/a
Method 1 Next Log to Archive n/a
Method 1 First Failure n/a
Method 2 Archive Status n/a
Method 2 Next Log to Archive n/a
Method 2 First Failure n/a
Log Chain ID 0
Current LSO 57142478
Current LSN 0x000000000004FB14
Address StartLSN StartLSO State Size Pages Filename
0x00007F164E99F090 00000000000429EC 48912001 0x00000000 1000 1000 S0000000.LOG
0x00007F16511319F0 000000000004901E 52988001 0x00000000 1000 1000 S0000001.LOG
0x00007F1651132350 000000000004F9A6 57064001 0x00000000 1000 1000 S0000002.LOG
2. db2flsn コマンドを実行して、そのログ ファイルの LRI/ LSN*3
範囲を決定します :
$ db2flsn -db <database_name> -lrirange 2
出力例
S0000002.LOG: has LRI range
00000000000000010000000000002254000000000004F9A6 to
000000000000000100000000000022CC000000000004FB13
*1 puerScale : 大規模 DB のスケーリング機能
*2 LRI : ログレコード識別子
*3 LSN : ログシーケンス番号
db2pd は、データベースメモリーセット
内の情報取得コマンド
db2flsn は、ログ・シーケンス番号の検出
コマンド
Qlik Data Gateway の
セットアップ
IBM DB2 for LUW
35
ドライバーのセットアップ
Qlik Data Movement サーバーへ必要なドライバーのインストール
詳細は、およびドライバーの更新、アンインストール、手動セットアップについてはこちらを参照してください。
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/IBM4
DB2-luw/luw-prerequisites.htm#anchor-1
1. Python 3.6x 以降のインストールします。
2. IBM Web サイトから IBM Data Server Client 「 <version>_linuxx64_client.tar.gz 」をダウンロードします。
3. tar ファイルを /opt/qlik/gateway/movement/drivers/db2 にコピーします。
4. 作業ディレクトリを /opt/qlik/gateway/movement/drivers/bin に変更します。
5. 次のコマンドを実行します。 ./install db2
6. EULA が表示されます。すべて表示後、「 y 」を入力すると、インストールが開始します。
※ サポートされているバージョンは、 /opt/qlik/gateway/movement/drivers/manifests/db2.yaml の binary-
artifacts にあります。
IBM DB2 for LUW
Qlik Talend Cloud の
セットアップ
IBM DB2 for LUW
37
接続するデータベースの選択
データ統合 ⇒ 接続 ⇒ 「接続を作成」⇒ 「 IBM DB2 for LUW 」を選択
データベースを選択する
と、利用可能なコネクタ
が表示されます。
IBM DB2 for LUW
接続プロパティの設定 (1/2)
IBM DB2 for LUW
Gateway を選択します。
IBM DB2 for LUW のサーバーを指定します。 (IP or ホスト
名 )
IBM DB2 for LUW サーバーにアクセスするための
ユーザ名を入力します。
IBM DB2 for LUW サーバーにアクセスするための
パスワードを入力します。
IBM DB2 for LUW のサーバーへアクセスに使用するポート
を入力します。
38
39
接続プロパティの設定 (2/2)
IBM DB2 for LUW
ソースデータベースを入力します。
読取りの最大バッファサイズを設定します。
(CDC 中にログがアクセスされるごとに読み取る最
大キロバイト数 )
自動的にデータキャプチャの変更を有効にする場合に
チェックします。
ソースデータベースの変更を確認する間隔
SSL を有効にする場合、チェックします。 (Keystore database file (< ファイル名 >.kdb) と Stash file を指定できます。 )
制限と考慮事項
IBM DB2 for LUW
41
対応しているデータ型
IBM DB2 for LUW ソース データ型 データ移動ゲートウェイ データ型
INTEGER INT4
SMALLINT INT2
BIGINT INT8
DECIMAL (p,s) NUMERIC (p,s)
FLOAT REAL8
DOUBLE REAL8
REAL REAL4
DECFLOAT (p) 精度が = 16 の場合 : REAL8
精度が = 34 の場合 : STRING
GRAPHIC (n) n<=127 KB の場合 : WSTRING
VARGRAPHIC (n) n<=16k 2 バイト文字である場合 : WSTRING
LONG VARGRAPHIC CLOB
CHAR (n) STRING n<=255
VARCHAR (n) STRING n<=32k
LONG VARCHAR (n) CLOB n<=32k
CHAR (n) FOR BIT DATA BYTES
CHAR (n) FOR BIT DATA BYTES
LONG VARCHAR FOR BIT DATA BYTES
DATE DATE
IBM DB2 for LUW
IBM DB2 for LUW ソース データ型 データ移動ゲートウェイ データ型
TIME TIME
TIMESTAMP DATETIME
BLOB BLOB
CLOB CLOB 最大サイズ : 2 GB
DBCLOB CLOB 最大サイズ : 1 G の 2 バイト文字
XML CLOB
この表は、サポートされている IBM DB2 for LUW
のソースデータ型と Data Movement Gateway 型へ
の既定のマッピングを示しています。
42
タスク制限と考慮事項 (1/2)
下記は、すべてのデータタスクに影響します。
• クラスター化されたデータベースはサポートされていません
• CDC 中は、 DECFLOAT 列への変更は無視されます。
• RENAME COLUMN ステートメントはサポートされていません。
• MDC ( 多次元クラスタリング ) テーブルで更新を実行すると、各更新はタスク モニターに INSERT + DELETE
として表示されます。
• DB2 10.5 以降 : 行外に格納されたデータを含む可変長文字列は無視されます。この制限は、拡張された行サイ
ズにて作成されたテーブルにのみ適用されます。
• 4 バイトの絵文字を複製する必要がある場合、変換を使用してデータ タイプを STRING(n ) から WSTRING
( n*2 ) に変換してください。
IBM DB2 for LUW
43
タスク制限と考慮事項 (2/2)
下記は、ランディングタスクに影響します。
• Include LOB 列 ランディングタスク設定が無効になっている場合、 LOB 列を含むすべてのテーブルは変更処理中に中断されます。
下記は、レプリケーションタスクに影響します。
• 複数のパーティションを持つテーブルを切り捨てる場合、データ移動ゲートウェイ コンソールに表示される DDL イベントの数は
パーティションの数と同じになります。これは、 IBM DB2 for LUW がパーティションごとに個別の DDL を記録するためです。
• パーティション分割されたテーブルに対する次の DDL はサポートされていません。
⁃ ALTER TABLE ADD PARTITION
⁃ ALTER TABLE DETACH PARTITION
⁃ ALTER TABLE ATTACH PARTITION
• LOB 列をレプリケートしない タスク設定が有効になっている場合、 LOB 列を含むすべてのテーブルは変更処理中に中断されます。
• [ 変更の保存設定 ] タブで [ 監査テーブル ] オプションが有効になっている場合、監査テーブルの最初の日付と時刻のレコードは
NULL になります。
• [ 変更の保存設定 ] タブで [ 変更テーブル ] オプションが有効になっている場合、テーブルの最初の日付と時刻のレコードはゼロにな
る場合があります ( 例 : 1970-01-01 00:00:00.000000) 。
• ソース テーブルへの変更をキャプチャする場合、 RENAME TABLE 操作は、 DML 操作が先行する場合にのみキャプチャされます。
IBM DB2 for LUW
IBM DB2 for z/OS
データソースとしての利用
※ 資料配布のみ
IBM DB2 のセットアップ
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Conte
nt/Sense_Hub/DataIntegration/SourcesConnections/IBM4DB2-zo
s/IBM4DB2-zos-source.htm
IBM DB2 for z/OS
46
必要な権限
IBM DB2 for z/OS コネクタ設定で指定されたユーザーに次の権限を付与する必
要があります。
• EXECUTE UDTF を読み取る IFI に対する EXECUTE ( 変更データ キャプチャにのみ必要 )
• SELECT ソース テーブルおよび次のシステム カタログ テーブル :
⁃ SYSIBM.SYSDUMMY1
⁃ SYSIBM.SYSTABLES
⁃ SYSIBM.SYSTABLESPACE
⁃ SYSIBM.SYSPARMS
⁃ SYSIBM.SYSROUTINES
⁃ SYSIBM.SYSCOLUMNS
⁃ SYSIBM.SYSLGRNX
⁃ SYSIBM.SYSTABLEPART
•MONITOR2 - IFI セッションを開始できるようにするため ( 変更データ キャプチャにのみ必要 )
IBM DB2 for z/OS
47
R4Z 製品の z/OS へのインストール
z/OS に R4Z 製品をインストールして構成する必要があります。
IBM DB2 for z/OS
1. 製品のダウンロード (https://community.qlik.com/t5/Download-Qlik-Products/tkb-p/Downloads) に移動します。
2. Qlik Data Integration を選択します。
3. 製品リストを下にスクロールして、 Qlik Replicate を選択します。
4. ダウンロード リンク列で、 QlikReplicate_< バージョン >_R4Z.zip のリンクをクリックしてダウンロードを開始します。
5. IBM DB2 z/OS サーバーに R4Z UDTF をインストールします。
インストールと構成に関しては、 R4Z のインストールと構成 (
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Global_Common/Content/SharedReplicateHDD/R4Z_
Install_Config/concept-design.htm
) を参照してください。
48
R4Z 構成の依存関係
インストール中、 CDC サービス セットアップの一部として、またはエンドポイ
ント定義の一部として設定できる、 R4Z 構成値のリスト
IBM DB2 for z/OS
R4Z トピック プロパティに依存 定義 / 問い合わせ元 解決策
R4Z ECSA 構造の合計サイズ 使用可能な ECSA サイズ /DNET,CSM,…
OWNERID=ALL
ECSA サイズが超過していないこと
を確認します。
CDC サービスの
MAXRESULTSETSECS パラメー
ター
DB2 スレッドがロックされた
リソースを待機する最大時間
DSNZPARM IRLMRWT param.
in SDSNSAMP(DSNTIJUZ)
SSID 仕様より少なくとも 2 秒少な
く設定します。
CDC サービスの
MAXRESULSETSIZE パラメー
ター
ユーザー ID ごとに使用可能な
最大 LOB サイズ
DSNZPARM LOBVALA param.
in SDSNSAMP(DSNTIJUZ)
2 * ( 結果セットのサイズ * 最大セッ
ション )
小数点 : ピリオドまたはカンマ 小数点の編集記号を指定 DSNHDECM DECIMAL= param.
In DSNTIJUZ
小数点の記号がカンマの場合
は、 AdditionalConnectionProper
ties 内部プロパティ
を patch2=15 に設定します。
Qlik Data Gateway の
セットアップ
IBM DB2 for z/OS
50
ドライバーのセットアップ
Qlik Data Movement サーバーへ必要なドライバーのインストール
詳細は、およびドライバーの更新、アンインストール、手動セットアップについてはこちらを参照してください。
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/IBM4
DB2-zos/prerequisites-zos.htm#anchor-2
1. Python 3.6x 以降のインストールします。
2. IBM Web サイトから IBM Data Server Client 「 <version>_linux64_client.tar.gz 」をダウンロードします。
3. tar ファイルを /opt/qlik/gateway/movement/drivers/db2 にコピーします。
4. 作業ディレクトリを /opt/qlik/gateway/movement/drivers/bin に変更します。
5. 次のコマンドを実行します。 ./install db2
6. EULA が表示されます。すべて表示後、「 y 」を入力すると、インストールが開始します。
※ サポートされているバージョンは、 /opt/qlik/gateway/movement/drivers/manifests/db2.yaml の binary-
artifacts にあります。
IBM DB2 for z/OS
51
ODBC セットアップ
ODBC 初期化ファイルの PLANNAME= 値で指定された、 ODBC に使用されるプランをバインド
します。既定の名前は DSNACLI です。 BIND ジョブは、 DB2 インストール元の SDSNSAMP
ライブラリの、メンバー DSNTIJCL にあります。
DB2CLI bind コマンドを使用して、 ODBC 提供のパッケージを目的のソース z/OS DB2 サブシス
テムにバインドします。このアクションについては、 IBM ウェブサイトの『 Configuring your
developer and runtime environment 』 (
https://www.ibm.com/docs/en/db2/11.1?topic=environment-bind-files-package-names) に記載
されています。バインド ユーティリティの例を含む DB2CLI ユーティリティの詳細について
は、 IBM ウェブサイトの『 db2cli - DB2 interactive CLI command 』 (
https://www.ibm.com/docs/en/db2/11.1?topic=commands-db2cli-db2-interactive-cli) を参照し
てください。
IBM DB2 for z/OS
Qlik Talend Cloud の
セットアップ
IBM DB2 for z/OS
53
接続するデータベースの選択
データ統合 ⇒ 接続 ⇒ 「接続を作成」⇒ 「 IBM DB2 for z/OS 」を選択
データベースを選択する
と、利用可能なコネクタ
が表示されます。
IBM DB2 for z/OS
54
接続プロパティの設定 (1/2)
Gateway を選択します。
IBM DB2 for z/OS のサーバーを指定します。 (IP
or ホスト名 )
IBM DB2 for z/OS サーバーにアクセスするための
ユーザ名を入力します。
IBM DB2 for z/OS サーバーにアクセスするための
パスワードを入力します。
IBM DB2 for z/OS のサーバーのアクセスポートを指定
します。
インストール中に定義された DB2 場所名を入力します。
( 「 -DIS DDF 」 DB2 コマンド (ISPF の DB2I パネルの下のオプ
ション 7) を使用するか、 <ssid>MSTR アドレス スペースのジョブ
ログでメッセージ DSNL004I を調べます。 )
IBM DB2 for z/OS
接続プロパティの設定 (2/2)
55
自動的にデータキャプチャの変更を有効にする場合にチェックします。
ソースデータベースの変更を確認する頻度を設定します。
UDTF 名を入力します。
CCSID マッピングが必要な場合、記入します。
( 例 : CCSID1,codepage1,CCSID2,codepage2,...)
Qlik が提供するユーザー定義テーブル関数に返される結
果行によって累積される最大サイズを指定します。
SSL を有効にする場合、チェックします。 (Keystore database file (< ファイル名 >.kdb) と Stash file を指定できます。 )
IBM DB2 for z/OS
制限と考慮事項
IBM DB2 for z/OS
57
対応しているデータ型
IBM DB2 for z/OS ソース データ型 データ移動ゲートウェイ データ型
INTEGER INT4
SMALLINT INT2
BIGINT INT8
DECIMAL (p,s) NUMERIC (p,s)
FLOAT (8) REAL8
DOUBLE REAL8
REAL REAL4
DECFLOAT (p) 精度が = 16 の場合 : REAL8
精度が = 34 の場合 : STRING
GRAPHIC n<=127 の場合 : WSTRING
VARGRAPHIC n<=16k 2 バイト文字である場合 : WSTRING
LONG VARGRAPHIC CLOB
CHAR (n) STRING n<=255
VARCHAR (n) STRING n<=32k
LONG VARCHAR (n) CLOB n<=32k
CHAR (n) FOR BIT DATA BYTES
VARCHAR (n) FOR BIT DATA CLOB
LONG VARCHAR FOR BIT DATA BLOB
DATE DATE
この表は、サポートされている
IBM DB2 for z/OS のソースデー
タ型と Data Movement Gateway
型への既定のマッピングを示して
います。
IBM DB2 for z/OS
58
タスク制限と考慮事項
次の制限と考慮事項に注意する必要があります。
• カタログ テーブルからの変更のキャプチャはサポートされていません。
• フル ロードと変更の適用が有効になっているタスク中に、重複したキーがターゲットに対して 移動済み になる場合
があります。これは、タスクの Full Load ステージ中に更新およびキャッシュされたレコードが、フル ロード中に挿
入された元のレコードと同じ日付と時刻を持つ可能性があるためです。これは通常、挿入されたレコードと更新され
た ( キャッシュされた ) レコードの時間差が非常に小さい ( ミリ秒 ) 場合にのみ発生することに注意してください。
• 「 enableWLB 」ドライバー オプションはサポートされていません。接続を強制的に並列シスプレックス内の別の
LPAR に自動的に切り替える ( つまり「フェイルオーバー」 ) には、ドライバー構成で「 enableACR 」を「 true 」
に、「 enableWLB 」を「 false 」に設定します。
• ビューの Landing は、フル ロード時にのみサポートされます ( つまり、 CDC はサポートされません ) 。
• RBA エントリー (6 バイトと 10 バイトのフォーマット ) が混在する環境からの変更のキャプチャーはサポートされ
ていません。
• ソース テーブルへの変更をキャプチャする場合、 RENAME TABLE 操作は、 DML 操作が先行する場合にのみキャプ
チャされます。
• 4 バイトの絵文字を含む 移動 データはサポートされていません。
IBM DB2 for z/OS
59
サブタイプ 83 に該当するアクションの処理
サブタイプ 83 に対する Data Gateway の処理
IBM DB2 for z/OS
アクション データ移動ゲートウェイ での処理の仕方
ALTER TABLE
( 例 : ADD COLUMN などのバリエーション有り )
問題なく処理されます。
MODIFY RECOVERY
( いくつかのバリエーション有り )
問題なく処理されます。
LOAD REPLACE
( すべてのバリエーション )
次のようなテキスト ( 例 ) の、警告メッセージが生成されます。
DB2z utility (subtype 83) variation 4 (LOAD REPLACE) at LSN=0000000000123abc0000
さらに、内部 データ移動ゲートウェイ パラメーター「 db2LoadOption 」が「 SUSPEND 」に設定されている場合、
テーブルは中断されます。デフォルトは「 IGNORE 」で、この場合でも警告メッセージは表示されます。
LOAD RESUME YES
(SHRLEVEL CHANGE を除くすべてのバリエー
ション )
次のようなテキスト ( 例 ) の、警告メッセージが生成されます。
DB2z utility (subtype 83) variation 3 (LOAD RESUME YES) at LSN=0000000000123abc0000
さらに、内部 Replicate パラメーター「 db2LoadOption 」が「 SUSPEND 」に設定されている場合、テーブルは中断
されます。デフォルトは「 IGNORE 」で、この場合でも警告メッセージは表示されます。
REORG DISCARD
( 行が破棄された場合 )
次のようなテキスト ( 例 ) の、警告メッセージが生成されます。
DB2z utility (subtype 83) variation 5 (REORG DISCARD) at LSN=0000000000123abc0000
さらに、内部 Replicate パラメーター「 db2LoadOption 」が「 SUSPEND 」に設定されている場合、テーブルは中断
されます。デフォルトは「 IGNORE 」で、この場合でも警告メッセージは表示されます。
CHECK DATA DELETE
( 行が削除された場合 )
次のようなテキスト ( 例 ) の、警告メッセージが生成されます。
DB2z utility (subtype 83) variation 6 (CHECK DATA DELETE) at LSN=0000000000123abc0000
さらに、内部 Replicate パラメーター「 db2LoadOption 」が「 SUSPEND 」に設定されている場合、テーブルは中断
されます。デフォルトは「 IGNORE 」で、この場合でも警告メッセージは表示されます。
RECOVER TO POINT IN TIME 次のようなテキスト ( 例 ) の、警告メッセージが生成されます。
LSN=0000000000123abc0000 の DB2z ユーティリティ ( サブタイプ 83) バリエーション 7 (RECOVER TO POINT
IN TIME)
さらに、内部 Replicate パラメーター「 db2LoadOption 」が「 SUSPEND 」に設定されている場合、テーブルは中断
されます。デフォルトは「 IGNORE 」で、この場合でも警告メッセージは表示されます。
60
XMIT ファイルの「受信」ジョブのサンプル
以下は、 LOAD および INSTALL ライブラリを受信するためのジョブのサンプルです。
以下は、 LOAD および INSTALL ライブラリを受信するためのジョブのサンプルです。
//*******************************************************************
//* Sample JCL for receiving *
//* IBM DB2 for z/OS コネクタ installation kit *
//* 1. Add a jobcard *
//* 2. Replace all <xmit-HLQ> with the High Level Qualifier used *
//* for receive files *
//* 3. Replace all <r4z-vn-hlq> with the High Level Qualifier chosen *
//* for the installation files *
//*******************************************************************
//RCVLOAD EXEC PGM=IKJEFT01,DYNAMNBR=20
//SYSPRINT DD SYSOUT=*
//SYSTSPRT DD SYSOUT=*
//SYSTSIN DD *
RECEIVE INDSN('<xmit-HLQ>.LOAD.XMIT') NODISPLAY
DATASET('<r4z-vn-hlq>.LOAD')
/*
//RCVINSTL EXEC PGM=IKJEFT01,DYNAMNBR=20
//SYSPRINT DD SYSOUT=*
//SYSTSPRT DD SYSOUT=*
//SYSTSIN DD *
RECEIVE INDSN('<xmit-HLQ>.INSTALL.XMIT') NODISPLAY
DATASET('<r4z-vnd-hlq>.INSTALL')
/*
IBM DB2 for z/OS
Thank you!

More Related Content

PPTX
Microsoft Azure SQLマネージド インスタンスのソースとしての利用
PDF
Db2 Warehouse セッション資料 db tech showcase
PDF
トランザクションもDWHもクラウドで 2015年10月~IBM OnDemandセミナー
PDF
[db tech showcase Tokyo 2017] E34: データベース・サービスを好きなところで動かそう Db2 Warehouse by 日...
PPTX
Hybrid Data Deliveryを活用してオンプレミスデータをQlik Cloudでリアルタイム活用!
PPTX
Qlik Talend Cloud - MySQLへの接続(ソース・ターゲット), PostgreSQLへの接続(ソース・ターゲット)
PDF
[Cloud OnAir] Google Cloud における RDBMS の運用パターン 2020年11月19日 放送
PPTX
Qlikデータ統合・品質関連機能を完全おさらい! Qlik Talend Cloudの概要紹介
Microsoft Azure SQLマネージド インスタンスのソースとしての利用
Db2 Warehouse セッション資料 db tech showcase
トランザクションもDWHもクラウドで 2015年10月~IBM OnDemandセミナー
[db tech showcase Tokyo 2017] E34: データベース・サービスを好きなところで動かそう Db2 Warehouse by 日...
Hybrid Data Deliveryを活用してオンプレミスデータをQlik Cloudでリアルタイム活用!
Qlik Talend Cloud - MySQLへの接続(ソース・ターゲット), PostgreSQLへの接続(ソース・ターゲット)
[Cloud OnAir] Google Cloud における RDBMS の運用パターン 2020年11月19日 放送
Qlikデータ統合・品質関連機能を完全おさらい! Qlik Talend Cloudの概要紹介

Similar to Qlik Talend Cloudしっかり学ぶ勉強会 #8 「データソース IBM DB2接続」 (20)

PDF
A25 sql server data page structure deep dive
PDF
[db tech showcase Sapporo 2015] A26:SQL Server Data Page Structure Deep Dive ...
PDF
Cloudera World Tokyo 2015 Oracleセッション資料 「ビッグデータ/IoTの最新事例とHadoop活用の勘所」
PDF
Db2 Warehouse on Cloud Flex ご紹介資料 2020年3月版
PPTX
Qlik Talend Cloud しっかり学ぶ勉強会 #6 - 1 -SAPへの接続
PPTX
2012年1月技術ひろば
PPTX
Qlik TECH TALK セミナー:Qlik Talend CloudのDatabricksデータ連携ベストプラクティス
PDF
Oracle Database / Exadata Cloud 技術情報(Oracle Cloudウェビナーシリーズ: 2020年7月9日)
PDF
【GridDB入門】 IoT、そしてサイバー・フィジカル・システムを支える オープンソースデータベース GridDB ~ こだわりの理由と実現方法のポイント
PPTX
2024-08-06 Qlik Talend Cloud しっかり学ぶ勉強会 #5 - 1 SaaSアプリケーションへの接続
PPTX
IBM DB2 for zOSのソースエンドポイントとしての利用
PPTX
IBM DB2 for iSeriesのソースエンドポイントとしての利用
PDF
【de:code 2020】 Power Platform で広がるデータ インテグレーションの世界 (1/2)
PDF
Oracle Cloud Infrastructure:2020年9月度サービス・アップデート
PDF
[D33] そのデータベース 5年後大丈夫ですか by Hiromu Goto
PDF
A13 MySQL & NoSQL~Best of both world~ by Philip Antoniades & Ryusuke Kajiyama
PDF
C32 DB Performance on Cloud by 安藤賀章
PDF
Share pointを支えるsql server2014最新情報 tokyo_公開用
PDF
SQL Azure のシームレスな管理
PPTX
Qlik Talend Cloud概要:リアルタイムデータ統合とデータ品質を実現するデータファブリック
A25 sql server data page structure deep dive
[db tech showcase Sapporo 2015] A26:SQL Server Data Page Structure Deep Dive ...
Cloudera World Tokyo 2015 Oracleセッション資料 「ビッグデータ/IoTの最新事例とHadoop活用の勘所」
Db2 Warehouse on Cloud Flex ご紹介資料 2020年3月版
Qlik Talend Cloud しっかり学ぶ勉強会 #6 - 1 -SAPへの接続
2012年1月技術ひろば
Qlik TECH TALK セミナー:Qlik Talend CloudのDatabricksデータ連携ベストプラクティス
Oracle Database / Exadata Cloud 技術情報(Oracle Cloudウェビナーシリーズ: 2020年7月9日)
【GridDB入門】 IoT、そしてサイバー・フィジカル・システムを支える オープンソースデータベース GridDB ~ こだわりの理由と実現方法のポイント
2024-08-06 Qlik Talend Cloud しっかり学ぶ勉強会 #5 - 1 SaaSアプリケーションへの接続
IBM DB2 for zOSのソースエンドポイントとしての利用
IBM DB2 for iSeriesのソースエンドポイントとしての利用
【de:code 2020】 Power Platform で広がるデータ インテグレーションの世界 (1/2)
Oracle Cloud Infrastructure:2020年9月度サービス・アップデート
[D33] そのデータベース 5年後大丈夫ですか by Hiromu Goto
A13 MySQL & NoSQL~Best of both world~ by Philip Antoniades & Ryusuke Kajiyama
C32 DB Performance on Cloud by 安藤賀章
Share pointを支えるsql server2014最新情報 tokyo_公開用
SQL Azure のシームレスな管理
Qlik Talend Cloud概要:リアルタイムデータ統合とデータ品質を実現するデータファブリック
Ad

More from QlikPresalesJapan (20)

PDF
Qlik TECH TALK セミナー:What's New In Qlik ~ 2025年7月リリース最新機能のご紹介
PPTX
【Qlik 医療データ活用勉強会】第50回 日本医療マネジメント学会参加報告、DPCデータの活用等
PPTX
20250729_TechTalk_QlikTalendCloud_データ品質とデータガバナンス
PDF
20250722_TECH TALK 事例発表 Qlikを活用したSAPデータ活用の事例紹介
PDF
20250722_TECH TALK 事例発表 データ活用で未来を拓く!AI/機械学習が導くビジネス変革事例
PPTX
Powering Performance: メルセデス・ベンツにおけるDatabricksとQlikのリアルなユースケース
PPTX
Qlik Cloud Analytics HTMLによるレポートテンプレートの作成方法
PPTX
Snowflakeでキーペア認証を行う ~ Talend Studio, Qlik Cloud, Qlik Replicate ~
PPTX
Qlik TECH TALK セミナー:What's New In Qlik ~ 2025年6月リリース最新機能のご紹介 ~
PDF
Qlik Cloud Analyticsの機能を全部知ってますか? Qlik Cloud Analyticsの機能概要紹介
PDF
Qlik TECH TALK セミナー:What's New In Qlik ~ 2025年5月リリース最新機能のご紹介
PPTX
【Qlik 医療データ活用勉強会】DPC機能評価係数Ⅱ(2025年度)の内訳データの分析
PPTX
Qlik Talend CloudのSnowflakeデータ連携ベストプラクティス
PPTX
【無料ハンズオンセミナー】 20250513_Qlik Talend Cloud と Snowflake による最新のデータ統合と変換の実践.pptx
PPTX
Qlik TECH TALK セミナー:What's New In Qlik ~ 2025年4月リリース最新機能のご紹介 ~
PPTX
【Qlik 医療データ活用勉強会】令和5年度DPC「退院患者調査」データの活用(過年度と比較した二次医療圏の変化)
PPTX
2025-04-22 Qlik Tips QTC パイプラインのGitHub連携
PPTX
QlikTips: Qlik Cloud REST APIでユーザー登録(Node.js)
PDF
20250422_Qlik_Tips_AutoCalendar セッション用資料
PPTX
20250415 Qlik TECH TALK 信頼できるデータを実現!Talend Stewardship によるデータガバナンス
Qlik TECH TALK セミナー:What's New In Qlik ~ 2025年7月リリース最新機能のご紹介
【Qlik 医療データ活用勉強会】第50回 日本医療マネジメント学会参加報告、DPCデータの活用等
20250729_TechTalk_QlikTalendCloud_データ品質とデータガバナンス
20250722_TECH TALK 事例発表 Qlikを活用したSAPデータ活用の事例紹介
20250722_TECH TALK 事例発表 データ活用で未来を拓く!AI/機械学習が導くビジネス変革事例
Powering Performance: メルセデス・ベンツにおけるDatabricksとQlikのリアルなユースケース
Qlik Cloud Analytics HTMLによるレポートテンプレートの作成方法
Snowflakeでキーペア認証を行う ~ Talend Studio, Qlik Cloud, Qlik Replicate ~
Qlik TECH TALK セミナー:What's New In Qlik ~ 2025年6月リリース最新機能のご紹介 ~
Qlik Cloud Analyticsの機能を全部知ってますか? Qlik Cloud Analyticsの機能概要紹介
Qlik TECH TALK セミナー:What's New In Qlik ~ 2025年5月リリース最新機能のご紹介
【Qlik 医療データ活用勉強会】DPC機能評価係数Ⅱ(2025年度)の内訳データの分析
Qlik Talend CloudのSnowflakeデータ連携ベストプラクティス
【無料ハンズオンセミナー】 20250513_Qlik Talend Cloud と Snowflake による最新のデータ統合と変換の実践.pptx
Qlik TECH TALK セミナー:What's New In Qlik ~ 2025年4月リリース最新機能のご紹介 ~
【Qlik 医療データ活用勉強会】令和5年度DPC「退院患者調査」データの活用(過年度と比較した二次医療圏の変化)
2025-04-22 Qlik Tips QTC パイプラインのGitHub連携
QlikTips: Qlik Cloud REST APIでユーザー登録(Node.js)
20250422_Qlik_Tips_AutoCalendar セッション用資料
20250415 Qlik TECH TALK 信頼できるデータを実現!Talend Stewardship によるデータガバナンス
Ad

Recently uploaded (9)

PDF
限外ろ過膜調査レポート:市場規模、シェア、産業分析データ、最新動向2025-2031 YH Research
PDF
【QYResearch】グローバル農業機械市場の動向分析と成長戦略に関する総合調査報告
PDF
XCMSを用いた質量分析データ処理_BioCAsia2021_yamamoto.pdf
PDF
細胞培養用バイオリアクターおよび発酵槽市場規模の成長見通し:2031年には2823百万米ドルに到達へ
PDF
【QYResearch】グローバルコネクタ市場の動向と将来展望に関する詳細な分析報告
PDF
グローバルロープウェイ用スチールワイヤーロープ市場2025:主要企業のシェア、売上動向、競争戦略
PDF
世界半導体用酸化ハフニウム市場のサプライチェーン解析:上流、下流、収益モデル分析2025-2031
PDF
【QYResearch】人形ロボット産業の市場構造と今後の発展方向に関する分析レポート
PDF
商用ウェブカメラ市場:世界の産業現状、競合分析、シェア、規模、動向2025-2031年の予測
限外ろ過膜調査レポート:市場規模、シェア、産業分析データ、最新動向2025-2031 YH Research
【QYResearch】グローバル農業機械市場の動向分析と成長戦略に関する総合調査報告
XCMSを用いた質量分析データ処理_BioCAsia2021_yamamoto.pdf
細胞培養用バイオリアクターおよび発酵槽市場規模の成長見通し:2031年には2823百万米ドルに到達へ
【QYResearch】グローバルコネクタ市場の動向と将来展望に関する詳細な分析報告
グローバルロープウェイ用スチールワイヤーロープ市場2025:主要企業のシェア、売上動向、競争戦略
世界半導体用酸化ハフニウム市場のサプライチェーン解析:上流、下流、収益モデル分析2025-2031
【QYResearch】人形ロボット産業の市場構造と今後の発展方向に関する分析レポート
商用ウェブカメラ市場:世界の産業現状、競合分析、シェア、規模、動向2025-2031年の予測

Qlik Talend Cloudしっかり学ぶ勉強会 #8 「データソース IBM DB2接続」

  • 1. TECH TALK Qlik Talend Cloud 勉強会 - #8 「データソース: IBM DB2 」 「ターゲット: Amazon S3 と Redshift 」 クリックテック・ジャパン株式会社 2024 年 9 月 10 日
  • 2. • 質問は Zoom 画面下の Q&A アイコンをクリックして入力してください。 • 質問に対して Qlik パネラーが随時 Q&A パネルで回答します。 • 質問と回答については、セミナーの最後に他の参加者に共有させていただきます。 Q&A について
  • 3. Qlik Talend Cloud 勉強会 *予定は予告なく変更する場合があります。 No 日付 内容 1 2024/06/04 基本の設定とゲートウェイの導入 2 2024/06/11 データパイプライン作成の基本動作 データのオンボーディングの機能と操作 データマートの作成と管理、系列・影響分析 3 2024/06/18 データ変換の機能と操作ー SQL 変換と変換フロー 4 2024/07/25 データレプリケーションタスクの機能と操作 5 2024/08/06 SaaS App への接続( Salesforce ) Snowflake への接続(ターゲット) 6 2024/08/27 SAP への接続(ソース) No 日付 内容 7 2024/09/03 SaaS App への接続( Microsoft Dynamics CRM ) MySQL への接続(ソース・ターゲット) PostgreSQL への接続(ソース・ターゲット) Oracle への接続(ソース・ターゲット) 8 2024/09/10 IBM DB2 への接続(ソース) Amazon Redshift への接続(ターゲット) Microsoft SQL Server への接続(ソース・ターゲット) 9 2024/09/24 Azure Synapse Analytics への接続(ターゲット) Microsoft Fabric への接続(ターゲット) Azure Data Lake Storage への接続(ターゲット) 10 2024/10/08 Microsoft SQL Server への接続(ソース・ターゲット) Databricks への接続(ターゲット) Google BigQuery への接続(ターゲット) Google Cloud Storage への接続ターゲット) Qlik Cloud への接続(ターゲット) 済 済 済 済 済 済 済 YouTube プレイリスト
  • 4. 4 Qlik Talend Cloud 勉強会 - #1 ~ #7 の復習 https://www.youtube.com/@QTJMarketing
  • 5. TECH TALK Qlik Talend Cloud 勉強会 - #8 IBM DB2 への接続 クリックテック・ジャパン株式会社 阿部 智師 2024 年 9 月 10 日
  • 6. Agenda 1. 本セッションの概要 2. IBM DB2 for iSeries • IBM DB2 のセットアップ • Qlik Data Gateway のセットアップ • Qlik Talend Cloud のセットアップ • 制限と考慮事項 3. IBM DB2 for LUW • IBM DB2 のセットアップ • Qlik Data Gateway のセットアップ • Qlik Talend Cloud のセットアップ • 制限と考慮事項 4. IBM DB2 for z/OS • IBM DB2 のセットアップ • Qlik Data Gateway のセットアップ • Qlik Talend Cloud のセットアップ • 制限と考慮事項
  • 7. 本セッションの概要 • IBM DB2 接続 • Qlik Data Gateway – Data Movement
  • 8. 8 IBM DB2 データソース Qlik Talend Cloude でサポートするプラットフォーム コネクタ プラットフォーム データソース 対応バージョン 対応している サブスクリプ ション Qlik Data Gateway IBM DB2 for iSeries IBM i, AS400, iSeries, Power System i IBM DB2 for iSeries DB2: 7.2, 7.3, 7.4, 7.5 Enterprise 必要 IBM DB2 for LUW Linux, Unix and Windows IBM DB2 for LUW DB2: 11.1, 11.5 Enterprise 必要 IBM DB2 for z/OS IBM System z IBM DB2 for z/OS DB2: 12, 12.1, 13.1 z/OS: 2.4, 2.5 Enterprise 必要 DB2 関連製品に関しては、 IBM 社のサイトを参照してください。
  • 9. IBM DB2 への接続概要 Cloud Qlik Talend Cloud Qlik Data Gateway によりオンプレのデータをセキュアに Cloud へ移動 Qlik Data Gateway (Data Movement) データソース プライベートネットワーク Firewall クラウドデータプラットフォーム HTTPS カタログ 閉域網 (Linux) Data Jornal ターゲット
  • 10. 11 Qlik Data Gateway の導入について Qlik Data Gateway のセットアップについては、こちらを参照してください。 https://youtu.be/3YLP5OMmo3g Qlik Cloud データ統合勉強会 #1
  • 11. IBM DB2 for iSeries データソースとしての利用
  • 13. 14 必要な権限 (1/3) IBM DB2 for iSeries コネクタ 設定の基本設定で指定されたユーザーに、次の権 限を付与する必要があります。 • USER CLASS = *USER ( デフォルト値 ) • Special authority = *NONE • Full Load: ソーステーブルの読取り権限 • CDC: IBM DB2 for iSeries コネクタ およびタスクのソース テーブルに定義されたジャーナルの読み取り権限。 • 次のテーブルに対する SELECT 権限 ⁃ QSYS2.SYSCOLUMNS ⁃ QSYS2.SYSTABLES IBM DB2 for iSeries ※ 各オブジェクトの権限を設定するためのコマンドの使用方法は、 IBM のドキュメントを参照してください。
  • 14. 15 必要な権限 (2/3) IBM DB2 for iSeries データベースに対して、下記の権限とロックを設定する必 要があります。 • Journal Authority: *USE • Journal Library Authority: *EXECUTE • Journal Receivers Authority: *USE • Journal Receivers Library's Authority: *EXECUTE • File Authority ( 指定されている場合 ): *USE • File Library Authority: *EXECUTE • Journal Lock: *SHRRD • Journal Receiver Lock: *SHRRD • File Lock ( 指定されている場合 ): *SHRRD IBM DB2 for iSeries ※ 各オブジェクトの権限を設定するためのコマンドの使用方法は、 IBM のドキュメントを参照してください。
  • 15. 16 必要な権限 (3/3) ジャーナル権限にも *OBJEXIST が必要なケース • ファイル キーに *ALLFILE が指定されている。 • 指定されたオブジェクトがシステムに存在しない。 • 選択されたジャーナル コードのジャーナル コード選択値に、 *IGNFILSLT または *IGNOBJSLT が指定 されている。 データ移動ゲートウェイ ジョブ / ユーザー ID に次の属性を設定するケース • 次のエラーが発生する場合 SQL0666N SQL query exceeds specified time limit or storage limit このエラーが発生しないようにするには、データ移動ゲートウェイ ジョブ / ユーザー ID に次の属性 を設定します。 ⁃ QRYSTGLMT=*NOMAX ⁃ QRYTIMLMT=*NOMAX 詳細については、「 https://www.ibm.com/docs/en/i/7.4?topic=ssw_ibm_i_74/cl/chgqrya.htm」を参照してください。 IBM DB2 for iSeries
  • 16. 17 R4I UDTF on IBM DB2 for iSeries の利用 目的: CDC パフォーマンスの改善 - IBM DB2 for iSeries 上での CDC フィルタリング 下記の手順を実施してください。 1. 製品のダウンロード (https://community.qlik.com/t5/Download-Qlik-Products/tkb-p/Downloads) に移動します。 2. Qlik Data Integration を選択します。 3. 製品リストを下にスクロールして、 Qlik Replicate を選択します。 4. ダウンロード リンク列で、 QlikReplicate_< バージョン >_R4I.zip のリンクをクリックしてダウンロードを開始します。 5. IBM DB2 for iSeries サーバーに R4I UDTF をインストールします。 6. [UDTF キャプチャを有効化する ] オプションを選択します。 7. R4I インストール中に既定の CDC リーダーの UDTF 名を変更した場合、 [CDC リーダー UDTF 名 ] 項目で新しい名前 を指定します。 8. [UDTF 結果セット サイズ (MB)] 項目で、 R4I UDTF によって返された結果セット バッファの最大サイズを設定できます。 結果セットが大きいほど通常はパフォーマンスが改善しますが、 DB2 メモリー消費にも影響します。 DB2 のメモリ不足 により、ターゲット上でデータの不整合 ( 記録が部分的にキャプチャされるため ) が発生する可能性があるため、結果 セットのサイズを大きくしたい場合は、まずテスト環境でタスクを実行することがベスト プラクティスとなります。 IBM DB2 for iSeries
  • 17. Qlik Data Gateway の セットアップ IBM DB2 for iSeries
  • 18. 19 ドライバーのセットアップ Qlik Data Movement サーバーへ必要なドライバーのインストール 詳細は、およびドライバーの更新、アンインストール、手動セットアップについてはこちらを参照してください。 https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/IBM4 DB2-iseries/prereq-idb2.htm 1. Python 3.6x 以降のインストールします。 2. IBM Web サイトから IBM i Access Client Solutions Linux Application Package 「 ibm-iaccess- <version>.x86_64.rpm 」をダウンロードします。 3. rpm ファイルを /opt/qlik/gateway/movement/drivers/db2iseries にコピーします。 4. 作業ディレクトリを /opt/qlik/gateway/movement/drivers/bin に変更します。 5. 次のコマンドを実行します。 ./install db2iseries 6. EULA が表示されます。すべて表示後、「 y 」を入力すると、インストールが開始します。 IBM DB2 for iSeries
  • 19. 20 Qlik Data Gateway でサポートされているバージョン /opt/qlik/gateway/movement/drivers/manifests/db2iseries.yaml binary-artifacts ibm-iaccess-1.1.0.26-1.0.x86_64.rpm ↑ サポートされているバージョン IBM DB2 for iSeries
  • 20. Qlik Talend Cloud の セットアップ IBM DB2 for iSeries
  • 21. 22 接続するデータベースの選択 データ統合 ⇒ 接続 ⇒ 「接続を作成」⇒ 「 IBM DB2 for iSeries 」を選択 データベースを選択する と、利用可能なコネクタ が表示されます。 IBM DB2 for iSeries
  • 22. 23 接続プロパティの設定 (1/2) Gateway を選択します。 IBM DB2 for iSeries のサーバーを指定しま す。 (IP or ホスト名 ) IBM DB2 for iSeries サーバーにアクセスするための ユーザ名を入力します。 IBM DB2 for iSeries サーバーにアクセスするための パスワードを入力します。 •プライマリ キーまたは一意のインデックスなしで、 ターゲット テーブルに RRN*1 列を追加する •RRN 列をすべてのターゲット テーブルに追加する •RNN 列をターゲット テーブルに追加しない テーブルとスキーマにシステム名を使用する場合にチェックします。 IBM DB2 for iSeries *1 : Relative Record Number 行の正確な位値を示す
  • 23. 24 接続プロパティの設定 (2/2) ジャーナル名を入力します。 ジャーナルライブラリを入力します。 ( ジャーナルが配置されているライブラリ名 ) タスクの開始時にジャーナルの検証をスキップ (指定されたジャーナルが存在し、正しいテーブ ルが含まれていることが確実な場合には、検証 フェーズをスキップできます) UDTF*1 の使用時チェック。 UDTF 名を入力します。 ソースデータベースの変更を確認する頻度を設定します。 CCSID*2 マッピングが必要な場合、記入します。 ( 例 : CCSID1,codepage1,CCSID2,codepage2,...) IBM DB2 for iSeries *1 : ユーザ定義表関数 SQL 文を FROM 節で呼び出すことができる関数 *2 : コードキャラクターセット IBM 文字セットの識別
  • 24. 25 本日のデモンストレーション環境 データソース: DB2, ターゲット : Snowflake データソース データ統合 オンプレミス Full load or CDC Qlik Talend Cloud クラウド 制御 , SQL プッシュ データ Qlik Data Gateway (Data Movement) IBM DB2 for iSeries
  • 26. 27 対応しているデータ型 IBM DB2 for iSeries データ型 データ移動ゲートウェイ データ型 INTEGER INT4 SMALLINT INT2 BIGINT INT8 DECIMAL (p,s) NUMERIC (p,s) FLOAT REAL8 DOUBLE REAL8 REAL REAL4 CHAR (n) n<=32 KB の場合 : STRING VARCHAR (n) n<=32 KB の場合 : STRING GRAPHIC (n) n<=16 KB の場合 : STRING VARGRAPHIC (n) n<=16KB の 2 バイト文字である場合 : STRING DATE DATE TIME TIME TIMESTAMP DATETIME (6) BLOB BLOB 最大サイズ : 2 GB CLOB CLOB 最大サイズ : 2 GB ROWID BYTES - これはユーザー定義の列である必要があります。 DATALINK STRING この表は、サポートされている IBM DB2 for iSeries のソースデータ型と Data Movement Gateway 型への既 定のマッピングを示しています。 IBM DB2 for iSeries
  • 27. 28 タスク制限と考慮事項 (1/2) 下記は、すべてのデータタスクに影響します。 • マルチメンバー ( パーティション ) テーブルはサポートされていません。 • フィールドレベルの暗号化はサポートされていません。 • ジャーナルの受信者は、ユーザー管理ではなくシステム管理である必要があります。 • 最小化されたデータを含むジャーナルはサポートされていません。 • MINENTDTA パラメーターは「 MINENTDTA(*NONE) 」に設定してください。 • すべてのテーブルは同じジャーナルにある必要があります。 • XML データ型はサポートされていません。 • DBCLOB データ型はサポートされていません。 • LOB を除き、行サイズは 32740 バイト以下である必要があります。 • 通常 データ移動ゲートウェイ は、変更を伴うトランザクションがフル ロードの開始前にコミットされた場合にのみ、ソース データ ベースの変更をターゲットに適用します。ただし、コミットされていないトランザクションの一部としてソースから削除されたレ コードは、フル ロード中にターゲットに移動済みされません。 • 自動コミット モードでの DELETE 操作は、 *AFTER イメージでジャーナリングされたテーブルでは無視されます。このような場合、 [RRN 列の追加 ] オプションのいずれかが有効になっており、唯一の主キーとして設定されている場合にのみ、 DELETE 操作がキャ プチャされます。 • auto-commit=ON の場合、最後にコミットされたトランザクションの日付と時刻は、 attrep_status Control テーブルの SOURCE_CURRENT_TIMESTAMP 列に「 01-01-1970 00:00 」として表示されます。 • 名前に特殊文字が含まれる 移動 列、テーブル、ライブラリはサポートされていません。 • DDS*1 によって作成されたテーブル : DDS によって作成されたテーブルをレプリケートする必要がある場合は、 Qlik サポートまた は Qlik カスタマー サクセス マネージャーに指示を求めてください。 • R4I UDTF は、最大 300 個のテーブルをキャプチャできます。 300 を超えるテーブルをキャプチャする必要がある場合は、このオプ ションを使用しないでください。 IBM DB2 for iSeries *1 : Data Definition Specification IBM i のデータ定義仕様書
  • 28. 29 タスク制限と考慮事項 (2/2) 下記は、すべてのデータタスクに影響します。 • 4 バイトの絵文字を含む 移動 データはサポートされていません。 • ラテン文字以外の文字 (NLS) を含むテーブルおよび列名はサポートされていません。 • [ テーブルとスキーマのシステム名の使用 ] オプションが 有効になっている場合 ( コネクタ設定にて ) 、大文字、数字、アンダース コア (_) を含むテーブル / スキーマ名のみがサポートされます。 • リモート ジャーナルはサポートされていません。 • NLS ( 非ラテン語 ) 文字が含まれるテーブル名または列名はサポートされていません。 下記は、レプリケーションタスクに影響します。 • DROP TABLE DDL はサポートされていません • RENAME TABLE DDL はサポートされていません • バッチ最適化適用モードでは、タスクのテーブル キャプチャ パターンに一致するテーブルがソース データベースに作成される (CREATE TABLE) 場合、キャプチャされたテーブルのいずれかでトランザクションが発生するまで、そのテーブルはターゲット デー タベースに作成されません。 IBM DB2 for iSeries
  • 29. IBM DB2 for LUW データソースとしての利用 IBM DB2 for LUW
  • 31. 32 必要な設定 IBM DB2 for LUW コネクタで指定されたユーザーに、次の権限を付与する必要 があります。 • SYSADM または DBADM • DATAACCESS IBM DB2 for LUW データベースを回復可能に設定します。 • 変更をキャプチャするには、データ移動ゲートウェイ ではデータベースを回復可能に構成する必要があ ります。 • データベース構成パラメーター LOGARCHMETH1 および LOGARCHMETH2 のいずれかまたは両方が OFF に設定されていない場合、データベースは回復可能です。 自動的にデータキャプチャの変更を有効 • 接続設定で有効に選択されている場合、データ移動ゲートウェイ はタスクの実行開始時に ALTER TABLE 操作を実行します。タスクがすでに実行されている間に、テーブル選択パターンに一致する新しいテーブ ルが追加 ( ソース データベースに ) された場合、データ移動ゲートウェイ は、 DATA CAPTURE CHANGE 属性で作成された場合にのみ、そのテーブルからの変更をキャプチャします。 LOGARCHMETH1 : 現行ログ・パスからアーカイブされるログの 1 次宛先のメディア・タイプ LOGARCHMETH2 : 現行ログ・パスまたはミラー・ログ・パスのアーカイブ済のログの 2 次宛先のメディア・タイプ
  • 32. 33 pureScale 環境の LRI からタスクを再開または開始 pureScale*1 環境の LRI*2 からタスクを再開または開始するには下記を実行しま す。 IBM DB2 for LUW 1. db2pd DB2 コマンド ラインを実行して、 [ 現在のログ番号 ] を決定します : $ db2pd -log -db <database_name> 出力例 : Database Member 0 -- Database SAMPLE -- Active -- Up 0 days 00:27:02 -- Date 2018-05-23-14.49.45.515600 Logs: Current Log Number 2 Pages Written 19 Cur Commit Disk Log Reads 0 Cur Commit Total Log Reads 0 Method 1 Archive Status n/a Method 1 Next Log to Archive n/a Method 1 First Failure n/a Method 2 Archive Status n/a Method 2 Next Log to Archive n/a Method 2 First Failure n/a Log Chain ID 0 Current LSO 57142478 Current LSN 0x000000000004FB14 Address StartLSN StartLSO State Size Pages Filename 0x00007F164E99F090 00000000000429EC 48912001 0x00000000 1000 1000 S0000000.LOG 0x00007F16511319F0 000000000004901E 52988001 0x00000000 1000 1000 S0000001.LOG 0x00007F1651132350 000000000004F9A6 57064001 0x00000000 1000 1000 S0000002.LOG 2. db2flsn コマンドを実行して、そのログ ファイルの LRI/ LSN*3 範囲を決定します : $ db2flsn -db <database_name> -lrirange 2 出力例 S0000002.LOG: has LRI range 00000000000000010000000000002254000000000004F9A6 to 000000000000000100000000000022CC000000000004FB13 *1 puerScale : 大規模 DB のスケーリング機能 *2 LRI : ログレコード識別子 *3 LSN : ログシーケンス番号 db2pd は、データベースメモリーセット 内の情報取得コマンド db2flsn は、ログ・シーケンス番号の検出 コマンド
  • 33. Qlik Data Gateway の セットアップ IBM DB2 for LUW
  • 34. 35 ドライバーのセットアップ Qlik Data Movement サーバーへ必要なドライバーのインストール 詳細は、およびドライバーの更新、アンインストール、手動セットアップについてはこちらを参照してください。 https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/IBM4 DB2-luw/luw-prerequisites.htm#anchor-1 1. Python 3.6x 以降のインストールします。 2. IBM Web サイトから IBM Data Server Client 「 <version>_linuxx64_client.tar.gz 」をダウンロードします。 3. tar ファイルを /opt/qlik/gateway/movement/drivers/db2 にコピーします。 4. 作業ディレクトリを /opt/qlik/gateway/movement/drivers/bin に変更します。 5. 次のコマンドを実行します。 ./install db2 6. EULA が表示されます。すべて表示後、「 y 」を入力すると、インストールが開始します。 ※ サポートされているバージョンは、 /opt/qlik/gateway/movement/drivers/manifests/db2.yaml の binary- artifacts にあります。 IBM DB2 for LUW
  • 35. Qlik Talend Cloud の セットアップ IBM DB2 for LUW
  • 36. 37 接続するデータベースの選択 データ統合 ⇒ 接続 ⇒ 「接続を作成」⇒ 「 IBM DB2 for LUW 」を選択 データベースを選択する と、利用可能なコネクタ が表示されます。 IBM DB2 for LUW
  • 37. 接続プロパティの設定 (1/2) IBM DB2 for LUW Gateway を選択します。 IBM DB2 for LUW のサーバーを指定します。 (IP or ホスト 名 ) IBM DB2 for LUW サーバーにアクセスするための ユーザ名を入力します。 IBM DB2 for LUW サーバーにアクセスするための パスワードを入力します。 IBM DB2 for LUW のサーバーへアクセスに使用するポート を入力します。 38
  • 38. 39 接続プロパティの設定 (2/2) IBM DB2 for LUW ソースデータベースを入力します。 読取りの最大バッファサイズを設定します。 (CDC 中にログがアクセスされるごとに読み取る最 大キロバイト数 ) 自動的にデータキャプチャの変更を有効にする場合に チェックします。 ソースデータベースの変更を確認する間隔 SSL を有効にする場合、チェックします。 (Keystore database file (< ファイル名 >.kdb) と Stash file を指定できます。 )
  • 40. 41 対応しているデータ型 IBM DB2 for LUW ソース データ型 データ移動ゲートウェイ データ型 INTEGER INT4 SMALLINT INT2 BIGINT INT8 DECIMAL (p,s) NUMERIC (p,s) FLOAT REAL8 DOUBLE REAL8 REAL REAL4 DECFLOAT (p) 精度が = 16 の場合 : REAL8 精度が = 34 の場合 : STRING GRAPHIC (n) n<=127 KB の場合 : WSTRING VARGRAPHIC (n) n<=16k 2 バイト文字である場合 : WSTRING LONG VARGRAPHIC CLOB CHAR (n) STRING n<=255 VARCHAR (n) STRING n<=32k LONG VARCHAR (n) CLOB n<=32k CHAR (n) FOR BIT DATA BYTES CHAR (n) FOR BIT DATA BYTES LONG VARCHAR FOR BIT DATA BYTES DATE DATE IBM DB2 for LUW IBM DB2 for LUW ソース データ型 データ移動ゲートウェイ データ型 TIME TIME TIMESTAMP DATETIME BLOB BLOB CLOB CLOB 最大サイズ : 2 GB DBCLOB CLOB 最大サイズ : 1 G の 2 バイト文字 XML CLOB この表は、サポートされている IBM DB2 for LUW のソースデータ型と Data Movement Gateway 型へ の既定のマッピングを示しています。
  • 41. 42 タスク制限と考慮事項 (1/2) 下記は、すべてのデータタスクに影響します。 • クラスター化されたデータベースはサポートされていません • CDC 中は、 DECFLOAT 列への変更は無視されます。 • RENAME COLUMN ステートメントはサポートされていません。 • MDC ( 多次元クラスタリング ) テーブルで更新を実行すると、各更新はタスク モニターに INSERT + DELETE として表示されます。 • DB2 10.5 以降 : 行外に格納されたデータを含む可変長文字列は無視されます。この制限は、拡張された行サイ ズにて作成されたテーブルにのみ適用されます。 • 4 バイトの絵文字を複製する必要がある場合、変換を使用してデータ タイプを STRING(n ) から WSTRING ( n*2 ) に変換してください。 IBM DB2 for LUW
  • 42. 43 タスク制限と考慮事項 (2/2) 下記は、ランディングタスクに影響します。 • Include LOB 列 ランディングタスク設定が無効になっている場合、 LOB 列を含むすべてのテーブルは変更処理中に中断されます。 下記は、レプリケーションタスクに影響します。 • 複数のパーティションを持つテーブルを切り捨てる場合、データ移動ゲートウェイ コンソールに表示される DDL イベントの数は パーティションの数と同じになります。これは、 IBM DB2 for LUW がパーティションごとに個別の DDL を記録するためです。 • パーティション分割されたテーブルに対する次の DDL はサポートされていません。 ⁃ ALTER TABLE ADD PARTITION ⁃ ALTER TABLE DETACH PARTITION ⁃ ALTER TABLE ATTACH PARTITION • LOB 列をレプリケートしない タスク設定が有効になっている場合、 LOB 列を含むすべてのテーブルは変更処理中に中断されます。 • [ 変更の保存設定 ] タブで [ 監査テーブル ] オプションが有効になっている場合、監査テーブルの最初の日付と時刻のレコードは NULL になります。 • [ 変更の保存設定 ] タブで [ 変更テーブル ] オプションが有効になっている場合、テーブルの最初の日付と時刻のレコードはゼロにな る場合があります ( 例 : 1970-01-01 00:00:00.000000) 。 • ソース テーブルへの変更をキャプチャする場合、 RENAME TABLE 操作は、 DML 操作が先行する場合にのみキャプチャされます。 IBM DB2 for LUW
  • 43. IBM DB2 for z/OS データソースとしての利用 ※ 資料配布のみ
  • 45. 46 必要な権限 IBM DB2 for z/OS コネクタ設定で指定されたユーザーに次の権限を付与する必 要があります。 • EXECUTE UDTF を読み取る IFI に対する EXECUTE ( 変更データ キャプチャにのみ必要 ) • SELECT ソース テーブルおよび次のシステム カタログ テーブル : ⁃ SYSIBM.SYSDUMMY1 ⁃ SYSIBM.SYSTABLES ⁃ SYSIBM.SYSTABLESPACE ⁃ SYSIBM.SYSPARMS ⁃ SYSIBM.SYSROUTINES ⁃ SYSIBM.SYSCOLUMNS ⁃ SYSIBM.SYSLGRNX ⁃ SYSIBM.SYSTABLEPART •MONITOR2 - IFI セッションを開始できるようにするため ( 変更データ キャプチャにのみ必要 ) IBM DB2 for z/OS
  • 46. 47 R4Z 製品の z/OS へのインストール z/OS に R4Z 製品をインストールして構成する必要があります。 IBM DB2 for z/OS 1. 製品のダウンロード (https://community.qlik.com/t5/Download-Qlik-Products/tkb-p/Downloads) に移動します。 2. Qlik Data Integration を選択します。 3. 製品リストを下にスクロールして、 Qlik Replicate を選択します。 4. ダウンロード リンク列で、 QlikReplicate_< バージョン >_R4Z.zip のリンクをクリックしてダウンロードを開始します。 5. IBM DB2 z/OS サーバーに R4Z UDTF をインストールします。 インストールと構成に関しては、 R4Z のインストールと構成 ( https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Global_Common/Content/SharedReplicateHDD/R4Z_ Install_Config/concept-design.htm ) を参照してください。
  • 47. 48 R4Z 構成の依存関係 インストール中、 CDC サービス セットアップの一部として、またはエンドポイ ント定義の一部として設定できる、 R4Z 構成値のリスト IBM DB2 for z/OS R4Z トピック プロパティに依存 定義 / 問い合わせ元 解決策 R4Z ECSA 構造の合計サイズ 使用可能な ECSA サイズ /DNET,CSM,… OWNERID=ALL ECSA サイズが超過していないこと を確認します。 CDC サービスの MAXRESULTSETSECS パラメー ター DB2 スレッドがロックされた リソースを待機する最大時間 DSNZPARM IRLMRWT param. in SDSNSAMP(DSNTIJUZ) SSID 仕様より少なくとも 2 秒少な く設定します。 CDC サービスの MAXRESULSETSIZE パラメー ター ユーザー ID ごとに使用可能な 最大 LOB サイズ DSNZPARM LOBVALA param. in SDSNSAMP(DSNTIJUZ) 2 * ( 結果セットのサイズ * 最大セッ ション ) 小数点 : ピリオドまたはカンマ 小数点の編集記号を指定 DSNHDECM DECIMAL= param. In DSNTIJUZ 小数点の記号がカンマの場合 は、 AdditionalConnectionProper ties 内部プロパティ を patch2=15 に設定します。
  • 48. Qlik Data Gateway の セットアップ IBM DB2 for z/OS
  • 49. 50 ドライバーのセットアップ Qlik Data Movement サーバーへ必要なドライバーのインストール 詳細は、およびドライバーの更新、アンインストール、手動セットアップについてはこちらを参照してください。 https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/IBM4 DB2-zos/prerequisites-zos.htm#anchor-2 1. Python 3.6x 以降のインストールします。 2. IBM Web サイトから IBM Data Server Client 「 <version>_linux64_client.tar.gz 」をダウンロードします。 3. tar ファイルを /opt/qlik/gateway/movement/drivers/db2 にコピーします。 4. 作業ディレクトリを /opt/qlik/gateway/movement/drivers/bin に変更します。 5. 次のコマンドを実行します。 ./install db2 6. EULA が表示されます。すべて表示後、「 y 」を入力すると、インストールが開始します。 ※ サポートされているバージョンは、 /opt/qlik/gateway/movement/drivers/manifests/db2.yaml の binary- artifacts にあります。 IBM DB2 for z/OS
  • 50. 51 ODBC セットアップ ODBC 初期化ファイルの PLANNAME= 値で指定された、 ODBC に使用されるプランをバインド します。既定の名前は DSNACLI です。 BIND ジョブは、 DB2 インストール元の SDSNSAMP ライブラリの、メンバー DSNTIJCL にあります。 DB2CLI bind コマンドを使用して、 ODBC 提供のパッケージを目的のソース z/OS DB2 サブシス テムにバインドします。このアクションについては、 IBM ウェブサイトの『 Configuring your developer and runtime environment 』 ( https://www.ibm.com/docs/en/db2/11.1?topic=environment-bind-files-package-names) に記載 されています。バインド ユーティリティの例を含む DB2CLI ユーティリティの詳細について は、 IBM ウェブサイトの『 db2cli - DB2 interactive CLI command 』 ( https://www.ibm.com/docs/en/db2/11.1?topic=commands-db2cli-db2-interactive-cli) を参照し てください。 IBM DB2 for z/OS
  • 51. Qlik Talend Cloud の セットアップ IBM DB2 for z/OS
  • 52. 53 接続するデータベースの選択 データ統合 ⇒ 接続 ⇒ 「接続を作成」⇒ 「 IBM DB2 for z/OS 」を選択 データベースを選択する と、利用可能なコネクタ が表示されます。 IBM DB2 for z/OS
  • 53. 54 接続プロパティの設定 (1/2) Gateway を選択します。 IBM DB2 for z/OS のサーバーを指定します。 (IP or ホスト名 ) IBM DB2 for z/OS サーバーにアクセスするための ユーザ名を入力します。 IBM DB2 for z/OS サーバーにアクセスするための パスワードを入力します。 IBM DB2 for z/OS のサーバーのアクセスポートを指定 します。 インストール中に定義された DB2 場所名を入力します。 ( 「 -DIS DDF 」 DB2 コマンド (ISPF の DB2I パネルの下のオプ ション 7) を使用するか、 <ssid>MSTR アドレス スペースのジョブ ログでメッセージ DSNL004I を調べます。 ) IBM DB2 for z/OS
  • 54. 接続プロパティの設定 (2/2) 55 自動的にデータキャプチャの変更を有効にする場合にチェックします。 ソースデータベースの変更を確認する頻度を設定します。 UDTF 名を入力します。 CCSID マッピングが必要な場合、記入します。 ( 例 : CCSID1,codepage1,CCSID2,codepage2,...) Qlik が提供するユーザー定義テーブル関数に返される結 果行によって累積される最大サイズを指定します。 SSL を有効にする場合、チェックします。 (Keystore database file (< ファイル名 >.kdb) と Stash file を指定できます。 ) IBM DB2 for z/OS
  • 56. 57 対応しているデータ型 IBM DB2 for z/OS ソース データ型 データ移動ゲートウェイ データ型 INTEGER INT4 SMALLINT INT2 BIGINT INT8 DECIMAL (p,s) NUMERIC (p,s) FLOAT (8) REAL8 DOUBLE REAL8 REAL REAL4 DECFLOAT (p) 精度が = 16 の場合 : REAL8 精度が = 34 の場合 : STRING GRAPHIC n<=127 の場合 : WSTRING VARGRAPHIC n<=16k 2 バイト文字である場合 : WSTRING LONG VARGRAPHIC CLOB CHAR (n) STRING n<=255 VARCHAR (n) STRING n<=32k LONG VARCHAR (n) CLOB n<=32k CHAR (n) FOR BIT DATA BYTES VARCHAR (n) FOR BIT DATA CLOB LONG VARCHAR FOR BIT DATA BLOB DATE DATE この表は、サポートされている IBM DB2 for z/OS のソースデー タ型と Data Movement Gateway 型への既定のマッピングを示して います。 IBM DB2 for z/OS
  • 57. 58 タスク制限と考慮事項 次の制限と考慮事項に注意する必要があります。 • カタログ テーブルからの変更のキャプチャはサポートされていません。 • フル ロードと変更の適用が有効になっているタスク中に、重複したキーがターゲットに対して 移動済み になる場合 があります。これは、タスクの Full Load ステージ中に更新およびキャッシュされたレコードが、フル ロード中に挿 入された元のレコードと同じ日付と時刻を持つ可能性があるためです。これは通常、挿入されたレコードと更新され た ( キャッシュされた ) レコードの時間差が非常に小さい ( ミリ秒 ) 場合にのみ発生することに注意してください。 • 「 enableWLB 」ドライバー オプションはサポートされていません。接続を強制的に並列シスプレックス内の別の LPAR に自動的に切り替える ( つまり「フェイルオーバー」 ) には、ドライバー構成で「 enableACR 」を「 true 」 に、「 enableWLB 」を「 false 」に設定します。 • ビューの Landing は、フル ロード時にのみサポートされます ( つまり、 CDC はサポートされません ) 。 • RBA エントリー (6 バイトと 10 バイトのフォーマット ) が混在する環境からの変更のキャプチャーはサポートされ ていません。 • ソース テーブルへの変更をキャプチャする場合、 RENAME TABLE 操作は、 DML 操作が先行する場合にのみキャプ チャされます。 • 4 バイトの絵文字を含む 移動 データはサポートされていません。 IBM DB2 for z/OS
  • 58. 59 サブタイプ 83 に該当するアクションの処理 サブタイプ 83 に対する Data Gateway の処理 IBM DB2 for z/OS アクション データ移動ゲートウェイ での処理の仕方 ALTER TABLE ( 例 : ADD COLUMN などのバリエーション有り ) 問題なく処理されます。 MODIFY RECOVERY ( いくつかのバリエーション有り ) 問題なく処理されます。 LOAD REPLACE ( すべてのバリエーション ) 次のようなテキスト ( 例 ) の、警告メッセージが生成されます。 DB2z utility (subtype 83) variation 4 (LOAD REPLACE) at LSN=0000000000123abc0000 さらに、内部 データ移動ゲートウェイ パラメーター「 db2LoadOption 」が「 SUSPEND 」に設定されている場合、 テーブルは中断されます。デフォルトは「 IGNORE 」で、この場合でも警告メッセージは表示されます。 LOAD RESUME YES (SHRLEVEL CHANGE を除くすべてのバリエー ション ) 次のようなテキスト ( 例 ) の、警告メッセージが生成されます。 DB2z utility (subtype 83) variation 3 (LOAD RESUME YES) at LSN=0000000000123abc0000 さらに、内部 Replicate パラメーター「 db2LoadOption 」が「 SUSPEND 」に設定されている場合、テーブルは中断 されます。デフォルトは「 IGNORE 」で、この場合でも警告メッセージは表示されます。 REORG DISCARD ( 行が破棄された場合 ) 次のようなテキスト ( 例 ) の、警告メッセージが生成されます。 DB2z utility (subtype 83) variation 5 (REORG DISCARD) at LSN=0000000000123abc0000 さらに、内部 Replicate パラメーター「 db2LoadOption 」が「 SUSPEND 」に設定されている場合、テーブルは中断 されます。デフォルトは「 IGNORE 」で、この場合でも警告メッセージは表示されます。 CHECK DATA DELETE ( 行が削除された場合 ) 次のようなテキスト ( 例 ) の、警告メッセージが生成されます。 DB2z utility (subtype 83) variation 6 (CHECK DATA DELETE) at LSN=0000000000123abc0000 さらに、内部 Replicate パラメーター「 db2LoadOption 」が「 SUSPEND 」に設定されている場合、テーブルは中断 されます。デフォルトは「 IGNORE 」で、この場合でも警告メッセージは表示されます。 RECOVER TO POINT IN TIME 次のようなテキスト ( 例 ) の、警告メッセージが生成されます。 LSN=0000000000123abc0000 の DB2z ユーティリティ ( サブタイプ 83) バリエーション 7 (RECOVER TO POINT IN TIME) さらに、内部 Replicate パラメーター「 db2LoadOption 」が「 SUSPEND 」に設定されている場合、テーブルは中断 されます。デフォルトは「 IGNORE 」で、この場合でも警告メッセージは表示されます。
  • 59. 60 XMIT ファイルの「受信」ジョブのサンプル 以下は、 LOAD および INSTALL ライブラリを受信するためのジョブのサンプルです。 以下は、 LOAD および INSTALL ライブラリを受信するためのジョブのサンプルです。 //******************************************************************* //* Sample JCL for receiving * //* IBM DB2 for z/OS コネクタ installation kit * //* 1. Add a jobcard * //* 2. Replace all <xmit-HLQ> with the High Level Qualifier used * //* for receive files * //* 3. Replace all <r4z-vn-hlq> with the High Level Qualifier chosen * //* for the installation files * //******************************************************************* //RCVLOAD EXEC PGM=IKJEFT01,DYNAMNBR=20 //SYSPRINT DD SYSOUT=* //SYSTSPRT DD SYSOUT=* //SYSTSIN DD * RECEIVE INDSN('<xmit-HLQ>.LOAD.XMIT') NODISPLAY DATASET('<r4z-vn-hlq>.LOAD') /* //RCVINSTL EXEC PGM=IKJEFT01,DYNAMNBR=20 //SYSPRINT DD SYSOUT=* //SYSTSPRT DD SYSOUT=* //SYSTSIN DD * RECEIVE INDSN('<xmit-HLQ>.INSTALL.XMIT') NODISPLAY DATASET('<r4z-vnd-hlq>.INSTALL') /* IBM DB2 for z/OS

Editor's Notes

  • #25: こちらは、データ統合がクラウドのケースです。 先ほどのQlik Replicate と Qlik Composeのような処理をクラウド上で実施できます。 データソースはオンプレにあることが多いと思いますので、ここではオンプレのデータをクラウドにセキュアに移動できるように、Qlik Data Gatewayを利用しています。 これで、オンプレのデータもセキュアに、クラウド上で利用できます。 最後は同様に、Qlik Sense を用いて、分析を実施します。