で始まり、[A-Za-z0-9_](アルファベット、数字またはアンダースコア)が続く必要あり
• ソースのカラム名がこのルールに従っていない場合は、「transformation」を使用してカラム名を変更する必要あり
• Apply Changesの「Ignore ALTER」設定は、ソースデータタイプの変更やテーブル名の変更には対応しない
• 「Target Table Preparation」の「Drop and Create table」オプションはサポートされない
• 「Target Table Preparation」の「Truncate before loading」オプションはサポートされない
• 「DDL History」および「Change Data Partitioning Control Table」はサポートされない
• DDL変更(テーブルの削除または名前の変更)はサポートされない](https://image.slidesharecdn.com/qlikreplicatekinesistarget-211014062855/85/Qlik-Replicate-Amazon-Kinesis-Data-Streams-11-320.jpg)
Qlik ReplicateでAmazon Kinesis Data Streamsをターゲットとして使用する
- 1. Qlik Replicateで Amazon Kinesis Data Streamsを ターゲットとして使用する クリックテック・ジャパン株式会社
- 3. 3 Qlik Replicateの「一般的な」アーキテクチャ Qlik Replicate メインフレーム ファイル データウェアハウス RDBMS Hadoop メインフレーム ファイル データウェアハウス RDBMS Hadoop フルロード CDC フルロード CDCを適用 バッチ バッチ クラウド クラウド オンプレミス オンプレミス 永続ストア • 多種多様なDB、DWH、ビッグデータプラットフォーム間でデータレプリケーション処理を簡単な操作で行うための製品 • エージェントレスでデータソースへの負荷や影響を最小限にしながら、高速に異種システム間でデータ転送を行える
- 4. 4 ターゲットとしてのストリーミング環境 – Amazon Kinesisなど Qlik Replicate メインフレーム ファイル データウェアハウス RDBMS Hadoop フルロード CDC フルロードとCDCの レコードデータを 送信 クラウド クラウド オンプレミス オンプレミス 永続ストア • ターゲットとして、Amazon Kinesis Data Streamsなどのストリーミングアーキテクチャのシステムをサポート • 実稼働データベースの更新をライブの変更データストリームに変換する、シンプルで汎用的なリアルタイムソリューション
- 5. 5 Amazon Kinesis Data Streams の概要
- 6. 6 Amazon Kinesis Data Streamsのプロデュース&コンシューム 用語 Producer - Kinesisクライアント。Stream(Shard)にデータレコードを送信 Consumer – Kinesisクライアント。Stream(Shard)からデータレコードを受信 Stream – ストリーム。複数のShardで構成も可能(1つのShardあたりの送受信の最大スループットが上限設定されている) Shard –データレコードを処理。永続化して一定期間保持 https://docs.aws.amazon.com/streams/latest/dev/key-concepts.html
- 7. 7 Qlik ReplicateのターゲットとしてのAmazon Kinesis Qlik Replicate は、Amazon Kinesis Data Streams の Producer Kinesisに接続してデータレコードをStreamに送信 各データレコードは、Full LoadとApply Changes(CDC)の「1行分のデータ」を表す(サイズには上限あり) • データレコードの形式は、JSON(UTF-8)またはAvro • データレコードとともに、PartitionKey(スキーマ名+テーブル名または主キーの値)も付加できる(オプション) • 処理するShardを決めるキー • データレコードは、Kinesis内ではBase64でエンコードされて処理される Full Load および CDC をサポート(ただしStore Changesモードはサポート無し)
- 8. 8 Amazon Kinesis Data Streamsをセットアップする AWS マネジメントコンソールの「IAM」で必要に応じてユーザーを作成 • アクセスの種類で「プログラムによるアクセス」を有効 • アクセス許可の設定で、以下のKinesisのアクションへの許可をアタッチ、または単純に「既存のAmazonKinesisAnalyticsFullAccessポリシー」をアタッチ • https://help.qlik.com/en-US/replicate/May2021/Content/Replicate/Main/Amazon%20Kinesis%20Streams/amazonkinesis_prereq.htm • Streamのサーバーのデータ暗号化が必要なら、追加で上記のKMSのアクションも許可するポリシーをアタッチ • ユーザーの認証情報で、アクセスキーIDとシークレットキーを作成しておく AWS マネジメントコンソールの「Amazon Kinesis」の「データストリーム」でStreamを予め作成 • Qlik Replicateが各データレコードの送信先として使用するStream(単一または複数個)を、必要なShard数(例:1)で作成 • Qlik Replicateがエラーの送信先として使用するStreamである attrep_apply_exceptions も作成 • もちろん、AWS コマンドラインインターフェイス(CLI)を使用してStreamを作成することも可能 • $>aws configure • $>aws kinesis create-stream --stream-name <name> --shard-count 1 AWS CLIなどでStreamにアクセスしてみる • $>aws kinesis list-streams • $>aws kinesis list-shards --stream-name <name> • $>aws kinesis get-shard-iterator --stream-name <name> --shard-id <shardId> --shard-iterator-type TRIM_HORIZON • $>aws kinesis get-records --shard-iterator ...
- 9. 9 Qlik ReplicateからAmazon Kinesis そしてQlik Senseへ
- 10. 10 ターゲットのデータソースとしてKinesisを設定 Access Details – Kinesisのリージョンやアクセスするユーザーのキーを指定 • AWS(IAM)のユーザーには、必要なアクションなどへの許可を有効にしておく 送信するデータレコード内のDataのFormatを設定 送信先のStreamを設定 • 単一のStream か 1テーブルごとに1つのStream(’schema.tablename’形式) • 送信先Shard振り分け用の PartitionKey の有無 • PartitionKeyを使う場合の値(主キー値 か ’schema+tablename’形式) • 処理中のエラーは、attrep_apply_exceptionsというStreamに送信される データレコード内のData(Base64デコード後)の構造を示すメタデータを付けるか否か • 付ける場合はそれを送信するStreamを指定 テーブルのTransformationで以下の名前のカラムを追加して、Stream、PartitionKeyの 値をそれぞれオーバーライド設定可能(Shardの指定は無し) • $stream、$key Advancedオプションとして、Webプロキシサーバーの指定も可能
- 11. 11 サポートされない機能(制限) • https://help.qlik.com/en- US/replicate/May2021/Content/Replicate/Main/Amazon%20Kinesis%20Streams/limitations_amazonkinesis.htm • 無制限サイズのLOBは非サポート。ソーステーブルからLOBカラムをレプリケートする場合は「Allow unlimited LOB size」オプションは選択しない • 「Batch optimized apply」モードはサポートされない。このモードが設定されている場合、タスクは自動的に「Transactional apply」モードに切り 替わり、警告を出力 • 「Store Changes」モードには対応しない • KinesisのStream名として使用できる文字は英字 (大文字と小文字)、数字、アンダースコア、ハイフン、ピリオドのみ • ソーステーブルの名前にサポートされない文字が含まれる場合、タスクを開始する前に名前を修正するか「Global Transformation」を定義する必要あり • カラム名は、[A-Za-z_](アルファベットまたはアンダースコア)で始まり、[A-Za-z0-9_](アルファベット、数字またはアンダースコア)が続く必要あり • ソースのカラム名がこのルールに従っていない場合は、「transformation」を使用してカラム名を変更する必要あり • Apply Changesの「Ignore ALTER」設定は、ソースデータタイプの変更やテーブル名の変更には対応しない • 「Target Table Preparation」の「Drop and Create table」オプションはサポートされない • 「Target Table Preparation」の「Truncate before loading」オプションはサポートされない • 「DDL History」および「Change Data Partitioning Control Table」はサポートされない • DDL変更(テーブルの削除または名前の変更)はサポートされない
- 12. 12 送受信されるデータレコード – DataがJSONの例(Base64) データレコード内のDataの値はBase64でエンコードされた状態で送受信される タスク MySQLKinesis Streamに送信され、aws kinesis get-records --shard-iterator …コマンドで受信して表示したデータレコードの例 ・・・ • MySQLのsales.employeesテーブルのEmployeeID、LastName、FirstNameの3つのカラムだけを処理 • Full Loadした後、MySQLクライアントで何かの行を更新(UPDATE)した場合 • PartitionKeyは’schema+tablename’形式
- 13. 13 送受信されるデータレコード – DataがJSONの例(Base64) operationの値は REFRESH - Full Load UPDATE, DELETE, INSERT - Apply Changes(CDC) タスク MySQLKinesis 受信したデータレコード内のDataの値(Base64エンコード)を試しにデコードしてみた例 ・・・ • データレコード内のDataの値はBase64でエンコードされた状態で送受信される • プロデューサやコンシューマで使用するKinesisクライアントライブラリでBase64のエンコード・デコードを処理してくれることが多い • AWS CLIのget-recordsコマンドはKinesisから受信したデータレコードをそのまま出力
- 14. 14 KinesisのStreamをコンシュームするクライアントの例 - その1 Pythonを利用して、KinesisのStreamを受信し続ける • AWS SDK for Python(Boto3) (https://github.com/boto/boto3)を利用。認証にはAWS CLIが生成する「~/.aws/credentials」を参照 ソースのsales.employeesテーブルのFull LoadとApply Changes(CDC)のデータをCSVファイルに継続的に追記 • fulload.csv, changes.csv Qlik Replicate RDBMS ファイル
- 15. 15 KinesisのStreamをコンシュームするクライアントの例 - その1 Qlik Sense(QlikView)でCSVファイルをロードする • 通常のリロード • Merge Onlyのリロード Qlik Replicate RDBMS ファイル
- 16. 16 KinesisのStreamをコンシュームするクライアントの例 - その2 Pythonを利用して、KinesisのStreamを受信し続ける • AWS SDK for Python(Boto3) (https://github.com/boto/boto3)を利用。認証にはAWS CLIが生成する「~/.aws/credentials」を参照 ソースのsales.employeesテーブルのFull LoadとApply Changes(CDC)のデータを継続的にMySQLのテーブルへINSERT(autocommit=true) • fullloadテーブル、changesテーブル • MySQLへのアクセスには、mysql-connector-pythonパッケージを利用 Qlik Replicate RDBMS RDBMS
- 17. 17 KinesisのStreamをコンシュームするクライアントの例 - その2 Qlik Replicate RDBMS RDBMS Qlik Sense(QlikView)でテーブルをロードする • 通常のリロード • Merge Onlyのリロード
- 18. 18 Tips: 送受信されるメッセージの構造 • 受信するレコードデータのメッセージのメタデータやスキーマなども利用可能 • 受信するコンシューマを実装する際に考慮が必要 • Replicate Envelopeとは？ https://help.qlik.com/en- US/replicate/May2021/Content/Replicate/Main/Amazon%20Kinesis%20Streams/attunity_envelope_amazonkinesis.htm • メッセージは、Replicate Envelopeと呼ばれるメッセージスキーマ用データによって包含されるエンドポイント設定もあり • messageSchemaIdフィールド(null またはID文字列) - 別の場所で定義されたメッセージスキーマへの参照ID。コンシューマは、別途送信される MetadataメッセージからIDを使って検索する必要あり • messageSchemaフィールド(null または 文字列) - Avroメッセージ用のAvro JSON スキーマ
- 19. www.qlik.com/sap