sbc_rc_200_RealtimeCompute_handson_ver1.0
- 2. 本手順書で想定するデータパイプライン ECS LogService Realtime Compute RDS ログ収集 ETL ログ分析 OSS
- 3. ＊ハンズオンシステム構成図 3 LogService ローカルPC レポート 閲覧 データ収集 データ蓄積 データ処理 データ準備 データ利用 Action Trail （監査サービス） アップロード OSS Realtime Compute データソース SQL 文字列処理 テーブル結合 RDS (マスタテーブル) 監査レポート 閲覧 動作確認用 ログ生成 スクリプト VPC 一般 ユーザー root ユーザー Alibaba Cloud ElasticSearch k i b a n a
- 4. 作業の流れ 4 RealtimeCompute構築作業 1. プロダクトの購入 2. Project作成 3. JOB作成 4. データソース設定 5. データシンク設定 6. UDFの利用 7. 業務ロジック作成 8. Debug方法 9. Jobリリース
- 5. ー プロダクト紹介 ー
- 6. ©︎ 2019 SB Cloud Corp. Realtime Compute とは 6 Apache Flink の改善版 Blink をベースにしたストリーミング処理マ ネージドサービスです。また、Alibaba Group 内部の 11・11 キャ ンペーンなどの基幹システムのストリームデータ処理基盤として 利用されています。 数千ノード規模のクラスタ拡張性実績に加え、一日あたり数百 TB のデータ処理実績があります。 特徴 • 構築不要・高可用性・高拡張性 • 他プロダクトとのシームレス連携 • 自動リソース振り分け • Flink SQL で簡単にジョブを開発 • UDX 関数サポート • オンライン開発・運用環境 ジョブ API • Flink SQL • Data StreamAPI（未公開） 利用モード • 共有モード（日本サイト未サポー ト） • 専有モード
- 7. ©︎ 2019 SB Cloud Corp. 前提条件（注意事項） 7 ● 日本リージョンのドキュメントURL（英語のみ）： https://jp.alibabacloud.com/help/product/45029.htm?spm=a21mg.p38356.a1.2.1f4946dcXs9i0L ● 現時点日本リージョンでは下記の制限事項があります、ご注意ください ・購入ページへの遷移は専用URLが必要 ・コンソール言語は英語のみ ・共有モード利用できない（CU単位で購入すること） ・最新のバージョンはblink3.3.0 ・使用できるデータソースは「TableStore」、「RDS」、「LogService」のみ ・接続情報の中で、接続用ユーザ名とパスワードは平文で表示される 現時点：2019年10月
- 8. １、プロダクトの購入
- 10. ２、Project作成
- 13. ２_Project作成（クラスタ内のProject） 13 項目 説明 Project Name 任意名 Project Description 任意内容入力 Specified CUs 該当PJに割り当てCU数 を選択
- 14. ３、JOB作成
- 19. ４、データソース作成
- 21. ４_データソース設定（LogService例） 21 ①【Storage】タブボタ ンをクリックする ②接続したいデータソース を選択 本DemoではLogServiceをデ ータソースとして接続する
- 23. ４_データソース設定（LogService例） 23 項目 説明 Endpoint 接続先のLogServiceのEndpoint （イントラネットエンドポイント使用可能） https://jp.alibabacloud.com/help/doc- detail/29008.html?spm=a2c5t.11065259.1996646101.searchclickresult.3cf1793d38n AkM Project 接続先のLogServiceのProject名
- 26. ４_データソース設定（RDS例） 26 「RDS Data Storage」を右クリ ックし、「Register Data Store」をクリックする
- 27. ４_データソース設定（RDS例） 27 項目 説明 Stirage Type RDS Data Storage Region ap-northease-1 日本リージョン Instance RDSのInstanceIDを入力 DBName 接続対象DB名を入力 UserName ユーザー名 Password パスワード Network Type Internal Network Whitelist チェックする ※該当設定をすると、RDS側のホワイトリストに 自動的にRealtimeComputeのIPを追加することが できる。 入力後、「OK」ボタンをクリック
- 31. ５、データシンク作成
- 32. ５_データシンク（ElasticSearch例）の設定 32 注意：ElasticSearchの接続は現時点で「Storage」画面ではサポートしておりません、手動でJOBにて定義する必要があります。 参考ドキュメント：https://jp.alibabacloud.com/help/faq-detail/94716.htm?spm=a21mg.q38357.a3.8.de5f4e58i0l0aT CREATE TABLE es_stream_sink( columns_name_1 TIMESTAMP, columns_name_2 VARCHAR, columns_name_3 VARCHAR ) WITH ( type = 'elasticsearch', endPoint = 'http://es-sg-*********************.elasticsearch.aliyuncs.com:9200', accessId = 'elastic', accessKey =***********', index = 'index_name', typeName = 'index_type' ); サンプル
- 33. ６、UDF利用
- 34. ６_UDFの利用 34 前提条件 1. UDFの開発環境構築は下記のドキュメントを参照してください a. https://jp.alibabacloud.com/help/doc-detail/74943.htm?spm=a21mg.p38356.b99.69.124146dcRdeo6U 2. 使用するDemoは下記のドキュメントからダウンロードしてください a. https://jp.alibabacloud.com/help/doc-detail/69463.htm?spm=a21mg.p38356.b99.65.703b5b04ubumCK
- 36. ６_UDFの利用 36 項目 説明 Resource 「Upload Resource」をクリ ックし、対象のJarファイル を選択する。アップロード する Resource Name 任意の名前 Resource Description 任意の説明 Resource Type 現時点はJarのみサポートし ている 2019年10月時点
- 38. ７、業務ロジック作成
- 39. ７_業務ロジック作成 39 INSERT INTO es_stream_sink SELECT --UNIX時間変換 TO_TIMESTAMP(FROM_UNIXTIME(sls.__receive_time__)), sls.__source__, sls.__path__, sls.__hostname__, sls.eventtime, stringLengthUdf(sls.`hostname`), sls.label, sls.meassage, --大文字変換 UPPER(sls.`user`), rds.host_info, stringLengthUdf(rds.host_os), rds.hostname_id FROM for_realtimecompute_sls as sls --RDSとのテーブル結合 JOIN realtime_demo_2 FOR SYSTEM_TIME AS OF PROCTIME() as rds ON sls.`hostname`= rds.hostname_id; SQL例 SQL本文に下記のサンプルを貼り付けてください 必要に応じて修正してください
- 40. ８、Debug方法
- 44. ９、JOBリリース
- 45. ９_Jobリリース 45 １、「Publish」ボタンをクリックする ２、Use last time Auto Scalingを選択する
- 56. EOF