API MeetUp Online#8 セッション4 confluent小川さん
- 3. Royal Bank of Canada：イベントドリブン型銀行 • 10以上の様々な事業部門 • 50点以上のアプリ • 30件以上のユースケース RBCは、銀⾏のビジネスライン間のデータサイロ、メインフレームとクラウドネイティブアプリ ケーション間のデータ連携などの課題を克服 急速に増加するクラウド、機械学習、AIのイニシアチブのために、リアルタイムでスケーラブル なイベント駆動型データアーキテクチャを構築 デジタル マーケティング セキュリティ 消費者信用サービス SaaS 企業向け不動産 投資家向けサービス 財務サービス …. 不正行為 データ ウェアハウス マイクロ サービス モントリオールとトロント に本社を置く世界有数の⾦ 融グループの⼀つである。 カナダ国内に1,400以上の ⽀店を持ち、世界34カ国以 上で7万⼈以上の従業員を 持つメガバンクであり、カ ナダ五⼤銀⾏の⼀⾓を占め ている。
- 4. 4
- 6. ConflunetはApache Kafkaの完成版 6 エンジン＝Apache kafka 自動車＝Confluent Platform 自動運転＝ Confluent Cloud
- 7. Kafka / Confluent とは = イベント駆動型(メッセージング＋分散ストレージ＋ストリーミング処理) • メッセージングキュー • MF時代から利用されてきたMQ • AWS, Azure, GCPがMQをサービス化した事で改めて注目され始める → （Kafka / Confluent）⾼スループット・低遅延、データ順序保証、スケールアウト型 • 分散ストレージ（Kafka Broker：Tierd storage） • ストリーミング処理（kafka streams, ksqlDB） • 検証済みコネクター (Confluent Connector) • イベント駆動型アーキテクチャ • データ連携のタイミングは、Daily batch、Hourly batch、Micro batchと早くなるがリアルタイムでは無い • HadoopからSparkへ変更 ＝ Batch処理からStream処理への移行 → （Kafka / Confluent）⽣成されるEvent単位でDataを収集・変換／分析・ロードを⾏うリアルタイム ストリーミング
- 8. Throughput・Latency比較テスト 8 https://www.confluent.io/blog/kafka-fastest-messaging-system/ ⽐較対象： ・従来のメッセージ・ブローカーで あるRabbitMQ ・Apache BookKeeper™ベースのメッ セージ・ブローカーの1つである Apache Pulsar ・Apache Kafka ⽐較パフォーマンス指標 （1）システムのスループット （2）システムのレイテンシー
- 9. Kafka Topicについて 1 2 3 4 5 6 8 9 7 Partition 1 Old New 1 2 3 4 5 6 8 7 Partition 0 10 9 11 12 Partition 2 1 2 3 4 5 6 8 7 10 9 11 12 Writes 1 2 3 4 5 6 8 7 10 9 11 12 Producers Writes Consumer A (offset=4) Consumer B (offset=7) Reads
- 10. リフト＆シフトの 技術リスク無し データインフラストラクチャの新潮流になれるか!? 10 Mainframe Monlithic Legacy DB • Legacy modernization → ・ハイパースケール ・データ互換性 ・高スループット・ 低遅延 ・全データリアルタイム分析 ・厳密に1回書き込み Microservice Object storage 異なるDB Microservice CDC: Change data capture
- 11. インフラストラクチャの近代化 11 On-Prem Cloud Oracle DB:顧客情報 Confluent Platform PostgreSQL :受発注情報 Confluent Cloud DWH ksqlDB Cluster Linking Data Warehouseの近代化 CDC MQ JDBC ksqlDB Confluent REST proxy メインフレームの近代化 マイクロ サービス リプリケーション Microservice Object Storage クラウド API gateway
- 12. CQRSにKafka /Confluentの適用 12 ・トランザクションの99％がデータ参照処理、 スケーラブルなシステム作り ・Writeへの変更処理情報をイベントストリー ムでRead側へ連携することでデータの整合性 を保つ ・Write / Readドメイン毎のワークロードに合 わせて、最適なミドルウエアを選択すること が可能 SOR Enterprise APIs Data Grid Write / Command Read / Query
- 13. 部⾨毎のデータをDXで活⽤する︓2025年の崖を超える ... Device Logs ... ... ... データ ストア ログ サードパーティアプリ カスタム アプリ/ マイクロサービス 統合的なイベントパイプライン Amazon S3 SaaS apps リアルタイム のインベントリ リアルタイムの 不正検知 リアルタイム カスタマー360 機械学習 モデル リアルタイムデータ 変形 ... 付加価値:イベントストリーミングアプリケーション
- 14. Challenge: データの民主化とITランドスケープ全体のシステムを切り離すこ とで、地銀デジタルバンク構想と企業全体のデジタルトランス フォーメーションを推進 Solution: Data in motionを導入する事で、チームが銀行システム全体の データを利用できるセンターオブエクセレンスを構築 Results: ●市場投入までの時間を50%短縮 ●メインフレームとメッセージキューのコストを削減 ●新しいテクノロジーの導入をリスクなく実現 “Data in motion活用に対する需要が高まる中、Confluentと協 力し、当社のセンター・オブ・エクセレンスに投資することで、 複雑性、コスト、市場投入までの時間を削減し、企業にとって最 もメリットのある方法でソリューションを導入.する事が出来た” — Mike Onders, EVP Chief Data Officer and Divisional CIO at KeyBank
- 15. Legacy (DWH, Mainframe) Modernization “我々は現在、オンプレミスのTeradataのデータマートをGoogle BigQueryに移行しているところで、その移行に伴ってConfluent Cloudの強力 なユースケースが見えてきました。近々、Confluent Platform with Anthosをベアメタルで稼働させる予定ですが、これも移行の助けになる でしょう。” - Michael Roseman, SVP and Chief Architect at KeyBank. Google Cloudを活用して不正検知や新しいマイクロサービスでの開発など、LOBシステムの近代化 導入によるビジネス成果 1. 市場投入までの時間を半減 2. メインフレームのコスト削減 3. クラウドへの移行により、新技術の導入リスク を低減（リフト・アンド・シフトなし） Under Confluent NDA
- 16. Challenge: 業界の規制に準拠しながら、データを通じて顧客体験を向上 させる Solution: Confluent Platformを導入し、データをリアルタイムスト リーミングにし、イベントベースのアーキテクチャに移行し、マイクロ サービス化に着手 Results: ●大幅なコスト削減 ●アプリケーション構築の効率化 ●異常検知にかかる時間を数週間から数秒に短縮 ●チーム間でデータを再利用し、適切なビジネスインサイトを取得 ●より高品質で迅速かつスケーラブルな顧客サービス “Confluent Platformと競合する製品は他にありません。データをイベン トとしてストリーミングすることで、全く新しい方法で大規模な問題解決 が可能になりました.” — Head of Engineering, Enterprise Cloud
- 17. Royal Bank of Canada：イベントドリブン型銀行 • 10以上の様々な事業部門 • 50点以上のアプリ • 30件以上のユースケース RBCは、銀⾏のビジネスライン間のデータサイロ、メインフレームとクラウドネイティブアプリ ケーション間のデータ連携などの課題を克服 急速に増加するクラウド、機械学習、AIのイニシアチブのために、リアルタイムでスケーラブル なイベント駆動型データアーキテクチャを構築 デジタル マーケティング セキュリティ 消費者信用サービス SaaS 企業向け不動産 投資家向けサービス 財務サービス …. 不正行為 データ ウェアハウス マイクロ サービス モントリオールとトロント に本社を置く世界有数の⾦ 融グループの⼀つである。 カナダ国内に1,400以上の ⽀店を持ち、世界34カ国以 上で7万⼈以上の従業員を 持つメガバンクであり、カ ナダ五⼤銀⾏の⼀⾓を占め ている。
- 18. 18 cnfl.io/ask-the-community Ask questions, share knowledge and chat with your fellow community members! kafka-apache-jp.connpass.com Join your local Kafka User Group! Learn Apache Kafka® with Confluent Intrigued by Confluent Cloud? New signups receive $400 to spend within Confluent Cloud during their first 60 days: cnfl.io/mu-try-cloud Promo code for new + existing users: CC60COMM