SlideShare a Scribd company logo
Copyright 2011 Toshiba Solutions Corporation
「情報爆発時代」 を勝ち抜くためのIT基盤技術とは?
~膨大な情報から最適解を引き出す 「SmartEDA®」
プラットフォームソリューション事業部 商品企画部
東芝ソリューション株式会社
栗田 雅芳
Copyright 2011 Toshiba Solutions Corporation 2
アジェンダ
1.情報爆発時代の到来
2.それを勝ち抜くためには?
3.そのため基盤技術とは?
4.デモ
5.大量データ高速イベント処理基盤 SmatEDA
6.適用例
7.まとめ
Copyright 2011 Toshiba Solutions Corporation 3
1.情報爆発時代の到来
Copyright 2011 Toshiba Solutions Corporation 4
情報爆発時代の到来
1975年 1990年 1995年 2000年 2005年 2010年 2015年 2020年~~
クラウド
2010~
Web
1995~2010
サーバ
パソコン
C/S
1980~1995
ミニコン
ワークステーション
ホスト
1965~1980
メインフレーム
IC CARD
2020年
約35.2ゼッタ
バイト
膨大な実世界データがリアルタイムに発生
2009年
約0.8ゼッタ
バイト
2011年
約1.8ゼッタ
バイト
2007年
約0.28
ゼッタバイト
Copyright 2011 Toshiba Solutions Corporation 5
ますます加速するスピード
株取引
数秒 → 数ms
天気予報
半日 → 5分間隔
(フォーキャスト) (ナウキャスト)
今(直近)の状況・変化を掴む
『きめ細かい』 『素早い』 データ活用の要求が増大
システム監視
検知から復旧まで
数時間 → 数分
在庫管理
発注まで
1週間/1日 → 数分
(リアルタイム発注)
Copyright 2011 Toshiba Solutions Corporation 6
2.それを勝ち抜くためには?
Copyright 2011 Toshiba Solutions Corporation 7
Sense Action
Event Processing
情報爆発時代を勝ち抜くためには・・・
直近の予
測
実世界のデータ
いち早くチャンスやリスクをつかみビジネスや社会に新しい価値を創造する
『きめ細かい』
収集・分析
『素早い』
検知・判断
今の状況(変化や予兆)をいち早くつかみ、直近を予測し、瞬時に対処をおこなうこと
収集 検知 判断
分析
Copyright 2011 Toshiba Solutions Corporation 8
実世界データ
直近の予測で実現できる世界
直
近
の
予
測
Sense Event
Processing
Action
製造装置の
リアルタイム監視
顧客動向の
リアルタイム把握
リアルタイム
需要予測
飛躍的な製品の品質向上
レコメンデーションの最適化
顧客動向を把握・察知し、顧客の興味の
ある商品をタイムリーに提示
(ショッピング、金融サービス)
リアルタイム
渋滞監視・予測
広域道路上の数万台の車両の挙動、目
的地および道路状況を把握し、道路交
通の円滑化、CO2の削減を実現
渋滞しない道路
サプライチェーンの最適化
メーカー、卸、物流、小売をつなぐリアル
タイムサプライチェーンを構築し、予測と
集束化による最適化を実現
さまざまなビジネスや社会に
新しい価値を創造
収集・分析
検知・判断 実現できる世界
製造ライン
センサ
RFID
POSデータ
SNS
行動ログ
道路センサ
車載機器
丸めていたセンサデータの全件処理する
ことで最小単位での欠陥のリアルタイム
検出による不良品率のゼロの追求
Copyright 2011 Toshiba Solutions Corporation 9
3.そのための基盤技術とは?
Copyright 2011 Toshiba Solutions Corporation 10
デマンドドリブンからイベントドリブンへ
BI
レポーティング
監視ツール
意思決定支援
どんなときに
何をするべきか
処理要求 処理実行 処理結果
蓄積データ
蓄積データの可視化
●従来のコンピュータ処理の方式 (デマンドドリブン:人が判断して処理要求を発行する)
人の判断 処理実行系
●情報爆発時代のコンピュータ処理の方式 (イベントドリブン:出来事から処理すべきアクションを判断し自動実行)
蓄積量増大
レスポンス低下
意思決定スピード
デマンド
人のインテリジェンスは、都度実行する処理の判断から、自動制御のためのルール作成に向けられる
蓄積データ
大量データ相関分析、原因分析
データマイニング
収
集
イベント
意図がある要求
意図されない要求
処理要求 処理実行 処理結果
処理実行系
どんなときに
何をするべきか
処理実行系
イベントストリーム処理
イベント
イベント
イベント
複合イベント処理
検知ルール 判断ルール
検知・判断
ルール設定
分
析
収
集
Copyright 2011 Toshiba Solutions Corporation 11
イベントストリーム処理 (ESP:Event Stream Processing)
イベントストリーム(時系列データ)現在 過去
データ
投入
プログラム
ウィンドウ (データ範囲)
イベントストリーム処理(現在から一定時間内のデータだけを高速に扱う処理)
 指定した時間 (ウィンドウ) のデータだけをメモリに保持して処理
 データが入ったとき、と、データが出たときに処理が起動される
 ウィンドウ内の、集計、統計、予測、パターンなどの検知が可能
5
5
8 4
4
5
3
3
1
10
6 67
3
5
5 8
3
1
1063
平均5.33
7
偏差値0.59 5
5
8
3
1
10
6
3
7 3位平均を0とした偏差値
ランキング
データストリーム現在 過去データストリーム現在 過去
集計・統計による検知
データ範囲 現在値
予測幅
変化率
(最小二乗法による一次近似)
予測値
時間
現在 未来過去
予測による検知
5
5
8 4
4
5
3
3
1
10
6 67
3
5
8
5
3
1
10
6
7
3
時間内に
データが
揃わなかったら
通知
データ
種類
指定範囲の
データ
データが揃ったら
都度通知
データストリーム現在 過去データストリーム現在 過去
特定パターンの検知
データ範囲
時間
データ増減パターン
(減・増・減・増)
通
知
通
知
変化パターンの検知
入った
タイミング
出た
タイミング
Copyright 2011 Toshiba Solutions Corporation 12
複合イベント処理 (CEP:Complex Event Processing)
外部情報
データベース
SOAで他システムに連携 ユーザや監視員に通知
複合イベント処理 (イベントストリームで検知したイベントを複合的に判断)
ルールベース
イベントストリーム処理
イベント
イベント
イベント
イベントA
イベントB
イベントC
時間軸
同時に発生
発生 発生 発生 発生
発生
発生
発生
発生
特定の順序で発生
特定の回数発生
デシジョンテーブル
データグリッド
デシジョンツリー
判断
イベントを受けたアプリケーションで処理
アクション
Copyright 2011 Toshiba Solutions Corporation 13
4.デモ
Copyright 2011 Toshiba Solutions Corporation 14
デモ: イベントストリーム処理(ESP)と複合イベント処理(CEP)
イベントストリーム処理
複合イベント処理
指定時間範囲(ウィンドウ)のデータに対し、
平均、最大、最小、変化率、変化パターン、予測等の
演算を行い、特定の状態を検知する
データソースごとに検知したイベントを、複数並列で
処理し、時間範囲の同時発生や変化パターンを検知
する。
デモ
デモ
Copyright 2011 Toshiba Solutions Corporation 15
製造装置
イベントストリーム処理
保守システム
装置
圧力
時間
予測値
センサー
情報
イベントストリーム処理デモ ~ 製造装置の故障予兆の検知 ~
圧力
センサー
通知
しきい値
現在値
イベントストリーム処理による監視
特定時間幅からリアルタイムに予測
値を算出し、予兆を監視
データベースには蓄積せず、センサ
情報を全件処理
従来の監視
単一指標によるしきい値監視
データベースに蓄積後に監視
Copyright 2011 Toshiba Solutions Corporation 16
複合イベント処理デモ ~ 工場全体の製造装置を監視 ~
イベントストリーム処理
イベントストリーム処理が個々の装置を監視
全体の装置を監視し、低レベルのアラートの中から
重要傷害予兆となる特定の組み合わせを判断
集中監視センター
通知
圧力
センサー
圧力
センサー
圧力
センサー
圧力
センサー
圧力
センサー
複合イベント処理
製造装置A
製造装置B
製造装置C
製造装置D
製造装置E
アラートの量
ア
ラ
ー
ト
の
緊
急
度
・
重
要
度
重大
中程度
低レベル
上層部
監視エンジニア
保守要員
特定の組み合わせ
装置
圧力
時間
予測値
しきい値
現在値
装置
圧力
時間
予測値
しきい値
現在値
装置
圧力
時間
予測値
しきい値
現在値
装置
圧力
時間
予測値
しきい値
現在値
装置
圧力
時間
予測値
しきい値
現在値
Copyright 2011 Toshiba Solutions Corporation 17
5.大量データ高速イベント処理基盤 SmartEDA
Copyright 2011 Toshiba Solutions Corporation 18
(1) センス(Sense) : 多種データソースからイベント情報を取得する
(2) イベント処理(EventProcessing) : イベントを収集・分析し、「特定の状況」を検知し、対処を判断する
(3) アクション(Action) : 必要に応じた処理を実行あるいはサービスやプロセスと連携をおこなう
ICカード
センサー
POS
業務端末
業務アプリケーション
業務
アプリケーション
生産システム
Webサービス
データベース
メール通知
作業員通知
インターネット
Event Driven Architecture
(1)
センス
Sense
(2)イベント処理
Event Processing
(3)
アクション
Action
検知 判断
データ連携
アダプタ
システム連携
SOA
SmartEDAとは?
イベントストリーム処理と複合イベント処理に対応した
イベントドリブン型のアプリケーション基盤
収集
分析
Copyright 2011 Toshiba Solutions Corporation 19
分析ツール
住所変更
プラン変更 クレーム
通信
負荷
レスポンス
CPU
使用量
待ち
ジョブ数
システム情報顧客情報
契約 利用状況
アプリ
ログ
稼働率
工事
設備情報
売上
受注
見積
営業情報
故障
設備
メンテナンス
リソース
増強
顧客対応
SmartEDA
1. さまざまなリアルタイムデータを
2. フレキシブルに組み合わせて
3. 特定の状態になったとき
4. アクションを実行します
アクション
リアルタイムビューワ
SmartEDAの特長
収集力 分析力 適応力
Copyright 2011 Toshiba Solutions Corporation 20
SmartEDA上に手法と知見とサービスを展開
お客様
アルゴリズム
トレード
装置情報
監視
EMS ヘルスケア
センシング
SmartEDA基盤
交通 証券
製造
装置
システム 医療 物流エネルギー
専門的な
知見と情報
(コンテンツ)
大量データ
検知・判断
の基盤
分析手法 統計手法 画像認識日本語処理 ・・・
生産ライン
最適化 ・・・
サプライ
チェーン
道路交通
監視制御
知見と情報を
活用した
サービス
データから知見
を得るための
手法と技術
SmartEDA
基盤部分
SmartEDA
フレームワーク
お客様や
事業者様と
創りあげる
クラウドor
オンプレミス
でサービス
Copyright 2011 Toshiba Solutions Corporation 21
基盤製品、フレームワークおよび導入検討~構築~運用までの支援サービスを提供
設計支援 導入後構築支援
導入検討フェーズ 構築フェーズ 運用フェーズ
コンサルティング
上流設計支援
 データ取得設計サービス
 ルール要件定義サービス
 POC検証サービス
(プロトタイプ)
設計/構築支援
 データ取得構築支援サービス
 ルール定義支援サービス
 システム連携支援構築サービス
 データ分析/BI連携支援サービス
基盤構築支援
 インストールサービス
 チューニングサービス
 製品教育サービス
 性能評価サービス
 QAサービス
支
援
サ
ー
ビ
ス
SmartEDAフレームワーク
共通ソリューション
 システム監視ソリューション
 業務見える化ソリューション
共通テンプレート
 検知・判断テンプレート
方法論
 設計・構築ガイドライン
SmartEDAソリューションサービス
基
盤
製
品
フ
レ
ー
ム
ワ
ー
ク
SmartEDA基盤製品
Copyright 2011 Toshiba Solutions Corporation 22
6.適応例
Copyright 2011 Toshiba Solutions Corporation 23
適用例:スマートコミュニティでの適用 ~社会の最適化
スマートコミュニティスマートファシリティスマートグリッド
情報分析・可視化、ルール導出、プランニング
情報集約・統合
統
合
管
理
情
報
統
合
個
別
管
理
設
備
・機
器
太陽光 蓄電系統電力 BEMS HEMS FEMS 水道 交通 医療
SCiB
SCiB
発生したばかりの情報のリアルタイム処理
電力需給の最適化 施設と都市のエネルギー管理 都市と暮らしの最適化
情報発生源
分散
大容量
データストア
最適化
センサ側
処理
センサ側
処理
センサ側
処理
センサ側
処理
センサ側
処理
センサ側
処理
センサ側
処理
センサ側
処理
SmartEDA/検知 (イベントストリーム処理)
SmartEDA/判断 (複合イベント処理)
SmartEDA/分析
SmartEDA/収集
Copyright 2011 Toshiba Solutions Corporation 24
スマートメータへの適用イメージ
大量データ
イベントストリーム処理(ESP)/複合イベント処理(CEP)
システム連携
分析→ルール
メータデータ管理
フィールドサービスに連携
エネルギー管理に連携
スマートメータ
Copyright 2011 Toshiba Solutions Corporation 25
7.まとめ
Copyright 2011 Toshiba Solutions Corporation 26
まとめ
これまで捨てていたデータ、活用していなかったデータ
そこから有益な情報を引き出すことで
新たな価値が生まれます
SmartEDAはそれを実現する基盤です
お客様のビジネスや社会の最適化をめざし、
いっしょに価値を創造させていただければと思います
情報爆発は、チャンスです
Copyright 2011 Toshiba Solutions Corporation 27
展示のご案内 (明日のカタチ コーナー)
情報の変化や予兆をリアルタイム検知・判断し、制御、通知、可視化します
変化に即応するスマート社会を実現 SmartEDA
 秒間数千から数万件発生する多種多様なデータを処理
 センサー、ICカードなど様々な情報ソースに対応し、装置や
施設の異常や、物流の停滞などの予兆を検知
 システムやDBからビジネスイベントを取得
 ソーシャルメディアなどのテキストデータから、当社独自の
日本語処理技術により有益な情報の取り込みが可能
■ 特 長 ■ こんな活用方法があります
EDA: Event Driven Architecture
SmartEDAは、東芝ソリューション株式会社の登録商標です。
 スマート社会における自然エネルギーの発電予測
 システム障害の予兆検知
 リアルタイムな需要予測によるサプライチェーン最適化
 患者の動線把握による、待たされない病院の実現
 証券売買の最適なタイミング判断
 無駄なロットや待ちを撲滅。製造装置稼働率向上
®
近似線
予測による検出
変化パターンの検出
相関関係の検出
外れ値の検出
<イベントストリーム処理>
故障
発送
棚卸
売上
入荷
修理
受注
在庫切れ
同時に発生 特定の順序で発生
センサ
スマートメータ
システム
インターネット
データベース
RFID
スマートフォン
<複合イベント処理>
様々なイベントを複合的に判断 アクション
センサイベント ビジネスイベント ソーシャルイベント
複合イベント処理
イベントストリーム処理 イベントストリーム処理 イベントストリーム処理
製造装置 売上 ニュース
プラント
施設
物流
入退室
POS
在庫 品質
営業 口コミ
株価
Twitter
交通
DB DB DB
テキ
スト
センサ
センサ
センサ
RFID
RFID
•分析
•見える化
•KPI算出
予兆検知 自動制御
省エネ
CO2削減
リスク
回避
コスト
削減
大量データ
ぜひお立ち寄りください
Copyright 2011 Toshiba Solutions Corporation
• SmartEDAは、東芝ソリューション株式会社の商標です。
• その他、本資料に記載されている社名及び商品名は、それぞれ各社が商標
または登録商標として使用している場合があります。
• 本内容は予告なく変更する場合があります。

More Related Content

PDF
Apache kafka 모니터링을 위한 Metrics 이해 및 최적화 방안
PPTX
Kafka Tutorial - introduction to the Kafka streaming platform
PDF
IoT時代におけるストリームデータ処理と急成長の Apache Flink
PDF
UDF/UDAF: the extensibility framework for KSQL (Hojjat Jafapour, Confluent) K...
PDF
[AKIBA.AWS] EC2の基礎 - パフォーマンスを100%引き出すオプション設定 -
PDF
Kubernetes Forum Seoul 2019: Re-architecting Data Platform with Kubernetes
PDF
SQLアンチパターン(インデックスショットガン)
PDF
Amazon Aurora Deep Dive (db tech showcase 2016)
Apache kafka 모니터링을 위한 Metrics 이해 및 최적화 방안
Kafka Tutorial - introduction to the Kafka streaming platform
IoT時代におけるストリームデータ処理と急成長の Apache Flink
UDF/UDAF: the extensibility framework for KSQL (Hojjat Jafapour, Confluent) K...
[AKIBA.AWS] EC2の基礎 - パフォーマンスを100%引き出すオプション設定 -
Kubernetes Forum Seoul 2019: Re-architecting Data Platform with Kubernetes
SQLアンチパターン(インデックスショットガン)
Amazon Aurora Deep Dive (db tech showcase 2016)

What's hot (20)

PDF
ksqlDB로 시작하는 스트림 프로세싱
PPTX
KubeEdgeを触ってみた
PPTX
ECS+Locust로 부하 테스트 진행하기
PDF
Amazon S3 Best Practice and Tuning for Hadoop/Spark in the Cloud
PDF
[232] 성능어디까지쥐어짜봤니 송태웅
PPTX
KOCOON – KAKAO Automatic K8S Monitoring
PDF
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
PDF
脆弱性スキャナVuls(応用編)
PDF
Fargate 를 이용한 ECS with VPC 1부
PDF
AWS 클라우드 보안 및 규정 준수 소개 (박철수) - AWS 웨비나 시리즈
PDF
Akkaで分散システム入門
PDF
PDOでデータベース接続と SQLインジェクション対策
PDF
[Pycon KR 2017] Rst와 함께하는 Python 문서 작성 & OpenStack 문서 활용 사례
PPTX
Oracleからamazon auroraへの移行にむけて
PDF
いまさら聞けないselectあれこれ
PDF
Container Storage Best Practices in 2017
PDF
Prometheus Project Journey
PDF
숨겨진 마이크로서비스: 초고속 응답과 고가용성을 위한 캐시 서비스 디자인
PPTX
はじめてのElasticsearchクラスタ
PDF
待ち事象から考える、Sql server の改善ポイント
ksqlDB로 시작하는 스트림 프로세싱
KubeEdgeを触ってみた
ECS+Locust로 부하 테스트 진행하기
Amazon S3 Best Practice and Tuning for Hadoop/Spark in the Cloud
[232] 성능어디까지쥐어짜봤니 송태웅
KOCOON – KAKAO Automatic K8S Monitoring
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
脆弱性スキャナVuls(応用編)
Fargate 를 이용한 ECS with VPC 1부
AWS 클라우드 보안 및 규정 준수 소개 (박철수) - AWS 웨비나 시리즈
Akkaで分散システム入門
PDOでデータベース接続と SQLインジェクション対策
[Pycon KR 2017] Rst와 함께하는 Python 문서 작성 & OpenStack 문서 활용 사례
Oracleからamazon auroraへの移行にむけて
いまさら聞けないselectあれこれ
Container Storage Best Practices in 2017
Prometheus Project Journey
숨겨진 마이크로서비스: 초고속 응답과 고가용성을 위한 캐시 서비스 디자인
はじめてのElasticsearchクラスタ
待ち事象から考える、Sql server の改善ポイント
Ad

Similar to 「情報爆発時代」を勝ち抜くためのIT基盤技術とは?膨大な情報から最適解を 「SmartEDA®」 (20)

PDF
データを事業に活かすために必要なデータ基盤とは
PDF
Global Top 5 を目指す NTT DATA の確かで意外な技術力
PDF
Pmaj産学連携pmセミナー 171216
PDF
【講演資料】ビッグデータ時代の経営を支えるビジネスアナリティクスソリューション
PPTX
ils.pptx
PPTX
R&D部門におけるデータ共有・利活用 (AI,MI)は、なぜ難しいのか?
PPTX
ils2023
PPTX
ils2023
PDF
Tech summit2017 arukikata_all_final
PDF
ビッグデータ
PDF
データ活用をもっともっと円滑に! ~データ処理・分析基盤編を少しだけ~
PDF
【17-C-4】「Axure RPによる画面プロトタイプを活用した要件定義の改善:野村総合研究所、NTTデータの事例紹介」松永充弘氏
PDF
Data × AI でどんな業務が改善できる? ​製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
PPTX
R&D部門におけるデータ共有・利活用はなぜ難しいのか
PPTX
ils202202
PPTX
R&D部門におけるデータ共有・利活用はなぜ難しいのか
PPTX
R&D部門におけるデータ共有・利活用はなぜ難しいのか
PPTX
ils202202
PPTX
R&D部門におけるデータ共有・利活用はなぜ難しいのか
PDF
基調講演:「多様化する情報を支える技術」/西川徹
データを事業に活かすために必要なデータ基盤とは
Global Top 5 を目指す NTT DATA の確かで意外な技術力
Pmaj産学連携pmセミナー 171216
【講演資料】ビッグデータ時代の経営を支えるビジネスアナリティクスソリューション
ils.pptx
R&D部門におけるデータ共有・利活用 (AI,MI)は、なぜ難しいのか?
ils2023
ils2023
Tech summit2017 arukikata_all_final
ビッグデータ
データ活用をもっともっと円滑に! ~データ処理・分析基盤編を少しだけ~
【17-C-4】「Axure RPによる画面プロトタイプを活用した要件定義の改善:野村総合研究所、NTTデータの事例紹介」松永充弘氏
Data × AI でどんな業務が改善できる? ​製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
R&D部門におけるデータ共有・利活用はなぜ難しいのか
ils202202
R&D部門におけるデータ共有・利活用はなぜ難しいのか
R&D部門におけるデータ共有・利活用はなぜ難しいのか
ils202202
R&D部門におけるデータ共有・利活用はなぜ難しいのか
基調講演:「多様化する情報を支える技術」/西川徹
Ad

More from griddb (20)

PDF
オープンソースのIoT向けデータベースGridDB-最新の強化ポイントについて-
PDF
ペタバイトデータをSQLでリアルタイム分析し、品質を向上させたユーザ事例~現場の苦労を紹介~
PDF
2024年時系列データベースの最新動向と最適な選択基準…時系列データベースは、現代のデータ駆動型ビジネスにおいて不可欠な要素となっています。適切な時系列デ...
PDF
ビッグデータ・IoTシステム向け高速スケールアウト型データベース GridDB - 従来のデータベースでは不可能だったビッグデータのリアルタイム分析が可...
PDF
NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB - 強化された時系列データ管理・検索機能について -
PDF
東芝のデータ処理技術基盤のご紹介(ポスター)
PDF
NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB ~ クラウドでGridDBを使ってみましょう ~
PDF
IoT指向のクラウドデータベースサービスGridDB Cloud ~その特徴とデータ連携の方法~
PDF
ペタバイト級でも扱えるGridDBのアーキテクチャ Deep Dive
PDF
日本発のオープンソース・データベース GridDB
PDF
NoSQL/SQLデュアルインタフェースを備えたIoT向けデータベースGridDB ~コマンドライン・インターフェース(CLI)を使ってみましょう~
PDF
多様性時代のDB選択
PDF
遂に登場! GridDBからデータベースサービス GridDB Cloud ~その設計思想と運用の原則
PDF
アーキテクチャを一新したIoT/ビッグデータ向けデータベースGridDB
PDF
NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB ~ GridDB CE 4.6のテーブルパーティショニングを 使っ...
PDF
ビッグデータやIoTシステムを支えるデータベース 『GridDB』
PDF
【ハンズオンセミナー】NoSQL/SQLデュアルインタフェースを備えたIoT向けデータベースGridDB ~ GridDB CE 4.6のテーブルパーティ...
PDF
GridDB: A Distributed SQL time series database for IoT and Big Data
PDF
オープンソースデータベース GridDB ~ なぜ いま、データベースを開発したのか?その理由とGridDBの概要紹介 ~
PDF
多様性時代のDB選択
オープンソースのIoT向けデータベースGridDB-最新の強化ポイントについて-
ペタバイトデータをSQLでリアルタイム分析し、品質を向上させたユーザ事例~現場の苦労を紹介~
2024年時系列データベースの最新動向と最適な選択基準…時系列データベースは、現代のデータ駆動型ビジネスにおいて不可欠な要素となっています。適切な時系列デ...
ビッグデータ・IoTシステム向け高速スケールアウト型データベース GridDB - 従来のデータベースでは不可能だったビッグデータのリアルタイム分析が可...
NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB - 強化された時系列データ管理・検索機能について -
東芝のデータ処理技術基盤のご紹介(ポスター)
NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB ~ クラウドでGridDBを使ってみましょう ~
IoT指向のクラウドデータベースサービスGridDB Cloud ~その特徴とデータ連携の方法~
ペタバイト級でも扱えるGridDBのアーキテクチャ Deep Dive
日本発のオープンソース・データベース GridDB
NoSQL/SQLデュアルインタフェースを備えたIoT向けデータベースGridDB ~コマンドライン・インターフェース(CLI)を使ってみましょう~
多様性時代のDB選択
遂に登場! GridDBからデータベースサービス GridDB Cloud ~その設計思想と運用の原則
アーキテクチャを一新したIoT/ビッグデータ向けデータベースGridDB
NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB ~ GridDB CE 4.6のテーブルパーティショニングを 使っ...
ビッグデータやIoTシステムを支えるデータベース 『GridDB』
【ハンズオンセミナー】NoSQL/SQLデュアルインタフェースを備えたIoT向けデータベースGridDB ~ GridDB CE 4.6のテーブルパーティ...
GridDB: A Distributed SQL time series database for IoT and Big Data
オープンソースデータベース GridDB ~ なぜ いま、データベースを開発したのか?その理由とGridDBの概要紹介 ~
多様性時代のDB選択

「情報爆発時代」を勝ち抜くためのIT基盤技術とは?膨大な情報から最適解を 「SmartEDA®」

  • 1. Copyright 2011 Toshiba Solutions Corporation 「情報爆発時代」 を勝ち抜くためのIT基盤技術とは? ~膨大な情報から最適解を引き出す 「SmartEDA®」 プラットフォームソリューション事業部 商品企画部 東芝ソリューション株式会社 栗田 雅芳
  • 2. Copyright 2011 Toshiba Solutions Corporation 2 アジェンダ 1.情報爆発時代の到来 2.それを勝ち抜くためには? 3.そのため基盤技術とは? 4.デモ 5.大量データ高速イベント処理基盤 SmatEDA 6.適用例 7.まとめ
  • 3. Copyright 2011 Toshiba Solutions Corporation 3 1.情報爆発時代の到来
  • 4. Copyright 2011 Toshiba Solutions Corporation 4 情報爆発時代の到来 1975年 1990年 1995年 2000年 2005年 2010年 2015年 2020年~~ クラウド 2010~ Web 1995~2010 サーバ パソコン C/S 1980~1995 ミニコン ワークステーション ホスト 1965~1980 メインフレーム IC CARD 2020年 約35.2ゼッタ バイト 膨大な実世界データがリアルタイムに発生 2009年 約0.8ゼッタ バイト 2011年 約1.8ゼッタ バイト 2007年 約0.28 ゼッタバイト
  • 5. Copyright 2011 Toshiba Solutions Corporation 5 ますます加速するスピード 株取引 数秒 → 数ms 天気予報 半日 → 5分間隔 (フォーキャスト) (ナウキャスト) 今(直近)の状況・変化を掴む 『きめ細かい』 『素早い』 データ活用の要求が増大 システム監視 検知から復旧まで 数時間 → 数分 在庫管理 発注まで 1週間/1日 → 数分 (リアルタイム発注)
  • 6. Copyright 2011 Toshiba Solutions Corporation 6 2.それを勝ち抜くためには?
  • 7. Copyright 2011 Toshiba Solutions Corporation 7 Sense Action Event Processing 情報爆発時代を勝ち抜くためには・・・ 直近の予 測 実世界のデータ いち早くチャンスやリスクをつかみビジネスや社会に新しい価値を創造する 『きめ細かい』 収集・分析 『素早い』 検知・判断 今の状況(変化や予兆)をいち早くつかみ、直近を予測し、瞬時に対処をおこなうこと 収集 検知 判断 分析
  • 8. Copyright 2011 Toshiba Solutions Corporation 8 実世界データ 直近の予測で実現できる世界 直 近 の 予 測 Sense Event Processing Action 製造装置の リアルタイム監視 顧客動向の リアルタイム把握 リアルタイム 需要予測 飛躍的な製品の品質向上 レコメンデーションの最適化 顧客動向を把握・察知し、顧客の興味の ある商品をタイムリーに提示 (ショッピング、金融サービス) リアルタイム 渋滞監視・予測 広域道路上の数万台の車両の挙動、目 的地および道路状況を把握し、道路交 通の円滑化、CO2の削減を実現 渋滞しない道路 サプライチェーンの最適化 メーカー、卸、物流、小売をつなぐリアル タイムサプライチェーンを構築し、予測と 集束化による最適化を実現 さまざまなビジネスや社会に 新しい価値を創造 収集・分析 検知・判断 実現できる世界 製造ライン センサ RFID POSデータ SNS 行動ログ 道路センサ 車載機器 丸めていたセンサデータの全件処理する ことで最小単位での欠陥のリアルタイム 検出による不良品率のゼロの追求
  • 9. Copyright 2011 Toshiba Solutions Corporation 9 3.そのための基盤技術とは?
  • 10. Copyright 2011 Toshiba Solutions Corporation 10 デマンドドリブンからイベントドリブンへ BI レポーティング 監視ツール 意思決定支援 どんなときに 何をするべきか 処理要求 処理実行 処理結果 蓄積データ 蓄積データの可視化 ●従来のコンピュータ処理の方式 (デマンドドリブン:人が判断して処理要求を発行する) 人の判断 処理実行系 ●情報爆発時代のコンピュータ処理の方式 (イベントドリブン:出来事から処理すべきアクションを判断し自動実行) 蓄積量増大 レスポンス低下 意思決定スピード デマンド 人のインテリジェンスは、都度実行する処理の判断から、自動制御のためのルール作成に向けられる 蓄積データ 大量データ相関分析、原因分析 データマイニング 収 集 イベント 意図がある要求 意図されない要求 処理要求 処理実行 処理結果 処理実行系 どんなときに 何をするべきか 処理実行系 イベントストリーム処理 イベント イベント イベント 複合イベント処理 検知ルール 判断ルール 検知・判断 ルール設定 分 析 収 集
  • 11. Copyright 2011 Toshiba Solutions Corporation 11 イベントストリーム処理 (ESP:Event Stream Processing) イベントストリーム(時系列データ)現在 過去 データ 投入 プログラム ウィンドウ (データ範囲) イベントストリーム処理(現在から一定時間内のデータだけを高速に扱う処理)  指定した時間 (ウィンドウ) のデータだけをメモリに保持して処理  データが入ったとき、と、データが出たときに処理が起動される  ウィンドウ内の、集計、統計、予測、パターンなどの検知が可能 5 5 8 4 4 5 3 3 1 10 6 67 3 5 5 8 3 1 1063 平均5.33 7 偏差値0.59 5 5 8 3 1 10 6 3 7 3位平均を0とした偏差値 ランキング データストリーム現在 過去データストリーム現在 過去 集計・統計による検知 データ範囲 現在値 予測幅 変化率 (最小二乗法による一次近似) 予測値 時間 現在 未来過去 予測による検知 5 5 8 4 4 5 3 3 1 10 6 67 3 5 8 5 3 1 10 6 7 3 時間内に データが 揃わなかったら 通知 データ 種類 指定範囲の データ データが揃ったら 都度通知 データストリーム現在 過去データストリーム現在 過去 特定パターンの検知 データ範囲 時間 データ増減パターン (減・増・減・増) 通 知 通 知 変化パターンの検知 入った タイミング 出た タイミング
  • 12. Copyright 2011 Toshiba Solutions Corporation 12 複合イベント処理 (CEP:Complex Event Processing) 外部情報 データベース SOAで他システムに連携 ユーザや監視員に通知 複合イベント処理 (イベントストリームで検知したイベントを複合的に判断) ルールベース イベントストリーム処理 イベント イベント イベント イベントA イベントB イベントC 時間軸 同時に発生 発生 発生 発生 発生 発生 発生 発生 発生 特定の順序で発生 特定の回数発生 デシジョンテーブル データグリッド デシジョンツリー 判断 イベントを受けたアプリケーションで処理 アクション
  • 13. Copyright 2011 Toshiba Solutions Corporation 13 4.デモ
  • 14. Copyright 2011 Toshiba Solutions Corporation 14 デモ: イベントストリーム処理(ESP)と複合イベント処理(CEP) イベントストリーム処理 複合イベント処理 指定時間範囲(ウィンドウ)のデータに対し、 平均、最大、最小、変化率、変化パターン、予測等の 演算を行い、特定の状態を検知する データソースごとに検知したイベントを、複数並列で 処理し、時間範囲の同時発生や変化パターンを検知 する。 デモ デモ
  • 15. Copyright 2011 Toshiba Solutions Corporation 15 製造装置 イベントストリーム処理 保守システム 装置 圧力 時間 予測値 センサー 情報 イベントストリーム処理デモ ~ 製造装置の故障予兆の検知 ~ 圧力 センサー 通知 しきい値 現在値 イベントストリーム処理による監視 特定時間幅からリアルタイムに予測 値を算出し、予兆を監視 データベースには蓄積せず、センサ 情報を全件処理 従来の監視 単一指標によるしきい値監視 データベースに蓄積後に監視
  • 16. Copyright 2011 Toshiba Solutions Corporation 16 複合イベント処理デモ ~ 工場全体の製造装置を監視 ~ イベントストリーム処理 イベントストリーム処理が個々の装置を監視 全体の装置を監視し、低レベルのアラートの中から 重要傷害予兆となる特定の組み合わせを判断 集中監視センター 通知 圧力 センサー 圧力 センサー 圧力 センサー 圧力 センサー 圧力 センサー 複合イベント処理 製造装置A 製造装置B 製造装置C 製造装置D 製造装置E アラートの量 ア ラ ー ト の 緊 急 度 ・ 重 要 度 重大 中程度 低レベル 上層部 監視エンジニア 保守要員 特定の組み合わせ 装置 圧力 時間 予測値 しきい値 現在値 装置 圧力 時間 予測値 しきい値 現在値 装置 圧力 時間 予測値 しきい値 現在値 装置 圧力 時間 予測値 しきい値 現在値 装置 圧力 時間 予測値 しきい値 現在値
  • 17. Copyright 2011 Toshiba Solutions Corporation 17 5.大量データ高速イベント処理基盤 SmartEDA
  • 18. Copyright 2011 Toshiba Solutions Corporation 18 (1) センス(Sense) : 多種データソースからイベント情報を取得する (2) イベント処理(EventProcessing) : イベントを収集・分析し、「特定の状況」を検知し、対処を判断する (3) アクション(Action) : 必要に応じた処理を実行あるいはサービスやプロセスと連携をおこなう ICカード センサー POS 業務端末 業務アプリケーション 業務 アプリケーション 生産システム Webサービス データベース メール通知 作業員通知 インターネット Event Driven Architecture (1) センス Sense (2)イベント処理 Event Processing (3) アクション Action 検知 判断 データ連携 アダプタ システム連携 SOA SmartEDAとは? イベントストリーム処理と複合イベント処理に対応した イベントドリブン型のアプリケーション基盤 収集 分析
  • 19. Copyright 2011 Toshiba Solutions Corporation 19 分析ツール 住所変更 プラン変更 クレーム 通信 負荷 レスポンス CPU 使用量 待ち ジョブ数 システム情報顧客情報 契約 利用状況 アプリ ログ 稼働率 工事 設備情報 売上 受注 見積 営業情報 故障 設備 メンテナンス リソース 増強 顧客対応 SmartEDA 1. さまざまなリアルタイムデータを 2. フレキシブルに組み合わせて 3. 特定の状態になったとき 4. アクションを実行します アクション リアルタイムビューワ SmartEDAの特長 収集力 分析力 適応力
  • 20. Copyright 2011 Toshiba Solutions Corporation 20 SmartEDA上に手法と知見とサービスを展開 お客様 アルゴリズム トレード 装置情報 監視 EMS ヘルスケア センシング SmartEDA基盤 交通 証券 製造 装置 システム 医療 物流エネルギー 専門的な 知見と情報 (コンテンツ) 大量データ 検知・判断 の基盤 分析手法 統計手法 画像認識日本語処理 ・・・ 生産ライン 最適化 ・・・ サプライ チェーン 道路交通 監視制御 知見と情報を 活用した サービス データから知見 を得るための 手法と技術 SmartEDA 基盤部分 SmartEDA フレームワーク お客様や 事業者様と 創りあげる クラウドor オンプレミス でサービス
  • 21. Copyright 2011 Toshiba Solutions Corporation 21 基盤製品、フレームワークおよび導入検討~構築~運用までの支援サービスを提供 設計支援 導入後構築支援 導入検討フェーズ 構築フェーズ 運用フェーズ コンサルティング 上流設計支援  データ取得設計サービス  ルール要件定義サービス  POC検証サービス (プロトタイプ) 設計/構築支援  データ取得構築支援サービス  ルール定義支援サービス  システム連携支援構築サービス  データ分析/BI連携支援サービス 基盤構築支援  インストールサービス  チューニングサービス  製品教育サービス  性能評価サービス  QAサービス 支 援 サ ー ビ ス SmartEDAフレームワーク 共通ソリューション  システム監視ソリューション  業務見える化ソリューション 共通テンプレート  検知・判断テンプレート 方法論  設計・構築ガイドライン SmartEDAソリューションサービス 基 盤 製 品 フ レ ー ム ワ ー ク SmartEDA基盤製品
  • 22. Copyright 2011 Toshiba Solutions Corporation 22 6.適応例
  • 23. Copyright 2011 Toshiba Solutions Corporation 23 適用例:スマートコミュニティでの適用 ~社会の最適化 スマートコミュニティスマートファシリティスマートグリッド 情報分析・可視化、ルール導出、プランニング 情報集約・統合 統 合 管 理 情 報 統 合 個 別 管 理 設 備 ・機 器 太陽光 蓄電系統電力 BEMS HEMS FEMS 水道 交通 医療 SCiB SCiB 発生したばかりの情報のリアルタイム処理 電力需給の最適化 施設と都市のエネルギー管理 都市と暮らしの最適化 情報発生源 分散 大容量 データストア 最適化 センサ側 処理 センサ側 処理 センサ側 処理 センサ側 処理 センサ側 処理 センサ側 処理 センサ側 処理 センサ側 処理 SmartEDA/検知 (イベントストリーム処理) SmartEDA/判断 (複合イベント処理) SmartEDA/分析 SmartEDA/収集
  • 24. Copyright 2011 Toshiba Solutions Corporation 24 スマートメータへの適用イメージ 大量データ イベントストリーム処理(ESP)/複合イベント処理(CEP) システム連携 分析→ルール メータデータ管理 フィールドサービスに連携 エネルギー管理に連携 スマートメータ
  • 25. Copyright 2011 Toshiba Solutions Corporation 25 7.まとめ
  • 26. Copyright 2011 Toshiba Solutions Corporation 26 まとめ これまで捨てていたデータ、活用していなかったデータ そこから有益な情報を引き出すことで 新たな価値が生まれます SmartEDAはそれを実現する基盤です お客様のビジネスや社会の最適化をめざし、 いっしょに価値を創造させていただければと思います 情報爆発は、チャンスです
  • 27. Copyright 2011 Toshiba Solutions Corporation 27 展示のご案内 (明日のカタチ コーナー) 情報の変化や予兆をリアルタイム検知・判断し、制御、通知、可視化します 変化に即応するスマート社会を実現 SmartEDA  秒間数千から数万件発生する多種多様なデータを処理  センサー、ICカードなど様々な情報ソースに対応し、装置や 施設の異常や、物流の停滞などの予兆を検知  システムやDBからビジネスイベントを取得  ソーシャルメディアなどのテキストデータから、当社独自の 日本語処理技術により有益な情報の取り込みが可能 ■ 特 長 ■ こんな活用方法があります EDA: Event Driven Architecture SmartEDAは、東芝ソリューション株式会社の登録商標です。  スマート社会における自然エネルギーの発電予測  システム障害の予兆検知  リアルタイムな需要予測によるサプライチェーン最適化  患者の動線把握による、待たされない病院の実現  証券売買の最適なタイミング判断  無駄なロットや待ちを撲滅。製造装置稼働率向上 ® 近似線 予測による検出 変化パターンの検出 相関関係の検出 外れ値の検出 <イベントストリーム処理> 故障 発送 棚卸 売上 入荷 修理 受注 在庫切れ 同時に発生 特定の順序で発生 センサ スマートメータ システム インターネット データベース RFID スマートフォン <複合イベント処理> 様々なイベントを複合的に判断 アクション センサイベント ビジネスイベント ソーシャルイベント 複合イベント処理 イベントストリーム処理 イベントストリーム処理 イベントストリーム処理 製造装置 売上 ニュース プラント 施設 物流 入退室 POS 在庫 品質 営業 口コミ 株価 Twitter 交通 DB DB DB テキ スト センサ センサ センサ RFID RFID •分析 •見える化 •KPI算出 予兆検知 自動制御 省エネ CO2削減 リスク 回避 コスト 削減 大量データ ぜひお立ち寄りください
  • 28. Copyright 2011 Toshiba Solutions Corporation • SmartEDAは、東芝ソリューション株式会社の商標です。 • その他、本資料に記載されている社名及び商品名は、それぞれ各社が商標 または登録商標として使用している場合があります。 • 本内容は予告なく変更する場合があります。