情報爆発シンポジウム infoplosion
1 like1,446 views
国際シンポジウム、「情報爆発を超えて」 楽天技術研究所、森正弥 2012年1月16日
情報爆発シンポジウム infoplosion
- 1. 国際シンポジウム 国際シンポジウム 情報爆発を えて」 「情報爆発を越えて」 クラウドとHPCIによる クラウドとHPCIによる たなイノベーション 新たなイノベーション ビジネスでの状況と での状況 ビジネスでの状況と方向性 Rakuten Inc. Masaya Mori Jan. 16th, 2012
- 2. Introduction • まさや） 森 正弥 （もり まさや） • 楽天株式会社 執行役員 • 楽天技術研究所 所長 • アーキテクチャ関連部署 部署長 Masaya Mori – クラウド関連 Twitter: @emasha – 検索・データ解析基盤 2
- 3. クラウドは本格的な普及状態に クラウドは本格的な普及状態に突入 •“全米の約70%の企業が何らかの形でクラウドを利用” The Economist 全米の 70%の企業が らかの形 クラウドを利用 全米 • “パブリッククラウドは反動期、プライベートクラウドは流行期 Gartner パブリッククラウドは反動期、プライベートクラウドは流行期” ガートナーの ガートナーのハイプサイクル • E-Commerce においては、普及のスピードが最も速い においては、普及のスピードが •Netflix の全面移行、Amazon の全面移行 Netflix 全面移行、 • 東日本大震災以降、BCP対策としての導入例（ケンコーコム）も増加 東日本大震災以降、BCP対策としての導入例 ケンコーコム） 対策としての導入例（ 3
- 4. 「今のクラウド」のキーワード クラウド」 •パブリックとプライベート ハイブリッド設計 •オンプレミスとの連携 •CloudStack、OpenStack、 コモディティ化 •Eucalyptus、CloudFoundry •Hadoop、NoSQLの台頭 ビッグデータ •実空間情報の統合 4
- 5. 「今のクラウド」のキーワード クラウド」 •パブリックとプライベート ハイブリッド設計 •オンプレミスとの連携 •パブリックとプライベートの連携 パブリックとプライベートの パブリック •パブリックを使う、いや、使わない、という二項対立ではない パブリックを パブリック いや、 わない、という二項対立ではない 二項対立 •IT基盤戦略のポートフォリオをどう作るか IT基盤戦略 IT基盤戦略のポートフォリオをどう をどう作 •情報系・参照系・2.0系のパプリック vs. 基幹系のプライベート 情報系・参照系・2.0系 情報系 基幹系の •繁忙期、ピーク期におけるトランザクションの爆発に対応 繁忙期、 繁忙期 ピーク期におけるトランザクション 爆発に トランザクションの •海外展開での連携 （ネットワークのレイテンシ、各種法令対応） 海外展開での 海外展開での連携 ネットワークのレイテンシ、各種法令対応） • 全体戦略としては、IT基盤全体設計ができるアーキテクト人材の確保 全体戦略としては IT基盤全体設計ができるアーキテクト人材の としては、 基盤全体設計ができるアーキテクト人材 5
- 6. 「今のクラウド」のキーワード クラウド」 •CloudStack、OpenStack、 コモディティ化 •Eucalyptus、CloudFoundry •プライベート基盤構築のコモディティ化 プライベート基盤構築のコモディティ化 プライベート基盤構築 •各種オープンソース化しており、技術のコモディティ化が進行 各種オープンソース化しており、技術のコモディティ化 各種オープンソース •利用するクラウドから、自分たちでも作るクラウドが本格化 利用するクラウドから 利用するクラウドから、自分たちでも たちでも作 クラウドが •CloudStack のオープンソース化 CloudStack オープンソース化 •OpenStack の継続的リリース、コミュニティの拡大 OpenStack 継続的リリース コミュニティの リリース、 •老舗 Eucalyptus もメジャーバージョン３に 老舗 メジャーバージョン３ •PaaS基盤 CloudFoundry の登場 PaaS基盤 PaaS • 選択と集中の加速 選択と集中の • パブリックと役割分担した開発生産性を意識した基盤が構築可能に パブリックと役割分担した開発生産性を意識した基盤が構築可能に した開発生産性 した基盤 6
- 7. 「今のクラウド」のキーワード クラウド」 •CloudStack、OpenStack、 コモディティ化 •Eucalyptus、CloudFoundry •プライベート基盤構築のコモディティ化 プライベート基盤構築のコモディティ化 プライベート基盤構築 •“Open Compute Project Facebook Open Project” •インフラをスケールさせるハードウェアの設計や仕様の公開 インフラを インフラ スケールさせるハードウェアの設計や仕様の させるハードウェア •不要な機能や部品を排し、高い効率性と妥当なコストの実現 不要な 不要 機能や部品を 効率性と妥当なコストの • 大規模なクラウド基盤の知識も共有が進む 大規模なクラウド基盤の知識も共有が 基盤 7
- 8. 「今のクラウド」のキーワード クラウド」 •Hadoop,NoSQLの台頭 ビッグデータ •実空間情報の統合 •そもそもの情報の活用例 そもそもの情報の そもそもの情報 •Last.fm Last.fm •230カ国以上に3000万人以上のユーザ 230カ国以上に3000万人以上の 230 万人以上 •膨大なユーザの嗜好を分析，個々人にあった音楽を推薦・提供． 膨大な 膨大 ユーザの嗜好を分析， にあった音楽 推薦・提供． 音楽を •毎日1000万回以上の視聴情報を解析 毎日1000万回以上の 毎日1000万回以上 視聴情報を •Pandora Radio Pandora •ユーザデータに加え，曲の旋律，歌詞，声質，楽器，拍子，コード進 ユーザデータに ユーザデータ 旋律，歌詞，声質，楽器，拍子，コード進 行等を かく解析 行等を細かく解析 •ユーザの評価を組み合わせ，よりよい曲を提供 ユーザの ユーザ 評価を わせ，よりよい曲 １億人以上のユーザを 成長を •１億人以上のユーザを持ち，成長を続ける • 情報解析のビジネス価値の発見 情報解析のビジネス価値 価値の 8
- 9. 「今のクラウド」のキーワード クラウド」 •Hadoop,NoSQLの台頭 ビッグデータ •実空間情報の統合 •スーパーDB、レコメンド、パーソナライズ スーパーDB、レコメンド、 スーパーDB •データマイニング、NLP、統計による価値の創出 データマイニング、NLP、統計による価値の データマイニング による価値 • 情報解析のビジネス価値の発見、情報解析の重要性 情報解析のビジネス価値 発見、情報解析の 価値の 9
- 10. 「今のクラウド」のキーワード クラウド」 •Hadoop,NoSQLの台頭 ビッグデータ •実空間情報の統合 •情報爆発 情報爆発 •インターネット接続回線合計トラフィック 11Gbps以上 インターネット接続回線合計トラフィック 11Gbps以上 インターネット接続回線合計 •PV 1億、年間流通総額 1兆円 （グループ2.3兆円） PV 1億 グループ2.3兆円） 2.3兆円 •ユーザー数 8000万、商品数 8800万、レビュー 7000万 ユーザー数 ユーザー 8000万 8800万 7000万 •一日数百GB以上のトランザクション、アクセスログ、検索ログ 一日数百GB以上の 一日数百GB以上 トランザクション、アクセスログ、検索ログ • 情報解析基盤の大規模化 情報解析基盤の • 大規模システムの構築・運用技術は必須 大規模システム 構築・運用技術は システムの 10
- 11. 「今のクラウド」のキーワード クラウド」 •Hadoop,NoSQLの台頭 ビッグデータ •実空間情報の統合 •大規模基盤の活用・構築 大規模基盤の活用・ 大規模基盤 •クラウドの普及、技術のコモディティ化を踏まえ クラウドの普及、技術のコモディティ化 クラウド •パブリッククラウドの活用、プライベートの構築 パブリッククラウドの パブリッククラウド 活用、プライベートの •Hadoopクラスターの構築、NoSQLの活用・構築 Hadoopクラスター Hadoopクラスターの構築、NoSQLの活用・ • レコメンド、ターゲティング広告、検索改善、ログ解析での活用 レコメンド、ターゲティング広告 検索改善、ログ解析での活用 広告、 解析での • OSSの活用、貢献、開発が進む OSSの活用、貢献、開発が 11
- 12. 楽天プロダクトランキング 楽天プロダクトランキング ■処理内容 ・ランキングデータ集計 サーチエンジン 購買履歴 製品マスタDB 製品マスタDB マスタ ・製品ページ用データ生成 ■データ量 データ量 検索ワード 価格 売上件数 売上高 製品名 製品コード ・1日/1億レコード ・1日/300GB レビュー 商品件数 売上率 購買時間帯 スペック 発売日 ■M/R 処理時間 ・1時間半 ■ノード数 ノード数 ・70台 RAN Calculate DB Rakuten Product 12
- 13. 検索での関連語提示や辞書構築での活用 検索での関連語提示や辞書構築での活用 での関連語提示 での クラスターから検索解析用のHiveにつなげ 関連語の提示や辞書構築等での活用 月 250GBのデータを解析 suggest batch server Suggest Index sync analyzed update search index data Shared Hadoop Cluster NGS Hive dictionary batch 検索エンジン Server NGS common Dictionary platform for hive Index update search index 13
- 14. 「今のクラウド」のキーワード クラウド」 •Hadoop,NoSQLの台頭 ビッグデータ •実空間情報の統合 •実空間情報の統合 実空間情報の 実空間情報 •スマートフォンの普及、Online To Offline サービスの胎動 スマートフォンの普及、 スマートフォン サービスの •Shopkick, ShopSavvy, CheckPoints、Milo Shopkick, CheckPoints、 •トヨタの自動車クラウド トヨタの トヨタ 自動車クラウド •位置情報，走行距離・状態、使用傾向の収集・解析 位置情報， 位置情報 走行距離・状態、使用傾向の収集・ •ナビでリアルタイム情報推薦，適した自動車ローン商品の開発 ナビで ナビ リアルタイム情報推薦 情報推薦， した自動車ローン商品自動車ローン商品の • 実空間情報の統合による、更なる情報爆発・ビッグデータ 実空間情報の統合による による、 なる情報爆発 情報爆発・ • 次世代の情報解析基盤・情報ネットワークの整備が急務に 次世代の情報解析基盤・情報ネットワーク 整備が急務に ネットワークの 14
- 15. 「今のクラウド」のキーワード クラウド」 •パブリックとプライベート ハイブリッド設計 •オンプレミスとの連携 •CloudStack、OpenStack、 コモディティ化 •Eucalyptus、CloudFoundry •Hadoop、NoSQLの台頭 ビッグデータ •実空間情報の統合 • クラウドはビジネスに着実に浸透、高度な全体設計が要求される クラウドはビジネスに着実に浸透、高度な全体設計が要求される • ビッグデータ活用の価値増大と基盤構築、更なる情報爆発への対応 ビッグデータ活用 価値増大と基盤構築、 なる情報爆発への対応 活用の 情報爆発への 15