データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
6 likes2,747 views
本年のWebDBフォーラム2015 http://db-event.jpn.org/webdbf2015/ 技術報告セッションにおけるYahoo! JAPAN発表資料を公開します。
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
- 2. アジェンダ 1. Yahoo! JAPAN のご紹介 2. マルチビッグデータ 3. データサイエンスのビジネス活用事例 4. データ分析基盤とそのテクノロジー 5. 広告最適化における分析基盤利用の実例 6. 進化するデータ分析基盤
- 3. アジェンダ 1. Yahoo! JAPAN のご紹介 2. マルチビッグデータ 3. データサイエンスのビジネス活用事例 4. データ分析基盤とそのテクノロジー 5. 広告最適化における分析基盤利用の実例 6. 進化するデータ分析基盤
- 7. データ で
- 8. 79％ Yahoo! JAPAN利用率79% ニールセン2014年 日本のインターネットサービス利用者数ランキングを発表～ Nielsen NetView 家庭および職場のPCからの利用 インターネット利用者総数5200万人のうち、 79%の皆様がヤフーを利用
- 10. 事業領域 マーケティング ソリューション事業 3,042億円 69.4% コンシューマ事業 1,020億円 23.2% % その他 323億円 7.4% 2014年度通期および第4四半期決算より
- 12. アジェンダ 1. Yahoo! JAPAN のご紹介 2. マルチビッグデータ 3. データサイエンスのビジネス活用事例 4. データ分析基盤とそのテクノロジー 5. 広告最適化における分析基盤利用の実例 6. 進化するデータ分析基盤
- 13. ヤフーのビッグデータ？
- 20. Yahoo! JAPANはインターネット複合企業 Media JP US Search C2C EC B2C EC ニュース 検索 Answer 知恵袋
- 21. Media JP US Search C2C EC B2C EC ニュース 検索 Answer 知恵袋 日本市場No.1のサービスを保有している
- 22. Media JP US Search C2C EC B2C EC ニュース 検索 Answer 知恵袋 Yahoo! JAPAN IDで連結されている 100以上のサービス・ビジネスデータと連結
- 24. アジェンダ 1. Yahoo! JAPAN のご紹介 2. マルチビッグデータ 3. データサイエンスのビジネス活用事例 4. データ分析基盤とそのテクノロジー 5. 広告最適化における分析基盤利用の実例 6. 進化するデータ分析基盤
- 25. あなたへのおすすめ
- 27. おすすめ商品をレコメンド
- 28. 検索結果の最適化
- 29. 広告表示の最適化
- 31. アジェンダ 1. Yahoo! JAPAN のご紹介 2. マルチビッグデータ 3. データサイエンスのビジネス活用事例 4. データ分析基盤とそのテクノロジー 5. 広告最適化における分析基盤利用の実例 6. 進化するデータ分析基盤
- 37. アジェンダ 1. Yahoo! JAPAN のご紹介 2. マルチビッグデータ 3. データサイエンスのビジネス活用事例 4. データ分析基盤とそのテクノロジー 5. 広告最適化における分析基盤利用の実例 6. 進化するデータ分析基盤
- 48. アジェンダ 1. Yahoo! JAPAN のご紹介 2. マルチビッグデータ 3. データサイエンスのビジネス活用事例 4. データ分析基盤とそのテクノロジー 5. 広告最適化における分析基盤利用の実例 6. 進化するデータ分析基盤
- 49. 大量のデータを扱える スマホアプリ・位置情報・IoT・オフラインデータ 高速に処理できる 長期間・組み合わせ・DeepLearning(画像・音声解析) 高効率である サーバ・ネットワーク・場所・電力・運用 新しい取り組みをすぐに試せる 新しいデータ・新しいOSS・新しいアルゴリズム 進化：データ分析環境で大事なこと
- 53. 多種多様なデータを収集する技術（構築） クローズドな独自パイプラインからオープンなKafkaへ • OSS開発サイクルによる早い機能追加 • オープンなインタフェースによる高い接続性と拡張性 進化：大量のデータを扱える技術の開発 HDFS Erasure Code Storage データ保存効率を向上させる技術（開発） 誤り訂正符号による高い冗長性と保存効率の向上 • 信頼性が向上（２-冗長 → ３-冗長） • 保存効率が向上（元データの3倍 → 1.5倍）
- 54. LLAP - long-lived execution in Hive 多様なデータを高速に処理する技術（検証） GPUクラスタによりさらに高速にデータを処理 シングルGPU（既利用）からマルチGPU・マルチGPUサーバへ • 画像・音声データ等の高コストデータの処理 • 機械学習 • Deep Learning データ処理効率を向上させる技術（開発） HiveクエリをFragmentに分けて常駐プロセスで処理 • 起動時間の短縮 • データのキャッシュ • 最適化効果の向上 進化：高速に処理できる技術の開発
- 55. 進化：高効率な技術の導入 効率を追求したハードウェア技術（導入） オープンなハードウェアによる高効率な処理環境 OCP（Open Compute Project） • サーバ費用の削減 • 消費電力の削減 • 設置スペースの削減 • 現地作業時間の削減 • データ移行コストの削減
- 56. リサーチ環境（設計） 本番のデータで新しい取り組みをすぐに試せる環境 進化：新しい取り組みを試せる環境の提供 本番環 境 リサーチ環境 効果をすぐに確認できる 問題を事前に把握できる 10% クラスタ規模 10% データ送信 100% ジョブ投入 新しいデータ 最新のバージョン 新しいOSS 新しいアルゴリズム 等の導入が早まる（はず） 最新のバージョンテスト 新しい改善の投入 新しい取り組みの投入 本番環境は安定運用が最優 先
- 57. マルチビッグデータがある ビジネスにデータサイエンスを活用している データサイエンスを支えるデータ分析基盤がある データ分析基盤は進化している チャレンジできる環境がある まとめ
- 58. データ で
- 59. ご清聴ありがとうございました