ソーシャルゲームのデータ分析基盤としてのAWS Jaws ug三都物語LT
- 1. ソーシャルゲームの データ分析環境としてのAWS 2013-03-09 JAWS-UG三都物語 KLab株式会社 開発制作本部 データ分析グループ 越智 修司 13年3月10日日曜日
- 2. 自己紹介 •越智 修司(神戸市長田区在住) •開発制作本部 データ分析グループ所属 • Felica/Edy,ガラケサイト,銀行アプリ,きせかえ • アプリ・サービスのプロトタイピング • 有名アーティスト・アイドルのファンクラブアプリ開発 • 最近はデータ解析 • python,Rなど @ponpoko1968 13年3月10日日曜日
- 3. はじめに • この発表は個人の見解であり、所属す る組織の公式見解ではありません。 13年3月10日日曜日
- 4. 作ったもの 「クリップリーダー」 電子書籍リーダー iPad版 （85円） • 自炊PDFに特化 • evernote連携 iPhone版 • 段組書籍 （無料） 「勤怠くん」 勤怠メールを素早く送信 13年3月10日日曜日
- 5. KLabのソーシャルゲーム 21タイトル 44サイト 数千万PV/日/タイトル 13年3月10日日曜日
- 6. データ分析グループ 横断的にデータの面倒を見る技術者集団 13年3月10日日曜日
- 7. お知らせ ブログ始めました http://analysis.blog.jp.klab.com/ スタッフ募集中！！ 13年3月10日日曜日
- 8. データ分析グループの 提供するサービス • Webサイト • 各種データのグラフが閲覧できま す • 速報メール • 前日のkpi速報値がメールで送信 されます。 • データのダウンローダ ー • 各種データのダウンロード機能 13年3月10日日曜日
- 9. システム構成 コンテンツ側システム 分析システム Web server S3 Sales Log RDS Log Log 010010010001 Log 110011001110 010010010001 111110111111 110011001110 11 111110111111 11 Sales EC2 MySQL Contents master EMR 13年3月10日日曜日
- 10. 使っている要素技術 • Python • 運用に用いる • 豊富なライブラリ • 可読性・保守性 •R • 探索的な分析 13年3月10日日曜日
- 11. 工夫していること • ログファイルのmsgpack化 • 一旦msgpack化することで検索・処理 時間を軽減 msgpack web site (msgpack.org) より 13年3月10日日曜日
- 12. システム構成 コンテンツ側システム 分析システム Web server S3 Sales Log RDS Log Log 010010010001 Log 110011001110 010010010001 111110111111 110011001110 11 111110111111 11 Sales EC2 MySQL Contents master EMR 13年3月10日日曜日
- 13. msgpack(2) • EMR(Elastic Map-Reduce)で変換 • <app>.app.<Y-m-d>_hh.<dd> • <dd>=hash(user_id) % 100 時刻 user_id URL(path) GET/POST param 13年3月10日日曜日
- 14. 使用例:PVベースのヒートマップ 0 1 2 3 4 5 • 全アクセスから 6 7 8 9 10 1/100をサンプリ (0:23) 11 12 13 14 15 16 17 18 ング 19 20 21 22 23 Mon Tue Wed Thu Fri Sat Sun (0:7) 13年3月10日日曜日
- 15. 課題 • ゲームの高度化・市場の成熟化 • 競争激化 • データ分析のニーズが高まる • インタラクティブなデータ分析のニーズ • さらなる高速処理 • データ分析用DB Redshiftを検討中 13年3月10日日曜日
- 16. ご清聴ありがとうご ざいました 13年3月10日日曜日