JupyterNotebookとMySQLでゼロからはじめるデータサイエンス
19 likes6,988 views
db analytics showcase sapporo 2017 発表資料
![リストのスライス
覚え方 最初が0で [以上：未満]
15](https://image.slidesharecdn.com/nobuhatano-dbtechsapporo2017-170630041307/85/JupyterNotebook-MySQL-15-320.jpg)
![列データの抜き出し：リスト内包表記
[ ④要素にする変数 for ②取り出した変数 in ①元リスト if ③条件 ]
[ ③要素にする変数 for ②取り出した変数 in ①元リスト]
フェッチしたデータは1行が1タプル、全体がタプルのタプル
①、②、③の順で
読んでください
17](https://image.slidesharecdn.com/nobuhatano-dbtechsapporo2017-170630041307/85/JupyterNotebook-MySQL-17-320.jpg)
JupyterNotebookとMySQLでゼロからはじめるデータサイエンス
- 1. 1 Jupyter Notebook と MySQL で ゼロからはじめるデータサイエンス 株式会社インフィニットループ 技術研究グループ 波多野 信広 Twitter : @nobuhatano 1
- 2. 本セッションの内容 Web サービスやゲームを運用している DBA やプ ログラマの方々で、データ分析に興味がある方向 け ● Jupyter Notebook + MySQL – SQL と Python で自由にデータ分析 ● はじめてのデータ分析 – ソーシャルゲームのデータ分析事例 2
- 3. まずはインストール Python 全部入り Continuum Analytics 社の Anaconda Anaconda 4.3.1 for Windows 64 bit Python 3.6 version https://www.continuum.io/downloads 3
- 4. 起動してみる 4
- 5. インタラクティブな実行環境 セル (markdown) セル (markdown) セル (Python3) セル (Python3) Ctrl + Enter セルのコード実行 Ctrl + Enter セルのコード実行 5
- 9. Python Kernel から MySQL へ >conda install pymysql 1回でＯＫ！ 9
- 11. 本番 MySQL との連携例 Jupyter http://localhost:8888 Python3 踏み台 サーバー ssh トンネル リードレプリカ マスタ 予備 スレーブ アプリ 予備スレーブ ● 管理画面 ● データ可視化 ● OLAP ● ダンプ取得 ● スレーブ複製の種 ● Jupyter でデータ分析 社内PC 11
- 12. この構成のメリット ● 慣れた SQL で分析 ● 最初は全部 SQL で OK ● Python でデータ分析 ● DB から ＰＣ へ処理を 分散 ● データ分析から機械学 習へと発展 ● グラフ化は jupyter 上 matpotlib で一緒 12
- 13. SQL は使ってる Python は... これだけ知ってれば Ok! 13
- 16. リストとタプルの違い 16
- 17. 列データの抜き出し：リスト内包表記 [ ④要素にする変数 for ②取り出した変数 in ①元リスト if ③条件 ] [ ③要素にする変数 for ②取り出した変数 in ①元リスト] フェッチしたデータは1行が1タプル、全体がタプルのタプル ①、②、③の順で 読んでください 17
- 20. データ分析とは ● 単変量解析 – 原因と結果1対1。直感で判定可能 – 平均値、相関係数、回帰直線 ● 多変量解析 – 多特性データの原因と結果。直感で判定出来ない – 重回帰分析、ロジスティック回帰 ● データの分析（統計によるモデリング）の用途 – 分類や未来の予測 – PDCAやフィードバックに活用 20
- 21. モデルの例：アイス販売 【目的】 アイスの売上を増やしたい 【モデル】 気温が高くなると売れて、値段が高いと売上が減る 【目的変数】 アイスの販売量 【説明変数】 販売量 = 気温 x 値段 【操作変数】 値段 【データ分析】 統計的なモデルを選定（モデル化、データの説明、分類） 気温を条件に売上を最大化する価格設定を見つける（予測） 21
- 23. KGI と基本 KPI 売上 = *DAU x 課金者率 x *ARPPU * KGI (Key Goal Index) * KPI (Key Performance Index) * DAU (Daily Active User) * ARPPU (Average Revenue Per Paying User) 目的変数 *KGI 説明変数 基本*KPI 定量化は完璧！ ただし操作変数がないのが懸念 23
- 24. KGI と基本 KPI の分析を 進めます 24
- 26. スキーマ log_login カラム名 データ型 login_dt DATETIME ログイン日時 user_id INT ユーザーID tbl_receipt カラム名 データ型 user_id INT ユーザーID purchase_dt DATETIME 購入日時 unit_price INT 課金額 26
- 27. KGI: 日次の売上 tbl_receipt カラム名 データ型 user_id INT ユーザーID purchase_dt DATETIME 購入日時 unit_price INT 課金額 SELECT SUM(unit_price), DATE(purchase_dt) AS Dt, FROM tbl_receipt GROUP BY Dt ORDER BY Dt 27
- 29. 基本KPI: DAU SELECT COUNT(DISTINCT user_id), DATE(login_dt) AS Dt FROM log_login GROUP BY Dt log_login カラム名 データ型 login_dt DATETIME ログイン日時 user_id INT ユーザーID 29
- 31. 売上と DAU の相関を測る 相関係数 (correlation coefficient) ＝ xyの共分散 / (xの標準偏差)(yの標準偏差) 2つの確率変数の間の関係を図る指標 DAU は定義から 売上と因果関係 にもかからず中程度の相関 31
- 32. 基本KPI: ARPPU 日付、ユーザー別売上 さらに平均を求める SELECT DATE(purchase_dt) AS Dt, user_id, SUM(unit_price) AS Uriage FROM tbl_receipt GROUP BY Dt, user_id ORDER BY Dt SELECT T.Dt AS Date, FLOOR(AVG(T.Uriage)) AS ARPPU FROM ( SELECT DATE(purchase_dt) AS Dt, user_id, SUM(unit_price) AS Uriage FROM tbl_receipt GROUP BY Dt,user_id ORDER BY Dt ) AS T GROUP BY Date 32
- 34. 相関係数 0.623 基本 KPI で重要とも言われる この事例では相関高くない 課金者率（スペンド率） 34
- 35. 基本 KPI は相関が不十分 （基本 KPI はターゲットが売上と同じく全ユーザーのまま） 相関が高いか、 操作の立案や評価に繋がる よりよい KPI を模索 なにか見たいグラフ ないですか？ 35
- 36. 36
- 38. 38
- 40. 見たかったグラフ 「初回ログイン日とプレイ期間」は ユーザー動向把握に有効 ただ KGI と KPI からは脱線だった 引き続き探ります 40
- 43. 43 課金ランキングとプレイ期間から プレイ中の平均日次課金額 課金ユーザーのプレイ期間 ユーザー毎 総課金額、ランキング順 SELECT FLOOR(Sougaku / period) AS DRPU FROM ( SELECT user_id, SUM(unit_price) as Sougaku FROM tbl_receipt GROUP BY user_id ORDER BY Sougaku DESC) AS S INNER JOIN ( SELECT u.user_id as id, DATEDIFF(last_login, first_login) as period FROM user_login AS u INNER JOIN ( SELECT DISTINCT user_id FROM tbl_receipt) AS r ON u.user_id = r.user_id WHERE DATEDIFF(last_login, first_login) > 0) AS P ON S.user_id = P.id
- 46. 課金ランキングと売上貢献度 46
- 52. 優良ユーザー数と月次売上との相関 SELECT SUM(unit_price), CAST(DATE_FORMAT(purchase_dt, '%Y-%m-01') AS DATE) AS Month FROM tbl_receipt GROUP BY Month ORDER BY Month") 相関係数 0.995 ２つの変数が ほぼ一致！！ 相関係数 0.995 ２つの変数が ほぼ一致！！ 52
- 54. まとめ ● Jupyter Notebook MySQL と接続、SQLとPythonで手軽にデータ分析 ● ソーシャルゲームのデータ分析 弊社の例 月額課金である額以上の優良ユーザー数が売上と相関 操作（質の改善、宣伝）を売上や課金率で PDCA ↓ 絞り込んだユーザー層できめ細かい行動分析が可能 操作の立案に有効 データ分析、ビジネス固有の KPI から初めてみましょう！！データ分析、ビジネス固有の KPI から初めてみましょう！！ 54