リクルートライフスタイルが考える、万人に使ってもらえる分析基盤の作り方
Download as PPTX, PDF12 likes4,859 views
リクルートライフスタイルでは大小３０ほどのサービスを提供しており、それらのデータを横断的に分析出来る分析基盤を有しています。 データの利活用が推進されている昨今ですが、分析基盤を作っただけでは分析者はなかなか使ってくれません。 また、使っている分析者の要求は日々増していきます。 継続的に使ってもらえる分析基盤を構築、運用するためにはどのようにすれば良いのか？ 弊社の事例を踏まえて紹介させていただきます。 リクルートライフスタイル 山田 雄(ヤマダ ユウ)
リクルートライフスタイルが考える、万人に使ってもらえる分析基盤の作り方
- 1. リクルートライフスタイルが 考える、万人に使ってもらえ る分析基盤の作り方 PLAZMA Data Platform Day #tdtech 2018/05/22 山田 雄
- 2. ■山田 雄（ヤマダ ユウ） 株式会社 リクルートライフスタイル ネットビジネス本部 データプラットフォームT Twitter:@nii_yan GitHub:https://github.com/yu-yamada ・以前はメールマーケティング用基盤の作成からデータ分析まで関わる 現在はリクルートライフスタイルの共通分析基盤の開発、運用全般を担当 ビックデータ、Ruby、お祭り、ビール、カップ焼きそばが好き。 自己紹介
- 3. 会社紹介
- 7. ちょっとどんなデータ入ってるか見 てみよう select * from 巨大table limit 10; パーティション指定しないとlimitつ けてもフルスキャン走るんできちん とパーティション指定して下さい！
- 11. • データ分析基盤は使ってもらってなんぼ • たくさん分析してもらって事業成果を上げてもらう • たくさん分析してもらうには 基盤を提供し続ける パフォーマンスを上げる データ品質を上げる 新しいデータ連携の追加 データ鮮度を保つ&上げる データ分析基盤で提供したい価値
- 12. データを使ったビジネスの３大要素
- 15. 1.ユーザの 声を集める (collect) 2.内容を精 査する (confirm) 3.価値を創 造する (create) 4.効果を検 証する (check) 5.継続する (continue)
- 16. 2.内容を精 査する (confirm) 3.価値を創 造する (create) 4.効果を検 証する (check) 5.継続する (continue) 1.ユーザの 声を集める (collect)
- 18. なぜユーザーファーストにするのか 使ってくれる人がいないと分析基盤は継続しないから！ • とにかくユーザが使い易い基盤にする • ユーザの声を常に聞ける環境を整える • 攻めの基盤を作るのは信頼残高を築いてから！！
- 19. リクルートライフスタイルで取り組んでいること • 問い合わせ用にslackのchannelを開設 • ユーザアンケートを行う • 基盤を使う立場になる(マーケターに兼務で入る など • データを使うチームと同じグループになる • 毎月メルマガ発行をする • 社内散歩をする などなどを行いユーザと仲良くする！
- 20. 機械的に取れるユーザの声も集める • どのテーブルがどのユーザ使われているか • どのクエリが負荷が高いか • どのユーザがどれぐらいクエリを投げているか • ユーザクエリの平均レスポンスタイム • 社内snsなどでの基盤に対する声
- 21. 1.ユーザの 声を集める (collect) 3.価値を創 造する (create) 4.効果を検 証する (check) 5.継続する (continue) 2.内容を精 査する (confirm)
- 23. 精査の方法 • 対応時間でレベル分けをする • すぐに対応できるものと、対応に時間がかかる ものを織り交ぜて対応する (きちんと対応している姿勢を見せるため) • なんで、ユーザがその声をあげたのかwhyを考える • 表面的な対応を繰り返さないため
- 24. 2.内容を精 査する (confirm) 1.ユーザの 声を集める (collect) 4.効果を検 証する (check) 5.継続する (continue) 3.価値を創 造する (create)
- 26. なぜ売上を上げないといけないか 売上を上げないと予算がつかないから！ • 分析基盤はとにかくお金がかかる • 予算はほぼ毎年純増(データ量に相関する場合が多い • 売上が上がれば予算がつき、より良い基盤が作れる • さらに売上が上がるバッチを走らせられる • ROIは計算しなくて良い • インフラってそんなもんだと思います • この基盤があるおかげでこんだけ売上の上がるバッチが 走ってるんだよ〜ぐらいで
- 27. 運用コストを下げる
- 28. なぜ運用コストを下げたいのか 運用は人を幸せにしないから！ • キャパシティ管理をしなくていいように • ビックデータ基盤で将来のデータ量予測はほぼ不可能 • 障害が起きた際に単純に再実行できるデータパイプ ラインを作る • 冪等性を担保する • クラウドに任せるところは任せる • 魔改造しない • SLAを緩くする
- 29. 分析の敷居をとにかく下げる • ユーザが分析したい時にすでにデータはある状態に • ユーザの使いやすいIFを用意 • 定期的にユーザ教育を実施 • いつでも見られるように動画コンテンツも用意 するなど • どこにどんなデータがあるか一元的に管理
- 31. メタ情報を一元的に管理
- 32. 3.価値を創 造する (create) 2.内容を精 査する (confirm) 1.ユーザの 声を集める (collect) 5.継続する (continue) 4.効果を検 証する (check)
- 33. KPIを設計する • ユーザアカウント数 • クエリの数 • 平均レスポンス時間 • テーブル数 • 障害数 • botの使用回数 これらの数字を毎週チーム全員で確認
- 34. 4.効果を検 証する (check) 3.価値を創 造する (create) 2.内容を精 査する (confirm) 1.ユーザの 声を集める (collect) 5.継続する (continue)
- 36. DataLake構成
- 37. なぜDataLake構成にしておくのか 進化を続けられる基盤になれる • 新しいDWHがどんどん出てきている • 用途によって使いたいDWHは違う • スケールアウト出来る分析基盤に対応 • サイズ制限からの解放 データレイクにしておくことによって、新しいエン ジンや新しいニーズが出てきた際も柔軟に対応出来 る、進化を続ける基盤となれる
- 39. 透明性のある湖に
- 40. 常に透明性を持った基盤にしておく
- 45. HPB HPG JLN 事業データ CSV 外部データ S3 Redshift Redshift (mirror) BigQuery Cloud Storage アクセスログ アプリログ Treasure Data ORACLE Exadata リクルートライフスタイルのデータ分析基盤
- 47. HPB HPG JLN 事業データ CSV 外部データ S3 Redshift Redshift (mirror) BigQuery Cloud Storage アクセスログ アプリログ Treasure Data ORACLE Exadata 入力 出力処理 リクルートライフスタイルのデータ分析基盤
- 48. BigQuery Cloud Storage アプリログ Treasure Data ExaData CSV 外部データ S3 Redshift Redshift (mirror) アクセスログ ORACLE Exadata 事業データ HPB HPG JLN
- 49. BigQuery Cloud Storage アプリログ Treasure Data Redshift ORACLE Exadata CSV 外部データ S3 Redshift Redshift (mirror) アクセスログ 事業データ HPB HPG JLN
- 50. Redshift Spectrumの活用 S3 DB1 DB3 DB2 AWS Glue lambda Redshift S3 Redshift Redshift TSV Parquet ファイルサイズ大 ファイルサイズ小 S3のObjectを直接参照出来るSpectrumを使用するこ とで、クラスタサイズの圧縮を行い、用途毎にクラス タを立てることで、ユーザの利便性を上げる
- 51. Redshift Redshift (mirror) アプリログ Treasure Data BigQuery ORACLE Exadata CSV 外部データ S3 アクセスログ 事業データ HPB HPG JLN BigQuery Cloud Storage
- 52. BigQueryへのロード
- 53. Redshift Redshift (mirror) TreasureData ORACLE Exadata CSV 外部データ S3 アクセスログ 事業データ HPB HPG JLN BigQuery Cloud Storage アプリログ Treasure Data
Editor's Notes
- #2: ユーザの
- #13: ビジネス、データエンジニアリング、データサイエンスの役割の人が連携しながらビジネスを作り上げている 私がいるのは、データエンジニアリング ビジネスやデータサイエンスの人にいっぱい使ってもらう
- #15: マーケティング手法 社内でいかに使ってもらえるかというのは、まさにマーケティング ユーザの声を中心に置き、戦略や戦術を決定 ５つのCモデルで分析基盤の継続を行う
- #18: 会社によって、ユーザのレベルは様々、ベストな環境など存在しない
- #19: ユーザが使い易い基盤を作らないと、あそこ使いにくいから独自で作ろうという子になり、同じような基盤が社内でいっぱいできたりする
- #26: 売り上げをあげることを考えましょう
- #41: 透明性とは、正しい情報が１カ所に整理してあり、次の行動が誘発されること データはただ貯めるだけだと、誰も使わないゴミが溜まっていき、湖は沼になる
- #42: 会社のキックオフでも言われた言葉 メタデータの管理を徹底し常にデータを使える状態にしておく
- #43: ユーザの声を中心に置き、戦略や戦術を決定 ５つのCモデルで分析基盤の継続を行う
- #48: ビジネス課題を解決するためのデータを提供しています
- #49: DBLinkで直接 他会社のExaと冗長性 Oracleホスティング
- #54: TreasureDataに入れた後に、redshiftへ連携も行っている
- #55: TreasureDataに入れた後に、redshiftへ連携も行っている
- #56: 営業の人なども使っている