[2018bcu30]1年半もかけてしまったビッグデータ環境のリプレイス
0 likes1,067 views
Battle Conference UNDER30 2018(#bcu30)の登壇資料 https://bcu30.jp/index.html データ (#data_6) ○ 概要 ビッグデータ環境のリプレイスプロジェクトをスタートしましたが、工数半年->1年半もかけてしまいました。そこでの失敗談、学んだこと、技術的に経験を得られたことをお話します。
[2018bcu30]1年半もかけてしまったビッグデータ環境のリプレイス
- 2. 自己紹介 CyberZ on Cloud Migration Journey to Simplify Big Data https://goo.gl/wZcmgV EMRとCloudera on AWS を両方本番運用し3つの観点 から比較してみる https://goo.gl/gcvaXc CyberZ F.O.X エンジニア 茂木 高宏(もてき たかひろ) twitter: @tkmoteki / facebook: takahiro.moteki.31
- 6. After 計測サーバ データ収集 ETL/ 集計 分析アプリ(管 理画面) エンドユーザ 社内ユーザ 分析/ 可視化 ユーザ行動ログ Amazon S3 Amazon EMR Amazon EMR Amazon Lambda Cloudera Director Amazon Athena Amazon RDS(Aurora)
- 7. 工数 半年 -> 1年半
- 8. Why?
- 11. データ前処理(ETL / ELT) ? 全体工数の7~8割 データは準備しないと 使えない
- 12. データ前処理 カテゴリ 構造化データ/ 内容を対象と した処理 ストレージ/ データストア データ ロード 例) 必要な分析データ ソースへ 例) 中間テーブル/(非正規化) 生成 例) フォーマット
- 13. データ前処理 特徴 ○ わかりにくい <--- データ分析者 ○ 工数/制約が見えにくい <---データ前ショリスト ○ ミス(失敗)が後のボディブロー
- 29. 僕クビかな...
- 37. データ前処理なくして分析はなし