データ管理に重要なことは事業と組織の理解だった（Data Engineering Study #11 発表資料）
0 likes961 views
データ管理に重要なことは事業と組織の理解だった（Data Engineering Study #11 発表資料）
- 1. データ管理に重要なことは 事業と組織の理解だった Data Engineering Study #11「6社のデータエンジニアが振り返る2021」 株式会社MonotaRO IT部門 データ基盤グループ 吉本 直人 1 2021.12.13 © 2021 MonotaRO Co., Ltd. All Rights Reserved.
- 2. ● “データ管理を推進するために 今年やってきたこと”を振り返った ● うまく行かなかった原因を探る中で、 自社の事業と組織の理解が重要だった ● 事業と組織構造を踏まえた上で 来年何をTryするか 2 発表内容
- 3. ● 名前：吉本 直人（よしもと なおと） ● 2020年2月にMonotaRO入社 ○ BigQueryを中心としたデータ基盤の構築・運用 ○ 好きなGCPのサービス：Cloud Asset Inventory ● 採用広報(編集)もしています ○ “モノタロウ ブログ” で検索すると noteとはてなブログがでます！ 3 自己紹介
- 5. 結果どうだった？ 5 導入/構築は進んだ! が想定以上に工数がかかった ● データ基盤メンバーはデータ仕様がわからない... ○ コミュニケーションコストの増大 ● 業務側からもらったクエリとシステム側 のデータ仕様にミスマッチがある ○ 検証して仕様の合意を取りに行く... 振り返りを行う中で事業と組織を見てみることに
- 6. モノタロウの事業 6 ● 主にBtoBを対象とした間接資材のEC ● 在庫を持ち、物流、商品採用、商品開発なども 自社でやっている ○ 単一事業だが、ドメインが複数にまたがる ■ データがBtoCサービスに比べて レコード数は少ないが、テーブル数は多い
- 7. ● 2000年創業（今年で21年） ● 2021年の売上が1,800億超を見込んでいる ● 売上成長率が10年連続で約20% (3年半で2倍) システムの移行、刷新を 定期的に実施 7 モノタロウの事業
- 8. 組織構造 8 ● ドメインに沿った組織構成になっている ○ 2021年12月現在、単一事業ながら12部門ある ○ ナレッジが特化的になりやすい 管理 サプライ チェーン 物流 IT EC システムエ ンジニアリ ング 海外事業 マーケ ティング CX マネジ メント 商品 商品開発 エンタープ ライズビジ ネス カスタマー サポート 参考：https://corp.monotaro.com/organization.html
- 9. 商品管理システム エンジニア ● ドメインが幅広く、要件が複雑なため必要な知識 も異なる→ナレッジが局所化しやすい ○ 事業全体のデータ仕様の把握が困難 ○ とはいえ分析時にはクロスドメインで集計を行う 9 事業と組織を理解してわかったこと 商品の仕入単価は こう入っているよ 受注のデータは こう入っているよ 過去に受注した商品の 仕入単価は〇〇を集計 したらとれるよ 分析官 受注システム エンジニア データ基盤 なんか集計結果 が変だよな... ① ② ③
- 10. ドメイン毎にエンジニアと業務担当者を 巻き込めるプラットフォームを作る ● エンジニアがDWHの構築/運用に主体的に貢献できるよう な仕組みの整備 ○ dbtを使ってSQLのみで品質の高いDWHの構築/運用 ● システム側と業務側で相互に コミュニケーションをとるための体制づくり 10 データ基盤の2022年
- 11. ● K: データ管理の第一歩として Looker導入とDWH構築を実施した ● P: 想定以上にリソースを使った ○ 自社の事業や組織を理解せずに他社事例を 参考にするとうまくいかなかった ● T: DWH構築だけでなく、 プラットフォームづくりを行う 11 まとめ
- 13. 13 © 2020 MonotaRO Co., Ltd. All Rights Reserved.