郡山 Connect 2022 ハッカソン 基調講演 - Hackathon からサービスインになったらデータを扱いましょう
Download as PPTX, PDF0 likes171 views
Hackathon では、アプリ作成で手一杯です。作りっぱなしで、捨ててしまうには惜しいわけで。その先、プロトタイプ、サービスインと向かうにつれ定点観測としてのデータの扱いは重要になります。 ここでは、そのデータを扱う上での最初の一歩をご説明しています。
郡山 Connect 2022 ハッカソン 基調講演 - Hackathon からサービスインになったらデータを扱いましょう
- 1. データ の位置づけ - Hackathon から サービスになったら、取り組みたいコト - 畠山 大有 | Daiyu Hatakeyama Architect && Software Engineer && Applied Data Scientist Microsoft Japan /dahatake @dahatake /in/dahatake /dahatake /dahatake
- 5. Web / Mobile Operational Store IoT Device Data Lake Visualize (Graph表現など) API Build ML Model Data Warehouse Data Catalog Search Streaming
- 6. Web / Mobile Operational Store IoT Device Data Lake Visualize (Graph表現など) API Build ML Model Data Warehouse Data Catalog Search Streaming アプリケーションが ビジネスシナリオに沿っているのか? その継続的な確認に データという側面を追加できる
- 7. 価値創造のために 仮説 (Goal) データ (metrics) Next Action 爆速
- 8. 1. Goal (仮説) KPI 測定 Metric Customer Journey Funnel 5. Experiment (実験)
- 9. データ分析 最初の一歩
- 13. • 各店舗の売り上げは? • 売れ筋トップ製品は何か? • 売上最悪の店舗は何が原因? • 次の四半期の売上は? • 利益を上げるためにはどのような ステップが考えられる? 何が起こっているのか? 現状把握 なぜそれが発生したのか? 何の相関関係があるのか? 次に何をすればいい? そのための予測は?
- 14. 訪日外客数データ 現状把握
- 15. 現状把握
- 18. まとめ
- 19. • ビジネス上の課題の仮説 • 文章化していること • 例: 一昨年より実施している施策の売り上げ増への効果を知りたい • 生データ • 集計しないもの。計算はツールの方でいくらでも出来る • データの意味・価値の分かる人の参画 • 丸投げできない データの分析に必須な 3つの武器
- 20. 日本が Software と データ を自在に扱える 武器にすれば 無敵じゃね?😎
- 21. ■参考ブログ記事 訪日外客数データで Power BI レポート作成（データクレンジング編） - Qiita 訪日外客数データで Power BI レポート作成（データ可視化 基本編） - Qiita 訪日外客数データで Power BI レポート作成（データ可視化 中級編） - Qiita 訪日外客数データで Power BI レポート作成（データ可視化 上級編） - Qiita データ分析におけるデータ可視化の極意 - Qiita ■利用データ ・訪日外客数データ（出典：日本政府観光局） 訪日外客数・出国日本人数データ｜統計・データ｜日本政府観光局（JNTO） ・世界人口データ（出典：UNFPA 世界人口白書 2022 年版の統計より） 世界人口ランキング・国別順位（2022年版） (memorva.jp) ・外国為替公示相場ヒストリカルデータ（出展：みずほ銀行） 為替相場情報 | みずほ銀行 (mizuhobank.co.jp) ・訪日外国人の国内流動データ（出展：国土交通省） 総合的な交通体系を目指して：集計データファイル - 国土交通省 (mlit.go.jp) テーブルリレーションイメージ
- 22. Step-by-Step Achievements スムーズな学習環境 無料 日本語対応 ブラウザーのみでOK ハンズオン環境も含めて ダウンロード可能なサンプルコード Product/Service, 技術レベル, job role, などに応じたガイダンス Video, チュートリアル, ハンズオン スキルアップを促す ユーザー プロファイル毎に カスタマイズ www.microsoft.com/learn
- 25. Appendix.1 データ加工
- 26. • 何を意味しているのか? • いつ、どこで、取得したのか? • 入手漏れが無いのか? • 項目同士に関連があるのか? • 欠損や例外がどれだけ 含まれているのか? 「ゴミデータからは、 ゴミの結果しか生まれない」
- 28. データ準備 クリーニング
- 29. DeviceID OEM Name SSD (GB) CPU Clock (GHz) Region OS Install Date 1 Hewlett Packard 500 3.2 US 12/12/2016 2 HP 1000 1233 US 05/02/2017 3 Hewlett-Packard 250 -7.8 USA 05/32/2017 4 hp 217 4.2 MEA 04/10/2016 5 Hewlet Packard NA 4.1 Latam 05/15/2087 6 DELL 250 0 Japan 03/13/2017 7 dell NULL 9.2 Japan 04-17-2016 8 “” 500 3.5 China 2015.02.141 9 Hewlett pakerd 500 2.8 China 3/2 答え: No… なぜなのか見ていきましょう
- 30. DeviceID OEM Name SSD (GB) DeviceID OEM Name SSD (GB) … 1 Hewlett Packard 500 … 2 HP 1000 … 3 Hewlett-Packard 250 … 4 hp 217 … 5 Hewlet Packard NA … 6 DELL 250 … 7 dell NULL … 8 “” 500 … 9 Hewlett pakerd 500 … 目的: 不足値や一貫性の無い値 の是正
- 31. OS Install Date OS Install Date CPU Clock OS Install Date * Region … CPU Clock (GHz) Region OS Install Date … 3.2 US 12/12/2016 … 1233 US 05/02/2017 … -7.8 USA 05/32/2017 … 4.2 MEA 04/10/2016 … 4.1 Latam 05/15/2087 … 0 Japan 03/13/2016 … 9.2 Japan 04-17-2016 … 3.5 China 2015.02.141 … 2.8 China 3/2 *注意: 範囲選択を注意して行わないと、モデルの安定性に影響がある
- 32. 目的に応じて データは加工される
- 34. 工程データがサイロ化されているため、 工程全体を考慮した品質管理ができない状態に 工程1 工程2 工程3 工程N ・・・ 原材料 データ ソース ? ? どこの工程が原因か わからない... データがバラバラで 関係性がすぐにわからない...
- 35. 統合データにより工程をまたがった分析が可能に 工程1 工程2 工程3 統合データ 工程N ・・・ 原材料 運転条件 外部環境 作業員特性
- 39. データ加工 ほぼ毎回やる事