Casual datascience vol3
- 1. カジュアル勉強会 @仙台 データサイエンスを学ぶ 第3回 株式会社 エクテック 取締役 兼データサイエンティスト
- 2. 第5回までの流れ 1部 1. 第1回のおさらい 2. データへの取り組み方 3. 色々なアプローチ 2部 1. アプローチ具体例 2. 分析環境 3. 周辺技術と知識 第2回 (2020/02/01 ) 1部 1. データとは 2. 身近なデータ 3. データと科学 2部 1. データアプローチ 2. データで実現 3. 活用事例 第1回 (2020/01/24 )
- 3. 第5回までの流れ 1部 1. 第3回のおさらい 2. 機械学習 3. データと機械学習 2部 1. データと分類 2. データと回帰 3. データとクラスタリング 第4回 (2020/03/07 ) 1部 1. 第2回のおさらい 2. データの加工 3. データの前処理 2部 1. データの正規化 2. 予測と分類① 3. 予測と分類② 第3回 (2020/02/15 )
- 4. 第5回までの流れ 1部 1. 第4回のおさらい 2. データの在り方 3. データと可視化① 2部 1. データと可視化② 2. データと可視化③ 3. データと個人情報 第5回 (2020/03/28 )
- 5. 本日のアジェンダ 第2回のおさらい (Go over) データの加工 (Data Processing) データの前処理 (Data Pre-processing) データの正規化 (Data Normalization) 予測と分類① (Forecasting & Classification1) 予測と分類② (Forecasting & Classification2) 2部1部
- 14. ⽋損値
- 17. 出現率を⾒て、補完。
- 21. Python R ⾼校数学 微分積分 統計学 収集⼒ 客観的思考⼒ numpypandas scikit-learn Tensorflow Keras Caretggplot2 dplyer matplotlib CRAN R Studio Pycharm PyScripter Atom Visual Studio ⾃然⾔語 レコメンド 時系列
- 23. なぜ、データを加⼯するのか
- 24. (1分間)
- 37. そのデータは、 ⽂字列？数値？
- 38. One-hot Encoding
- 40. 教育科目 英語 数学 国語 理科 社会 英語 数学 国語 理科 社会 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 1
- 42. 教育科目 英語 数学 国語 理科 社会 英語 数学 国語 理科 社会 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 1
- 44. 教育科目 英語 数学 国語 理科 社会 英語 数学 国語 理科 社会 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 1
- 46. Label-Encoding
- 52. Count-Encoding
- 57. Target-Encoding
- 62. が、問題もある
- 63. Leak問題
- 66. 単純化
- 67. 架空のデータ ID 年齢 性別 居住地 病気 10001 42 男 仙台市泉区xxx 大腸ガン 10002 59 女 仙台市泉区yyy 胃ガン 10003 34 女 仙台市若林区xxx ウィルス感染症 10004 61 男 仙台市青葉区xxx ウィルス感染症 10005 77 男 仙台市青葉区yyy 心疾患 10006 46 女 仙台市青葉区zzz 胃ガン 10007 52 男 仙台市若林区zzz 糖尿病1型 10008 71 男 仙台市宮城野区xxx 喉頭ガン 10009 66 男 仙台市太白区xxx 心疾患 10010 54 女 仙台市太白区yyy 胃ガン 10011 41 男 仙台市若林区yyy 糖尿病2型
- 68. 架空のデータ ID 年齢 性別 居住地 病気 10001 42 1 3 1 10002 59 0 3 7 10003 34 0 4 5 10004 61 1 5 5 10005 77 1 5 6 10006 46 0 5 7 10007 52 1 4 2 10008 71 1 1 4 10009 66 1 2 6 10010 54 0 2 7 10011 41 1 4 3
- 69. 架空のデータ ID 年齢 性別 居住地 病気 10001 42 1 3 1 10002 59 0 3 7 10003 34 0 4 5 10004 61 1 5 5 10005 77 1 5 6 10006 46 0 5 7 10007 52 1 4 2 10008 71 1 1 4 10009 66 1 2 6 10010 54 0 2 7 10011 41 1 4 3
- 70. 架空のデータ ID 年齢 性別 居住地 病気 10001 40代 1 3 1 10002 50代 0 3 7 10003 30代 0 4 5 10004 60代 1 5 5 10005 70代 1 5 6 10006 40代 0 5 7 10007 50代 1 4 2 10008 70代 1 1 4 10009 60代 1 2 6 10010 50代 0 2 7 10011 40代 1 4 3
- 71. Round化
- 73. Binning
- 80. 休憩 (10分間)
- 82. 正規化とは？
- 86. なぜ、正規化するの？
- 91. Jupyter上で ⾒ていきます
- 94. Adéla Adela adela 1→4→5→12→1 11カ国 の人名を ベクトル化 & ゼロパディング これらデータを用いてモデル学習 & モデル精度の比較
- 95. simple Auto-Encoder ノイズのあるデータ Convolutional Auto-Encoder De-noise Auto-Encoder Auto-Encoder 様々な種類の オートエンコーダ を試す
- 96. 次回のアジェンダ 第3回のおさらい (Go over) 機械学習 (Machine Learning) データと機械学習 (Data & ML) データと分類 (Data & Classification) データと予測 (Data & Prediction) データとクラスタリング (Data & Clustering) 2部1部
- 97. EOS