![余計な次元は使わない
同様のデータを説明する仮説が二つある場合、
より単純な方の仮説を選択せよ
[オッカムの剃刀]
(同等の性能なら)
シンプルなモデルのほうが良いよ
11](https://image.slidesharecdn.com/20141130forup-141116194614-conversion-gate01/85/20141130-for-upload-11-320.jpg)
20141130 for upload
- 1. 数理統計 : モデルを選ぶ ****専攻 **** **** 1 **********************
- 2. 研究室のMy本棚 情報幾何 漸近論 数理統計 その他 印刷した論文 2
- 3. 線形回帰 ≹ ∽≡∰ ∫≡∱≸ 0.0 0.2 0.4 0.6 0.8 1.0 1.01.21.41.61.82.0 x y 3
- 4. 0.0 0.2 0.4 0.6 0.8 1.0 1.01.21.41.61.82.0 x y 線形回帰 ≹ ∽≡∰ ∫≡∱≸ 4
- 5. 0.0 0.2 0.4 0.6 0.8 1.0 0.00.10.20.3 x y データが変わるとモデルも変える 5
- 6. 0.0 0.2 0.4 0.6 0.8 1.0 0.00.10.20.3 x y 直線では上手くフィットしない 6
- 7. 0.0 0.2 0.4 0.6 0.8 1.0 -0.10.00.10.20.3 x y 0.0 0.2 0.4 0.6 0.8 1.0 -0.10.00.10.20.3 x cb(x) 2次曲線のほうが当てはまりが良い 7
- 8. データを予測するモデル ≹ ∽≡∰ ∫≡∱≸ ≹ ∽≡∰ ∫≡∱≸∫≡∲≸∲ ∮∮∮ ≹ ∽≡∰ ∫≡∱≸∫⊢⊢⊢∫≡≮≸≮ どれを選ぶ? 8
- 9. 高次のモデルは低次のモデルを含む ≦≡∰ ∫≡∱≸≧⊽≦≡∰ ∫≡∱≸∫≡∲≸∲≧ ≡∰∻≡∱∻≡∲ ∲≒ について 高次のモデルほど(データの)表現力が豊か (i.e. 2次のモデルは1次のモデルを含む) ⇒ 高次のモデルを使えばよい? 9
- 10. 4次のモデルでやってみた 0.0 0.2 0.4 0.6 0.8 1.0 0.00.10.20.3 x y 0.0 0.2 0.4 0.6 0.8 1.0 0.00.10.20.3 x cb(x)2次のモデルとほとんど変わらないような・・・ 10
- 12. • Akaike Information Criterion 最小化: 出来るだけ次元を削減する : モデルがデータに当てはまる度合い.≠∨≞⊵∩ が同じなら, 次数が小さいほうが選択される≠∨≞⊵∩ ≁≉≃∺∽⊡∲≠∨≞⊵∩∫∲≰ : モデルの次数≰ 12
- 16. ビッグデータは統計ではない(?) • 「少ないデータからいかに推測するか」が統計 • 数が多けりゃだいたいどうにかなる • 「処理できるかどうか」という計算機の問題 いや・・・高級な処理は負荷かかるし・・・ どうせ簡単な統計処理しかできないし・・・ 16
- 17. • ビッグデータ… ではなく 高次元データ 高次元データが注目されている(らしい) ビッグデータ = データの数が多い 高次元 = データの種類が多い 17
- 19. • 各個体は多様な遺伝子を持っている: たとえば遺伝子 遺伝子 a b c d e f g h … 個体1 1 0 0 1 1 1 0 1 … 個体2 0 1 1 1 1 1 0 1 … 個体3 1 1 1 0 1 1 0 1 … 個体4 0 0 0 1 1 0 1 0 … … 個体100 1 1 1 0 1 0 1 1 … データの種類(多い) ※データの数=100 (少ない) 19
- 23. • 不要なデータを自動的に無視: スパース推定 実はモデルを選ぶまでもない Least Absolute Shrinkage and Selection Operator ≌≁≓≓≏∺∽≡≲≧≭≩≮⊯ ⊩≫≹⊡≘⊯≫∲∲ ∫⊸≫⊯≫∱ ⊪ 23
- 25. • 数理的なテクニックのイメージを掴むこと • 証明には(あんまり)興味が無い • プログラムは書か(け)ないが アルゴリズムを考えるのは好き • 工学系の話の数理的な裏付けとか大好き 自分の興味対象: おわり. 25