Pythonとベイズ統計
- 1. Pythonとベイズ統計 株式会社ウィズメーティス 渡邉 博文@HW_a_Pythonista 1 Pycon mini Hiroshima 2020
- 2. 自己紹介（お前、誰よ） 氏名：渡邉 博文 Twitterアカウント: @HW_a_pythonista アカデミアと企業の間にいる人 専門：生体高分子シミュレーション、医薬品分子設計 ４月に起業し、ベイズ統計・機械学習とシミュレーションを組み合わせたツールを開発中 Python歴は、15年ぐらい（使い始めたときはPython2.3) 研究者として、Pythonを使って、２つのシミュレーション手法を組み合わせた手法開発など Pythonプログラマとして、企業で、ケムインフォマティクスライブラリのサポート 実は、PyconAPAC2013 in Japan 登壇者 2
- 3. Contents 背景 ベイズ統計の基本的な考え方と機械学習との関係 ベイズ統計や確率プログラミングを行うPythonライブラリについての情報 Pythonによるベイズ統計プログミングの例：PyMC3 今後の期待 関連書籍、Webサイトの情報 まとめ 3
- 4. 背景 AIブーム ビッグデータ ディープラーニング など、大量データ、複雑なモデルが牽引 ⇒画像認識、音声認識などについては、確かにその通り MLのAuto-tunerなど、分析支援ツールの向上 ⇒Black Box的な使用が可能。 エンジニア、データサイエンティストは、汎化性能、応答時間、前処理さえ気にしていればよい？ 4
- 6. 背景 汎化性能、応答時間、前処理などを気にしていれば十分？ 実応用したときの汎化性能（クロスバリデーションで測りきれている？） データの誤差の性質の考慮 データ数が少ない時への対応 解釈性 ⇒ ベイズ統計・ベイズモデリングが一つの答え 6
- 7. ベイズ統計と機械学習 多くの機械学習法には、ベイズ統計の概 念が使われている。 例えば、正則化は、ベイズ統計の枠組み では、事前分布を導入することに相当す る。 時には、Black Box的な使用でなく、原理 に戻って、モデリング、チューニングを 行うことが重要になる。 PRML 7
- 9. ベイズの定理の導出 確率の情報定理 𝑃 𝐴, 𝐵 = 𝑃 𝐴 𝑃 𝐵 𝐴 = 𝑃(𝐵)𝑃(𝐴|𝐵) 𝑃 𝐵|𝐴 = 𝑃(𝐴|𝐵)𝑃(𝐵) 𝑃(𝐴) AとBが同時に起こる確率は、 ＝ Aが起こる確率 × Aが起こるという条件のものでBが起こる確率 ＝ Bが起こる確率 × Bが起こるという条件のもとでAが起こる確率 ベイズの定理 9
- 10. 学習（モデルパラメータ推定）の方法 変分法 • 事後分布にある関数形で近似して、 ELBO(周辺尤度下限）を最大化する。 • 一般に計算は高速に行える。 • 近似の入れ方（変分関数の選び方） によっては、系統誤差が生じる恐れ がある。 • 一般にはそれぞれのモデル特定のア ルゴリズムが必要になる。 • ADVI（自動微分変分推論）は正規 分布を用いた近似を行い一般の分布 への適用を行う方法。 MCMC法（マルコフ連鎖モンテカルロ法） • モンテカルロ法：乱数を使って計算する方法 • マルコフ連鎖：次の状態への遷移確率は、現 在の状態にのみ依存する状態の列を生成する。 • 正しく行えば、サンプリングが不十分なこと による誤差はあるが、系統誤差が生じない。 • 変数の数や、問題の性質により、サンプリン グにかかる時間が多くなる。 • NUTSは、効率のよいMCMC法の一つ。 10
- 11. ベイズ統計を扱うPythonのライブラリ(1) PyStan: • StanのPythonラッパー • モデルは、Stan言語で記述。 • Stan言語は、数式との対応がわかりやすい。 • NUTSによるサンプリング。ADVIも可能。 • StanのRラッパーであるRstanもよく使われてい る。 • RStanには、解説書が多く市販されており、 Stanコードはそのまま、利用することが可能。 PyMC3: • Theanoを基盤としている。 (Theanoは開発終了したが、PyMC3に関連 する部分のメンテナンスは継続中） • モデルはPythonで記述。 • コードは、Pythonらしく書ける。 • NUTS、ADVIも可能 • 公式サイトにチュートリアル。 • 日本語や洋書で情報が手に入る。 実績があり、書籍などで情報が入手しやすいもの 後ほど 解説 11
- 13. PyMC3コードの例 ベイジアン線形回帰 MCMCのサンプリングを行う 𝑦 = 𝛼 + 𝛽𝑥 + 𝜀 𝜀には正規分布を仮定 ラベルの値を指定 𝜀が正規分布（平均：𝛼 + 𝛽𝑥, 標準偏差：𝜎）を指定 𝛼、𝛽、𝜎(𝜀の標準偏差）の事前分布を指定 13 特徴量の値を指定
- 14. PyMC3コードの例 ベイジアン線形回帰の改良 外れ値があることを考慮して、𝜀にスチューデントのｔ分布を使用 ⇒外れ値以外の点で、当てはまりがよくなった。 𝑦 = 𝛼 + 𝛽𝑥 + 𝜀 𝜀にはスチューデントのｔ分布を仮定 14
- 16. 階層モデルの導入 𝛼𝑖 = 𝛼 + 𝜀𝑖 𝛼 𝛽𝑖= 𝛽 + 𝜀𝑖 𝛽 𝑦𝑖 = 𝛼𝑖 + 𝛽𝑖 𝑥𝑖 + 𝜀𝑖 点が少なくても モデルが得られる。 16
- 18. 関連書籍 PyMC3のサンプルコードが付いている 「Pythonで体験するベイズ推論-PyMCによるMCMC入門-」キャメロン・デビッドソン=ピロン著 玉木徹訳 森北出版 （Git Hubから可、PyMC2、PyMC3、TensorFlow Probability) 複雑なモデルは扱わないが基本的な概念や応用例などが豊富 「Pythonによるベイズ統計モデリング」 Osvaldo Martin著 金子武久訳 共立出版 (出版社のサ イトから可) 階層モデルなどの比較的複雑なモデルの解説も含んでおりバランスが取れている。 「Pythonによるベイズ統計モデリング」中妻輝夫著 朝倉書店（Git Hubから可） 時系列モデル、回帰モデル、判別モデルの解説がある。 PyStanの学習には、Rstanの解説本が使える 「StanとRでベイズ統計モデリング」松浦健太郎著 石田基広監修 共立出版 18
- 19. 関連書籍とWebサイト ベイズ統計の理論 「機械学習スタートアップシリーズ ベイズ推論による機械学習入門 (KS情報科学専門書)」須山敦志著 講談社 式の導出が丁寧にされている。以下のPRMLが難しいと思う人におすすめ。変分法の解説も。 「パターン認識と機械学習」上下 C.M. ビショップ著 元田 浩、栗田多喜夫、樋口知之、松本裕治、村田昇監訳 丸善 いわゆるPRML(Pattern Recognition and Machine Learning)、ベイズ統計と機械学習の定番本。 Webサイト PyMC3のサイト（チュートリアル、サンプルコードあり） https://docs.pymc.io/ Hello Cybernetics (NumPyro, Pyro, jax, Edwardsなど最新のライブラリの情報や理論面に詳しい） https://www.hellocybernetics.tech/ 作って遊ぶ機械学習（須山さんによるベイズ統計の解説） http://machine-learning.hatenablog.com/ 動画 TensorFlow User Group Meetup - ベイズ推定分科会 2020/9/5に行われた５時間のWebセミナー、登録者700名超 https://www.youtube.com/watch?v=7rBI11Rze2c 19
- 20. まとめ AIの普及 Auto-tunerの普及 ⇒ エンジニア、データサイエンティストとしての差別化は？ ⇒ ベイズ統計・ベイズモデリング 細かな調整が行える。実応用したときの汎化性能、データの誤差の性質の考慮。デー タ数が少ない時への対応。解釈性。 PyMC3、PyStanなどを利用すれば、比較的容易に可能。 ベイズモデリングとニューラルネットワークなどの組み合わせは、今後の発展が期待 される分野。 ベイズモデリングは、マーケティングなどの分野においてはすでに、多くの実績があ る。 20