MCMC and greta package社内勉強会用スライド

MCMC と greta package
石上漱眞
筑波大学国際総合学類4年
株式会社Insight Factory インターン
19/6/2017. Shuma Ishigami.

内容
• MCMCについて
– MCMCとベイズ
• “greta”package について
– 目的
– よいところ
– 推定のフロー
– 例(線形回帰)
– greta vs rstan

MCMCについて

MCMCについて
• 乱数を用いたシミュレーション手法
• MC(Markov Chain)
– 一つ前の状態にのみ依存する
• MC(Monte Carlo)
– 乱数を用いた数値計算
• ベイズ統計学によく用いられる(なぜ？)

伝統的統計学 vs ベイズ統計学
[母集団は、あるパラメータ𝜃を持つある確率分布に従う] とき…
伝統的統計学(頻度論アプローチ)
- パラメータ𝜃は母集団特有の唯一値が存在
- データから、その唯一値を推定
ベイズ統計学
- パラメータ𝜃も、ある確率分布に従う確率変数
- データから、その分布を調べたい

MCMC とベイズ
• 関心のあるパラメータ𝜃の事後確率分布𝜋(𝜃|𝑋)がほしい(X:
データ)
-> ベイズの定理で表すと
𝜋 𝜃 𝑋 =
𝑓 𝑋 𝜃 𝜋(𝜃)
𝑓 𝑋 𝜃 𝜋 𝜃 𝑑𝜃
, 𝑓 𝑋 𝜃 は尤度
-> 右辺分母の積分がとても面倒くさい。次元が大きいと解析的
に解くことができない。
-> 多重積分を解析的に解くのではなく、
”事後分布に従うような”乱数を発生させ、サンプリングする。
(事後分布を直接得るのではなく、事後分布からのデータを得
る。)

MCMC とベイズ
• なぜ事後分布からのサンプルが得られるの？
• ある条件のもとで、
マルコフ連鎖のパラメータ𝜃の分布は
𝑛 → ∞のとき定常分布𝜋(𝜃|𝑋)に収束する
-> MCMCでたくさんサンプルを得れば、得られたサン
プルの分布は欲しい事後分布𝜋 𝜃 𝑋 になる！

さまざまなMCMCのアルゴリズム
• Gibbs sampling
• M-H algorithm
• Hamiltonian MC (<-gretaはこれを使用)
• etc…

greta について
Ver. 0.2.0 (2017-06-26)

“greta” package
• 目的
R で統計モデリングとMCMCをするパッケージ
– ほかには”rstan”(Stan), ”R2WinBUGS”(Win/Open
BUGS)といったパッケージが存在
• よいところ/特徴
– Google Tensorflowを用いている
– モデリングが自由
– Stan, BUGSと異なり、独自の文法を覚えなくてもよい
– モデルの可視化がわかりやすい

greta array objects
• モデルはgreta arrayというarrayで構成される
• 普通のarrayやmatrixと同じように操作可能
• 普通のarrayとの違い
– 値の計算がされない(操作を記憶する”箱”)
– 分布を定義できる

推定の流れ
1. 各パラメータの事前分布の設定
2. モデルの定義
3. MCMCサンプリング・推定

1.各パラメータの事前分布の設定
• gretaはさまざまな分布に対応している
?greta::distributions で確認可能
• 事前分布を設定するには以下のようにすれ
ばよい
• 例: あるパラメータが一様分布
parameter = greta::uniform(min, max)

2.モデルの定義
• distribution(観測データ) ：観測データに関し
て尤度𝑓 𝑋 𝜃 を定義できる
• model(greta_array): greta_model objectの作
成。モデルの定義。
• plot(greta_model):モデルを可視化。

• greta::mcmc(greta_model, n_sample,
warmup,…)
– MCMCサンプリングを行う関数
– MCMCのアルゴリズムはHamiltonian Monte Carlo
– 返り値はmcmc.listでMCMCのサンプルを含む。
“coda” packageの関数を使用して、summaryや
trace plotができる。

例線形回帰
𝑦~𝑁(𝛼 + 𝛽𝑋, 𝜎)
# データの準備
set.seed(22)
x <- rnorm(1000)
y <- 4*x + rnorm(1000,sd = 2)
# as_data converts R objects into greta arrays
x.g <- as_data(x)
y.g <- as_data(y)

1.各パラメータの事前分布の設定
# 各パラメータに事前分布を設定する。
# たとえば、切片intには平均0、分散1の正規分
布を設定している
int = normal(0, 1)
coef = normal(0, 3)
sd = student(3, 0, 1, truncation = c(0, Inf))

2.モデルの定義
mean <- int + coef * x.g
# 尤度𝑓 𝑋 𝜃 の定義
distribution(y.g) = normal(mean, sd)
# モデルの定義
# 推定したいパラメータが引数
m <- model(int, coef, sd)
# モデル構造のプロット
plot(m)

モデルの可視化

# MCMC sampling
draws <- greta::mcmc(m, n_samples = 1000)
# Summarize the result
summary(draws)
# “coda” package is useful to handle mcmc object
library(coda); codamenu()

実際の推定の流れ
• はじめに、紙とペンでモデルを書きだす
• 各パラメータの分布・モデルを設定後、モデ
ルをプロットし、最初に思い描いていたモデル
にあっているか確認する

“greta” vs “rstan”
• CRANのgreta ページで公開されているgreta と stan
のサンプルコードで速さ比較
• Air model(1000 burn-in & 10000 samples )
– greta: 157 ~ 222 sec
– Rstan(4 chains): 4 ~ 5 sec
• Beetles model(1000 burn-in & 10000 samples )
– greta: 246 sec
– Rstan(4chains) : 1~2 sec

“greta” vs “rstan”
• これらの例だと圧倒的にrstanのほうが速い
• Gretaの強みはTensorFlowを用いた大きいデータでの計算なの
で、今回の例では強みが出なかったのかも
• きれいなモデルの可視化が強みかも
• 学びやすさ
• greta: Stanの文法を覚えなくてもよい。
• rstan: さまざまな入門本、情報が多い。
• 人気: rstanのほうが利用人口が多い
• In Stackoverflow, search([r] rstan)=126 results, ([r], greta)=0
(9/17/17 13:20)
• 使用人口の多さは、導入方法、入門本、ヘルプやネット上の質
問・回答など情報量に直結
greta紹介しているのに, rstanのほうが良いかもしれない…

参考
[greta]
Website (https://greta-dev.github.io/greta/)
CRAN(https://cran.r-project.org/web/packages/greta/index.html)
Example model codes for greta, BUGS and Stan
(https://cran.r-
project.org/web/packages/greta/vignettes/example_models.html)

MCMC and greta package社内勉強会用スライド

More Related Content

What's hot (12)

Similar to MCMC and greta package社内勉強会用スライド (20)

MCMC and greta package社内勉強会用スライド

Editor's Notes