RubySeminar16_Analyze

Rubyを用いた統計的処理と構文解析
2014/07/26
第16回岡山Ruby, Ruby on Rails勉強会
貞松政史 (＠sady_nitro)

自己紹介
•貞松政史 (@sady_nitro)
•＃R社
•仕事では専らマイクロソフト製品を利用
•趣味で色々な技術をちょっとかじっては飽きる
多芸は無芸を地でいく、自作自演何でも屋
(最近Raspberry Pi買いました)

たのしいRuby読書会参加してます
http://www.circleaf.com/groups/22

本セッションの目的
•発端はオープンセミナー岡山のLT
•OITECでの登壇から中1週間で若干後悔している
•オープンセミナー岡山でやったネタの裏側について
詳細説明
•しようと思ってたけどポカーン枠になること請け合い
なので、OSOのLTで使用した技術の中から
ピックアップして入門編的内容で構成
•統計的手法とか機械学習げなものに興味を
持っていただければ幸い(今後の布石的に)

おしながき
•統計的処理と構文解析
•Rubyを使ってやってみよう
•classifierで単純なベイジアンフィルタ
•Mecabを使って構文解析
•mecab-rubyを導入
•日本語に対してベイジアンフィルタを適用
•まとめ

•統計的処理
–経験的に得られたバラツキのあるデータから、
応用数学の手法を用いて数値上の性質や
規則性あるいは不規則性を見いだす
•構文解析
–ある文章の文法的な関係を説明すること
–計算機の世界ではおなじみ(コンパイラ・パーサー)
–最近(?)は自然言語処理の分野で注目されている
統計処理と構文解析

Rubyを使ってやってみよう
•ベイジアンフィルタ
–単純ベイズ分類器を応用し、対象となるデータを解析・学習し
分類する為のフィルタ。学習量が増えるとフィルタの分類精度
が上昇するという特徴をもつ。
個々の判定を間違えた場合にはユーザが正しい内容に
判定し直すことで再学習を行う。
•文章の分類
–スパムフィルタなどが一般的

ベイジアンフィルタの実装
•単純ベイジアン分類器
–単純ベイズ確率モデル
–確率モデルを基にした分類器

classifierで単純なベイジアンフィルタ
•classifier
–https://github.com/cardmagic/classifier
–Rubyでベイジアンフィルタを扱うためのgem
•まずは英文を分類
–理由は後ほど説明
–比較的簡単にベイジアンフィルタを適用できる

日本語の文章にベイジアンフィルタを適用するには
•日本語の文章の特徴
–単語が空白で区切られていない
–“わかち書き”なるものに変換する必要がある
•わかち書き
–文章において語の区切りに空白を挟んで記述する

Mecabを使ってわかち書き
•Mecab(和布蕪)
–http://mecab.googlecode.com/svn/trunk/mecab/doc/index.
html
–オープンソースの形態素解析エンジン
–インストールが比較的容易
–わかち書きするだけならとても容易

mecab-rubyを導入
•mecab-ruby
–MecabをRuby上で扱うためのgem
–毎回インストール(コンパイル)に苦戦する

日本語に対してベイジアンフィルタを適用
•mecab-rubyでわかち書き
↓
•classifierでベイジアンフィルタを適用
↓
•日本語の文章を分類
•Rubyのコード内で完結！

せっかくだから学習させてみる
•学習データの保存
•分類したい文章を標準入力
•分類結果を出力
•ちょっとした機械学習の出来上がり！

まとめ
•機械学習とあわせて何かと流行りの
統計的手法や自然言語処理
•Rubyを使うと、便利なgem(他力)により
比較的容易に日本語の文章にベイジアン
フィルタを適用することができる

RubySeminar16_Analyze

More Related Content

What's hot (20)

Viewers also liked (11)

Similar to RubySeminar16_Analyze (20)

More from sady_nitro (11)

RubySeminar16_Analyze