SlideShare a Scribd company logo
Introduction to Japanese Morphological Analysis
‣
‣
‣
‣
Introduction to Japanese Morphological Analysis
% echo | mecab
, , , ,*,*, , ,
, , ,*,*,*, , ,
, , ,*,*,*, , ,
, ,*,*, , , , ,
EOS
‣
‣
Introduction to Japanese Morphological Analysis
Introduction to Japanese Morphological Analysis
Input
Dictionary
Input
Dictionary
Input common_prefix_search( )
Dictionary
Input common_prefix_search( )
Dictionary
Input common_prefix_search( )
Dictionary
Input common_prefix_search( )
Dictionary
Input common_prefix_search( )
Dictionary
Input common_prefix_search( )
not matched
Dictionary
Input




3 1 6,7
25 4
Dictionary




3 1 6,7
25 4
Dictionary
common_prefix_search( )
Introduction to Japanese Morphological Analysis
‣
‣
‣
Generating cost (Dictionary)
Connecting cost
21356245
3003 9428
-310
-283
-9617
-386
1285, 1285
1293, 1293 1303, 1303
0
1293, 1293
Generating cost (Dictionary)
Connecting cost
21356245
3003 9428
-310
-283
-9617
-386
1285, 1285
1293, 1293 1303, 1303
0
1293, 1293
7729
2504
% echo | mecab -F "%m,%Hnt%phl,%phr,%pw,%pC,%pcn" -N2
, , , , ,*,*, , ,
1293,1293,3003,-310,2693
, , , ,*,*,*, , ,
1303,1303,9428,-9617,2504
EOS
, , ,*,*,*,*, , ,
1285,1285,6245,-283,5962
, , , , ,*,*, , ,
1293,1293,2135,-368,7729
EOS
← left context, right context, generating cost,
connecting cost, cumulative cost
‣
‣
‣
‣
Introduction to Japanese Morphological Analysis









More Related Content

PDF
開発 おしゃれ {|検索|探し模索|見つけようと{}に次|クロース·トゥ|並ん|ビサイド} まったく何も
PDF
Serverless adventures with AWS Lambda and Clojure
PDF
Lars Trierloff - Serverless Adventures with AWS Lambda and Clojure
PDF
クックパッド特売情報 における自然言語処理 〜固有表現抽出を利用した検索システム〜
PDF
R による文書分類入門
PDF
鬱くしい日本語のための形態素解析入門
PDF
twitteRで快適Rライフ!
PDF
Twitterのデータを取得する準備
開発 おしゃれ {|検索|探し模索|見つけようと{}に次|クロース·トゥ|並ん|ビサイド} まったく何も
Serverless adventures with AWS Lambda and Clojure
Lars Trierloff - Serverless Adventures with AWS Lambda and Clojure
クックパッド特売情報 における自然言語処理 〜固有表現抽出を利用した検索システム〜
R による文書分類入門
鬱くしい日本語のための形態素解析入門
twitteRで快適Rライフ!
Twitterのデータを取得する準備

Viewers also liked (20)

PPTX
On Similarities Between Japanese and Other Languages
PPTX
Japanese phonology
PDF
Groongaの今後への期待
PDF
Groongaの紹介と事例紹介
PDF
Rのデータ構造とメモリ管理
PDF
NLPforml5
PPTX
ACL 2014 読み会
PDF
CRF を使った Web 本文抽出 for WebDB Forum 2011
PPTX
Differences between Japanese and English
PDF
RではじめるTwitter解析
PDF
系列ラベリングの基礎
PDF
Prml Reading Group 10 8.3
PDF
Web本文抽出 using crf
PDF
Zipf? (ジップ則のひみつ?) #DSIRNLP
PPTX
Language Comparison (Korean, Japanese and English)
PPTX
Difference between English and Nihongo
PPTX
Emnlp読み会資料
PDF
入門自然言語処理入門
PPTX
EMNLP 2015 yomikai
PDF
自然言語処理のための機械学習入門1章
On Similarities Between Japanese and Other Languages
Japanese phonology
Groongaの今後への期待
Groongaの紹介と事例紹介
Rのデータ構造とメモリ管理
NLPforml5
ACL 2014 読み会
CRF を使った Web 本文抽出 for WebDB Forum 2011
Differences between Japanese and English
RではじめるTwitter解析
系列ラベリングの基礎
Prml Reading Group 10 8.3
Web本文抽出 using crf
Zipf? (ジップ則のひみつ?) #DSIRNLP
Language Comparison (Korean, Japanese and English)
Difference between English and Nihongo
Emnlp読み会資料
入門自然言語処理入門
EMNLP 2015 yomikai
自然言語処理のための機械学習入門1章
Ad

More from Takeshi Arabiki (11)

PDF
開発の心得
PDF
HTML5 Canvas で学ぶアフィン変換
PDF
Introduction to Favmemo for Immature Engineers
PDF
Rのスコープとフレームと環境と
PDF
R版Getopt::Longを作ってみた
PDF
Rデータフレーム自由自在
PDF
HMM, MEMM, CRF メモ
PDF
文字列カーネルによる辞書なしツイート分類 〜文字列カーネル入門〜
PDF
Rデバッグあれこれ
PDF
はじめてのまっぷりでゅ〜す
PDF
TwitterのデータをRであれこれ
開発の心得
HTML5 Canvas で学ぶアフィン変換
Introduction to Favmemo for Immature Engineers
Rのスコープとフレームと環境と
R版Getopt::Longを作ってみた
Rデータフレーム自由自在
HMM, MEMM, CRF メモ
文字列カーネルによる辞書なしツイート分類 〜文字列カーネル入門〜
Rデバッグあれこれ
はじめてのまっぷりでゅ〜す
TwitterのデータをRであれこれ
Ad

Introduction to Japanese Morphological Analysis