Perl で自然言語処理
Download as PPTX, PDF39 likes12,671 views
これから自然言語処理を業務でやってみようとしている技術者を対象にしています。 前半は自然言語処理や学習方法について述べており、後半はWebサービスに適用しやすい自然言語処理技術について述べています。
Perl で自然言語処理
- 2. 私（佐藤敏紀）の自己紹介名前：佐藤敏紀（さとうとしのり）ID : overlast（Twitter : @overlast）key : 自然言語処理/機械学習/検索/圧縮/順序学習blog : Overlasting::Life(http://diary.overlasting.net/) 略歴2005年4月〜2008年3月：東工大の奥村研究室自然言語処理（比較関係抽出）の研究2008年5月〜:某大手ポータルサイト自然言語処理・機械学習技術をWeb文書に応用類似文字列検索ライブラリの研究・開発スペル訂正システムの研究・開発2
- 4. 自然言語処理って何？4
- 5. 自然言語処理(NLP : Natural Language Processing)とは= 「自然言語」をコンピュータで「処理」すること自然言語(Natural Language)人間が意思疎通のために使っている言葉言葉による意思疎通の手法例：読み・書き・話しコンピュータ用の人工言語と区別される自然言語処理分野 ： 人工知能 + 言語学内容 = 解析をする際にどのように高い性能を達成するか計算言語学(Computational Linguistics)と関連NLPと聞いて神経的なモノを浮かべては駄目5
- 6. 自然言語処理技術の応用例Google 日本語入力 - CGI API6
- 11. 英語の教科書などを読む最初の参考書Foundations of Statistical Natural Language Processing多少古いが、未読なら通読する価値がある様々な自然言語処理の研究室で読まれている略称 : FSNLP学会・研究会自然言語処理の学会PFIの岡野原さんによる学会の解説Link of NLP/CL Conference東京大学喜連川研特認助教の吉永直樹さんのリスト。便利。ACL Anthology情報処理学会電子図書館(有料)ACM Digital Library(有料)11
- 13. その他のおすすめ資料集合知プログラミング自然言語処理の応用を体験できるPythonのコードを見ながらPerlで書く大規模サービス技術入門(伊藤・田中著)通読すると何かをやった気分になれる入門自然言語処理Natural Language Processing with Pythonの邦訳オライリーさん。12章が日本語で書き下ろし情報検索と言語処理-言語と計算-徳永(徳永著)おすすめ。Amazonで本書の関連書籍を見ると良い。「たつをのChangeLog」のサンプルコードPerl でWebAPIから得た結果を加工するサンプル13
- 20. 自然言語処理は最初は意外と簡単自然言語処理はWebサービスを盛り上げるスパイス、と考えてみよう塩やコショウのようなもの。何かを始められるかどうかの目安自分の計算機上で形態素解析器を動かして、何かの文書における単語の出現頻度をカウントできる技術を使いこなすことや、オリジナル手法を考えようとすると、難易度が飛躍的に上がる最初は Web API やライブラリを利用すればOK試作は Perl でサクッと作ればOK20
- 23. 0/723
- 24. Web API を使って問題解決もう皆さん飽きてますよね。他の方が沢山プレゼンをしてるはずなのでググってください。個人的には、他者が提供しているAPIへの依存を減らした方が良いと思います。24
- 25. 1/725
- 27. 例：Twitterのお気に入りレコメンド(1/2)- 協調フィルタリングでアイテム空間に基づきユーザを推薦 -ユーザ 1 : 発言 A、発言 B、発言 C …ユーザ 2 : 発言A、発言 D、発言 G … ユーザ 3 : 発言 E、発言 F、発言G … ユーザ 4 : 発言 B、発言 G、発言I … ユーザ 5 : 発言 C、発言 G、発言I … ユーザ 5 : 発言 O、発言 R、発言 Z … 27
- 28. 例：Twitterのお気に入りレコメンド(2/2)- 協調フィルタリングでアイテム空間に基づきユーザを推薦 -あなた : 発言 B、発言 C、発言 G …ユーザ 1 : 発言A、発言 B、発言 C … ユーザ 4 : 発言 B、発言 G、発言 I …ユーザ 4 : 発言 C、発言 G、発言 I …28ユーザ 1 : 発言 A、発言 B、発言 C …
- 29. ユーザ 2 : 発言 A、発言 D、発言 G …
- 30. ユーザ 3 : 発言 E、発言 F、発言 G …
- 31. ユーザ 4 : 発言 B、発言 G、発言 I …
- 32. ユーザ 5 : 発言 C、発言 G、発言 I …
- 33. ユーザ 6 : 発言 O、発言 R、発言 Z …お気に入りが 共通しているユーザを抽出
- 35. CPANモジュールの例Algorithm::NaiveBayes30実行結果--- 'ユーザ1 : 0.935928608918598'--- 'ユーザ3 : 0.263229921258356'--- 'ユーザ2 : 0.233982152229649'
- 36. 2/731
- 37. データはある。だけど検索できない。=> まよわず「検索機能をつける」迷わず「検索」機能をつけようもし「全文検索を実現する技術者がいない」ならSitemapをGoogleに登録しよう。それ以外自前で検索ライブラリを導入する。 or 外注する。もし「検索機能の設置で損なわれる価値がない」なら即リリースしよう。個人が特定されて困る種類の情報もあるクレームが来そうなら、検索できない方が良いかも例：Twitterの発言に性別を推定したタグを付けたデータ32
- 38. 3/733
- 39. 単語Aと単語Bって一緒にならないの？=> 「正規化・データクレンジング・名寄せ」では「正規化・データクレンジング・名寄せ」が必要な例全角半角とかグチャグチャ送り仮名の振り方がバラバラ一部の記号が邪魔複数のフォーマットが混在している旧漢字と新漢字が混ざってる文字コードがサービスごとにちがうユーザが商品名に余計な文字や記号を付ける。活用がちょっと違う動詞をまとめたい要するに、どういう場合に困るの？ (発音がほぼ同じ && 意味がほぼ同じ)だが、文字の表層が違う34
- 42. 4/737
- 43. サイト内のユーザ回遊性を高めたい-> 『アンカーテキスト化』手法あらかじめ辞書にキーワードを登録テキストに辞書中のキーワードが含まれていたらアンカーテキスト化する例：はてなのキーワードリンク38
- 44. CPANモジュールの例Text::Darts39--- 今日は<a href="http://www.google.co.jp/search?ie=UTF-8&q=YAPC">YAPC</a> に<a href="http://www.google.co.jp/search?ie=UTF-8&q=NLP">NLP</a> のことを話に来たが、<a href="http://www.google.co.jp/search?ie=UTF-8&q=大丈夫">大丈夫</a> か。
- 45. 5/740
- 47. 6/742
- 52. PC版：今のところ無料
- 53. 有料化時に話題になった
- 54. 食べログがユーザの評価に関係なくログを集計して算出した注目順の方を有料化すべきだった？CPANモジュールの例Algorithm::SVMLightSVMlightのRanking SVMsを手軽に使える CPANモジュールを使わないなら他のライブラリもあるRanking SVMs事前の学習：複数の事例セットを用意し、素性（そせい）抽出後に学習入力 ：ランキングしたい複数の候補出力 ：ランキングした入力インストール方法JPerl Advent Calenderで紹介した「Algorithm::SVMLight をインストールして使ってみよう」47
- 56. 7/749
- 59. 文書クラスタリング概要の例事前に文書集合を何個に分けるか考えておく抽出した素性（そせい）が近い文書をまとめるまとめる時に一番寄与した特徴でラベル付け52文書文書文書文書文書文書文書文書文書文書文書文書文書文書文書文書文書文書文書文書文書文書文書文書文書文書文書文書文書文書文書文書Perl Ruby PHP C++ Python
- 64. まとめ57