FastText 触ってみた
2017/07/06 珍田
FastText とは
より早いWord2Vec
facebook 製
Word2Vec ???
Word2Vec とは
単語のベクトル表現
類似の概念
Word2Vec の画期的なところ
言語のvector 表現は以前からあった.
Word2Vec の画期的なところ
足し算引き算(ベクトルの演算)ができる!!!
Introduction fasttext
Word2Vec の演算
king − man + woman = queen
paris − france + japan = tokyo
で,FastText
Word2vec の作者謹製の,次世代Word2Vec
高速!!!
事前準備
https://github.com/facebookresearch/fastText
python3, numpy, scipy, cython が使えること
=>  brie/docker‐numpy‐scipy とか使うのが楽
利用するテキスト(日本語だったら分かち書きしてあること)
※ 分かち書きされた文書の準備
mecab ‐Owakati hoge.txt > hoge.wakati.txt
使い方
$ (pip install cython)
$ (pip install fasttext)
$ pip install gensim
import gensim
from gensim.models import word2vec
sentences = word2vec.Text8Corpus('hogefuga.wakati.txt')
model = word2vec.Word2Vec(sentences, size=200, window=5, workers=
model.most_similar(positive=['ほげー', 'ふがー'], negative=['ばず'
デモ

More Related Content

PDF
re:Invent現地でAWS IoT系のセッションを全部受けた男が説明するAWS IoT - Deep Dive -
PPTX
Scrapyドキュメント翻訳
PPT
分散Key/Valueストア Kai 事例紹介
PDF
Ruby on Windows
PDF
Javaに這いよる.NET
PDF
VyOS Users Meeting Japan #4 VyOS 1.2.0の開発の様子と自動テストの話
PDF
いまさら聞けない WordPress 情報の在り処
PDF
The History of Groovy #GroovyBase
re:Invent現地でAWS IoT系のセッションを全部受けた男が説明するAWS IoT - Deep Dive -
Scrapyドキュメント翻訳
分散Key/Valueストア Kai 事例紹介
Ruby on Windows
Javaに這いよる.NET
VyOS Users Meeting Japan #4 VyOS 1.2.0の開発の様子と自動テストの話
いまさら聞けない WordPress 情報の在り処
The History of Groovy #GroovyBase

What's hot (20)

PPTX
GitLab Meetup Tokyo#2 Rancher gitlab container registry
PDF
20151029 ヒカラボ講演資料
PDF
ペパボ福岡支社におけるRubyの活用事例
PDF
LT#7 Hello coffeeしてきた
PDF
人間たちとsystemd
PDF
[Vitocha.iso] FreeBSDカスタムiso作ってみた
PDF
Sphinx customization for OGP support at SphinxCon JP 2018
PDF
GoでEPC作って本番運用している話
PPTX
今更だけど 「git rebase」の 使い方を覚えた話
PPTX
Skywayのビデオチャットを録画しよう。そう、ブラウザでね
PDF
Rdkitの紹介
PDF
ペパボのサービスとRuby
PDF
Read Groovy Compile process(Groovy Benkyoukai 2013)
PPTX
Rubyで.netを扱う
PDF
VBScriptのダメなところ~その1~
PDF
Gitの使い方あれこれ
PDF
TddでFizzBuzzしてみる in Swift
PDF
東京Node学園 今できる通信高速化にトライしてみた
PPTX
Rancherで簡単に作るk8s環境 Kubernetes meetup tokyo #4 LT kubernetes on rancher
PDF
WSHで遊ぼう!
GitLab Meetup Tokyo#2 Rancher gitlab container registry
20151029 ヒカラボ講演資料
ペパボ福岡支社におけるRubyの活用事例
LT#7 Hello coffeeしてきた
人間たちとsystemd
[Vitocha.iso] FreeBSDカスタムiso作ってみた
Sphinx customization for OGP support at SphinxCon JP 2018
GoでEPC作って本番運用している話
今更だけど 「git rebase」の 使い方を覚えた話
Skywayのビデオチャットを録画しよう。そう、ブラウザでね
Rdkitの紹介
ペパボのサービスとRuby
Read Groovy Compile process(Groovy Benkyoukai 2013)
Rubyで.netを扱う
VBScriptのダメなところ~その1~
Gitの使い方あれこれ
TddでFizzBuzzしてみる in Swift
東京Node学園 今できる通信高速化にトライしてみた
Rancherで簡単に作るk8s環境 Kubernetes meetup tokyo #4 LT kubernetes on rancher
WSHで遊ぼう!
Ad

Similar to Introduction fasttext (8)

PDF
プラグイン公開までの道のり
PDF
まだFTPで消耗してるの? Wordmoveではじめる 異次元のデータ転送
PDF
Oktavia全文検索エンジン - SphinxCon JP 2014
PDF
Bicep + VS Code で楽々Azure Deploy
PDF
SEゼミ2014 - コードチェンジ
PDF
SocketStream入門
PDF
Vagrantで即席クラウドストレージ
PDF
スマホ(Android・iPhone)でWebRTC
プラグイン公開までの道のり
まだFTPで消耗してるの? Wordmoveではじめる 異次元のデータ転送
Oktavia全文検索エンジン - SphinxCon JP 2014
Bicep + VS Code で楽々Azure Deploy
SEゼミ2014 - コードチェンジ
SocketStream入門
Vagrantで即席クラウドストレージ
スマホ(Android・iPhone)でWebRTC
Ad

More from Kazuyuki CHINDA (7)

PDF
仮想電子工作のすすめ
PDF
Query selecterの話
PDF
ウェブエンジニアのための色の話
PDF
Shinjuku.html5.lunch #11
PDF
時間をかけて解く FizzBuzz
PDF
typo の傾向と対策
PDF
エンジニアのためのUX入門
仮想電子工作のすすめ
Query selecterの話
ウェブエンジニアのための色の話
Shinjuku.html5.lunch #11
時間をかけて解く FizzBuzz
typo の傾向と対策
エンジニアのためのUX入門