Pythonで検索エンジン2
- 1. Pythonで ブックマーク検索エンジンを 作ってみた。 ニコ生Pythonユーザー会 （PyNLUG) かわ
- 2. 本日のアジェンダ • ニコ生Pythonユーザー会（co116049）について • 自己紹介 • Pythonでブックマーク検索エンジン o OpenID o 検索システム o 今後の展開 2009/12/26 プログラミング生放送勉強会 第2回
- 3. ニコ生Pythonユーザー会（co116049） ニコニコ生放送界隈で、Pythonを愛好するゆる〜い集まり。 参加資格 • ニコニコ動画のアカウント登録している方（必須） • Pythonを愛してやまない（任意） • Pythonってよく分かんないけど、何か好き（任意） • Python大嫌い（任意） • ニシキヘビを飼っている（狩っているでも可） 2009/12/26 プログラミング生放送勉強会 第2回
- 4. ニコ生Pythonユーザー会（co116049） 参加方法 http://com.nicovideo.jp/community/co116049 にアクセス ←クリック 2009/12/26 プログラミング生放送勉強会 第2回
- 5. ニコ生Pythonユーザー会（co116049） 参加特典 • コミュニティで放送ができる（ただしプレミア会員のみ） • 誰かが放送されると、マイページに表示される 以上 2009/12/26 プログラミング生放送勉強会 第2回
- 6. 自己紹介 HatenaID: kawa1128 Twitter: @kawa1128 ニコ生コミュニティ:co70366 http://com.nicovideo.jp/community/co70366 WEB:http://www.kawa1128.jp/ ニコ生での活動： • Python放送（メイン） • 気まぐれに歌う • 時々ピアノを弾く • 自分で撮った写真のスライドショー（延々30分） 2009/12/26 プログラミング生放送勉強会 第2回
- 7. 自己紹介 主な使用言語（利用頻度順）： Perl Python C/C++ Ruby 2009/12/26 プログラミング生放送勉強会 第2回
- 8. 自己紹介 自分のブックマークを整理したい！ ↓ 自分がブックマークしたということは、自分にとって、重要？ ↓ ちょっと検索してみよう ↓ あれ、このページってこないだ「お気に入り」に入れなかっ たっけ？ 2009/12/26 プログラミング生放送勉強会 第2回
- 9. ブックマーク検索エンジン 結論 自分のブックマークをブックマークを一ヶ所で管理して、検索 すれば、自分得？ 検索エンジンにも興味あるし、作ってしまおう！！ 類似サービス ・はてなのブックマーク（はてぶ） →気にしない、気にしない。検索エンジン作ってみたいよ！ どうせなら、いろんな人に使って欲しいよね第2回 2009/12/26 プログラミング生放送勉強会
- 10. ブックマーク検索エンジン OpenID ・OpenID（オープンアイディー）とはウェブサイトによらず使用で きる認証システムの標準、およびそこで使用される識別子である。 （by Wikipedia 日本語 版） ・自分でユーザー認証とかしなくても、他のところがやってくれる ↓ 自分でパスワードの管理をしなくてすむ。 ただし、ユーザー管理の必要はある。 利用例）ATND: http://atnd.org/ 2009/12/26 プログラミング生放送勉強会 第2回
- 11. ブックマーク検索エンジン OpenIDの仕組み 1. End User（サイト利用者）がConsumer（自サイト）にアクセス – Consumerに対して、End UserはIdentifierを渡す – Consumerは受け取ったIdentifierを元にIdentity Provider（実際に認 証するサイト）をDiscoveryする。 – End Userは、Identity Providerで、認証をする。 – Identity Providerから、Consumerにリダイレクトされてくる。 2009/12/26 プログラミング生放送勉強会 第2回
- 12. ブックマーク検索エンジン OpenIDの仕組み 2009/12/26 プログラミング生放送勉強会 第2回
- 13. ブックマーク検索エンジン OpenIDの例 はてなを利用した例 1. OpenID認証を利用したサイトに対して、はてなの Identifier（http://www.hatena.ne.jp/kawa1128/）を渡す。 2. 受け取ったら、Identiferをライブラリに渡して、Discoveryする 。 3. Discoveryした結果、認証するためのページのURIを得る。 4. そこにリダイレクトさせるように、HTTP Status 301をクライア ントにかえす。（この際に認証後にリダイレクトするページを 渡しておく） 5. クライアントのブラウザが認証するサイトを表示する。 6. 認証する。 7. Identify Providerから、リダイレクトされてくる。 8. 認証完了 2009/12/26 プログラミング生放送勉強会 第2回
- 14. ブックマーク検索エンジン OpenIDの例 はてなを利用した例 受け取る情報 openid.sig xNttUpcaC57H/3vRPM= openid.return_to http://www.kawa1128.jp/test/openid/verify.cgi? janrain_nonce=2009-12- 23T15%3A14%3A08ZKCFGIu&openid1_claimed_id=http %3A%2F%2Fwww.hatena.ne.jp%2Fkawa1128%2F janrain_nonce 2009-12-23T15:14:08ZKCFGIu openid.response_nonce 2009-12-23T15:14:13ZmLDjrU openid.claimed_id http://www.hatena.ne.jp/kawa1128/ openid.mode id_res openid1_claimed_id http://www.hatena.ne.jp/kawa1128/ openid.signed mode,claimed_id,identity,return_to,response_nonce,assoc_ handle openid.identity http://www.hatena.ne.jp/kawa1128/ openid.assoc_handle 1260465265:cPZRiL75:bf7e6ec7eb 2009/12/26 プログラミング生放送勉強会 第2回
- 15. ブックマーク検索エンジン OpenIDの例 Pythonコード例 import openid.consumer.consumer import openid.store.filestore import openid.extensions.sreg auth_uri = 'http://www.hatena.ne.jp/kawa1128/' openidsession = dict() store = openid.store.filestore.FileOpenIDStore("./store") consumer= openid.consumer.consumer.Consumer(openidsession, store) request = consumer.begin(auth_uri) urlroot = "http://www.kawa1128.jp" urlredirect = request.redirectURL(urlroot, urlroot + '/test/openid/verify.cgi') print 'Status: 301 Moved' print 'Location: ', urlredirect print 2009/12/26 プログラミング生放送勉強会 第2回
- 16. ブックマーク検索エンジン 検索エンジン • 自分最適化 （いまんとこスケールさせることは考えない） • そもそも、自分で登録するんだからノイズが少ない ので、スコアリングロジックは単純に！ • でも、技術的追求はしたいよね。 • 形態素解析とかは、むりだけどね。 というわけで、 DBとしてSQLite3を利用 形態素解析器として、MeCabを利用。 2009/12/26 プログラミング生放送勉強会 第2回
- 17. ブックマーク検索エンジン 検索エンジンのしゅるい • 形態素解析を利用したもの o 検索精度は割と高め o ディスク容量は中程度 o Indexingに時間はかかる • N-gram方式を利用したもの o 検索漏れがない o Indexingが早い o ディスク容量は結構使う 2009/12/26 プログラミング生放送勉強会 第2回
- 18. ブックマーク検索エンジン クローラーとインデクサ • リンクの深さ 5段くらい？ • 一度クロールしても、しばらくして、ブックマーク に新たに追加された場合再度クロール。それ以外の 場合際クロールはしない。 • 認証とかされているとお手上げ。 • 一度インデックシングした情報は消さない • できれば、キャッシュとして、クロールしたページ は残しておきたい。 2009/12/26 プログラミング生放送勉強会 第2回
- 19. ブックマーク検索エンジン インデクサ ＆ サーチャー 1.スクレイピングして単語に分解。 2.単語を単語DBに登録 3.出現位置と、URLをロケーションDBに登録 2009/12/26 プログラミング生放送勉強会 第2回
- 20. ブックマーク検索エンジン DB構成 UserDB BookMarkDB URLDB ---------------------- ----------------------- ---------------------- openid user_id URL user_id url_id url_id date WordDB LocationDB ----------------------- ---------------------- word url_id word_id word_id position 2009/12/26 プログラミング生放送勉強会 第2回
- 21. ブックマーク検索エンジン 宣伝！ http://bs.kawa1128.jp/ 絶賛公開予定！！！！ 2009/12/26 プログラミング生放送勉強会 第2回
- 22. ブックマーク検索エンジン 宣伝！ http://bs.kawa1128.jp/ 絶賛公開予定！！！！ 未定！！ 2009/12/26 プログラミング生放送勉強会 第2回
- 23. この子たちのために完成せず。 2009/12/26 プログラミング生放送勉強会 第2回
- 24. ブックマーク検索エンジン そのた 詳細は、はてなダイアリーでかいていこうと思うの で、そちらを参照くださいませ。 → http://d.hatena.ne.jp/kawa1128/ その他、個人的なことは → http://www.kawa1128.jp/ Twitterで聞いてもおk → @kawa1128 で！ 2009/12/26 プログラミング生放送勉強会 第2回