SlideShare a Scribd company logo
Nokogiri 
on 
Rails
事前準備
★注意★ 
わりとふざけた発表です
LOUPEから 
来ました
Nokogiri on Rails
Nokogiri on Rails
_人人人人人人人_ 
> 服装が同じ < 
‾Y^Y^Y^Y^Y^Y‾
LOUPE, Inc 
SENSEI NOTE 
~全国の先生を支える~ 
SENSEI PORTAL 
~教員向けイベントまとめ~ 
http://lo-upe.com/
北海道から 
来ました
Nokogiri on Rails
北海道 千歳市 
(たぶんこのへん 
★
 向平 卓矢 
 Takuya Mukohira 
苫小牧高専 
情報工学科3年 
18歳のPython使い 
! 
株式会社LOUPE 
エンジニア インターン 
でRuby書いてる。 
! 
twitter.com/mktakuya 
facebook.com/mktakuya 
github.com/mktakuya 
→ MK って呼ばれてる。
Nokogiri on Rails
Railsで作ったり、作っている 
もの 
SENSEI NOTE - http://senseinote.com 
SENSEI PORTAL - http://senseiportal.com 
情報処理同好会のサイト - http://tnctjosho.info
Nokogiri 
on 
Rails
Nokogiri 
on 
Rails
Nokogiri 
on 
Rails 
のこぎり 
おん 
れぃるず
Nokogiri 
Ruby製! 
Webスクレイピング用の 
ライブラリhttp://nokogiri.org/
on Rails Railsに載せてクローラを作ろう!
Web 
スクレイピング? 
! 
クローラ? 
フリー素材屋Hoshino - www.s-hoshino.com
Webスクレイピング 
WebサイトからHTMLやXMLなどを収集し、 
特定のデータを抽出、加工すること!
クローラ 
ウェブ上の文書や画像などを周期的に取得し、 
自動的にデータベース化するプログラム。 
Bot、スパイダーなどとも言う。 
検索エンジン や 
記事まとめサービス など
Nokogiri 
on 
Rails 
! 
で作った 
Webスクレイピング 
プログラム 
! 
を 
! 
に載せてクローラ化!
今日は主に 
Nokogiri 
の話をします
Nokogiri の話
Nokogiri 
はじめの一歩 
 require ‘open-uri’ 
 require ‘nokogiri’ 
 url = ‘http://wired.jp' 
 page = Nokogiri::HTML(open(url)) 
 page.title 
 # => "WIRED.jp"
やってみよう 
Nokogiriで 
Webスクレイピング
Webスクレイピングしてみる 
STEP1. ページの分析 
STEP2. コンソールでやってみる 
STEP3. コードを書く
Demo
Nokogiri on Rails
on Rails の話
on Railsの話 
1.rake タスクファイルを生成 
2.Wheneverでスケジューリング
rakeタスクファイル 
1. rails generate task crawl 
2. lib/tasks/crawl.rake の編集
Whenever 
1.gem 'whenever', :require => false 
2.wheneverize . 
3.config/schedule.rb を編集
詳しくは 
RailsでオリジナルRakeタスク作成からRSpecテスト 
まで 
- http://morizyun.github.io 
/blog/rake-task-rails-rspec-test/ 
Wheneverは導入が超簡単なcrontab管理ライブラリ 
Gemです![Rails4.1] 
- http://morizyun.github.io 
/blog/whenever-gem-rails-ruby-capistrano/
Nokogiri 
on 
Rails
Nokogiri 
on 
Rails 
! 
で作った 
Webスクレイピング 
プログラム 
! 
を 
! 
に載せてクローラ化!
Thank You!

More Related Content

PDF
[参考情報]OSC広島のお知らせ
PDF
Building Static Website With Github And Jekyll
PDF
CloudGarage Developer's Meetup
PDF
Rubyコミッタのいる開発いい話
PDF
RailsのRailから解放される始めの一歩
PDF
Railsチュートリアル(second)を終えて
PDF
僕はどうしてもLibsassが使いたかったんだ!
PDF
カンファレンスネットワークの作り方
[参考情報]OSC広島のお知らせ
Building Static Website With Github And Jekyll
CloudGarage Developer's Meetup
Rubyコミッタのいる開発いい話
RailsのRailから解放される始めの一歩
Railsチュートリアル(second)を終えて
僕はどうしてもLibsassが使いたかったんだ!
カンファレンスネットワークの作り方

What's hot (10)

PPTX
Walking front end
PDF
Rubymotion
PDF
Refrection of kawasaki.rb
PDF
いわみくとMeetup第15回
PDF
Nodeにしましょう
PPTX
簡単に試せるMicrosoft Cognitive Service! Face APIはヴィジュアル系メイクに勝てるのか???
PPTX
1月からAndroidアプリ開発をやってみての近況
PPTX
NSX-39で目覚ましを作った - つ部
PDF
request-specを利用していい感じにモックデータを作ってフロントエンド開発を楽にしたい!
PDF
広島アニメ関連イベントカレンダー(仮)はじめました
Walking front end
Rubymotion
Refrection of kawasaki.rb
いわみくとMeetup第15回
Nodeにしましょう
簡単に試せるMicrosoft Cognitive Service! Face APIはヴィジュアル系メイクに勝てるのか???
1月からAndroidアプリ開発をやってみての近況
NSX-39で目覚ましを作った - つ部
request-specを利用していい感じにモックデータを作ってフロントエンド開発を楽にしたい!
広島アニメ関連イベントカレンダー(仮)はじめました
Ad

Similar to Nokogiri on Rails (10)

PDF
ブログ駆動人生 - 高専生のキャリアについて考える会(20150823)
PPT
Cakephp勉強会@福岡 発表資料
PDF
YAPC::Nagoya::Tiny 2019 | Makefile生活
PDF
Appmethodで何か作ってみる
PDF
20150215勉強会
PDF
Railsの現場に入る前のお話(勉強法)
PDF
The Way of Fun Development - たのしい開発への道 / Sapporo RubyKaigi2012
PDF
Rails5とAPIモードについての解説
PDF
東京Node学園 今できる通信高速化にトライしてみた
PPTX
RubySeminar16_Analyze
ブログ駆動人生 - 高専生のキャリアについて考える会(20150823)
Cakephp勉強会@福岡 発表資料
YAPC::Nagoya::Tiny 2019 | Makefile生活
Appmethodで何か作ってみる
20150215勉強会
Railsの現場に入る前のお話(勉強法)
The Way of Fun Development - たのしい開発への道 / Sapporo RubyKaigi2012
Rails5とAPIモードについての解説
東京Node学園 今できる通信高速化にトライしてみた
RubySeminar16_Analyze
Ad

More from Takuya Mukohira (19)

PDF
Global Game Jam Sapporo 2016 参加記 - Josho.LT
PDF
2015年度苫小牧高専情報工学科 学外実習発表会 発表資料
PDF
向平卓矢について - 2015/12/23 ITエンジニア高専 逆求人
PDF
第2回 Framgia × LOUPE 勉強会 「Chrome Extensionいじってみた話」
PDF
苫小牧高専 ソフトウェアテクノロジー部 Rubyで遊ぼう 1
PDF
苫小牧高専 ソフトウェアテクノロジー部 enchant.jsでゲーム作り 5
PDF
苫小牧高専 ソフトウェアテクノロジー部 enchant.jsでゲーム作り 4
PDF
苫小牧高専 ソフトウェアテクノロジー部 enchant.jsでゲーム作り 3
PDF
Web APIを使って生活を便利にしたい件
PDF
苫小牧高専 ソフトウェアテクノロジー部 enchant.jsでゲーム作り 2
PDF
苫小牧高専 ソフトウェアテクノロジー部 enchant.jsでゲーム作り 1
PDF
開発の道具についてのお話 LOUPE Study #15
PDF
やってみようCHaser - LOUPE Study #7
PDF
Sinatra軽量Web開発 - LOUPE Study #1
PDF
第4回 釧路OSS札幌 勉強会「自己紹介LT」 #946oss札幌
PDF
Git学ぼうぜの会 ハンズオン資料 - LOCAL学生部 GWイベント
PDF
LT Kosenconf946 #2
PDF
学校にギークっぽい集団を作ってみたかった Kosenconf946 #2
PPTX
120811高専カンファin旭川 ふるさと自慢(千歳と恵庭)
Global Game Jam Sapporo 2016 参加記 - Josho.LT
2015年度苫小牧高専情報工学科 学外実習発表会 発表資料
向平卓矢について - 2015/12/23 ITエンジニア高専 逆求人
第2回 Framgia × LOUPE 勉強会 「Chrome Extensionいじってみた話」
苫小牧高専 ソフトウェアテクノロジー部 Rubyで遊ぼう 1
苫小牧高専 ソフトウェアテクノロジー部 enchant.jsでゲーム作り 5
苫小牧高専 ソフトウェアテクノロジー部 enchant.jsでゲーム作り 4
苫小牧高専 ソフトウェアテクノロジー部 enchant.jsでゲーム作り 3
Web APIを使って生活を便利にしたい件
苫小牧高専 ソフトウェアテクノロジー部 enchant.jsでゲーム作り 2
苫小牧高専 ソフトウェアテクノロジー部 enchant.jsでゲーム作り 1
開発の道具についてのお話 LOUPE Study #15
やってみようCHaser - LOUPE Study #7
Sinatra軽量Web開発 - LOUPE Study #1
第4回 釧路OSS札幌 勉強会「自己紹介LT」 #946oss札幌
Git学ぼうぜの会 ハンズオン資料 - LOCAL学生部 GWイベント
LT Kosenconf946 #2
学校にギークっぽい集団を作ってみたかった Kosenconf946 #2
120811高専カンファin旭川 ふるさと自慢(千歳と恵庭)

Nokogiri on Rails