20090704rubyist九州
Download as ODP, PDF2 likes1,186 views
Rubyist九州7月定例会発表した初心者向けネタのスライドです。
![１．検索→リンク抜き出し→ソート
# fetch_link.rb
require 'rubygems'
require 'mechanize'
url = "http://search.cqpub.co.jp/cgi-bin/searchej.cgi?q=pepper&o="
url2= "http://search.cqpub.co.jp/cgi-bin/searchej.cgi?q=pepper&qxpnd=0&pagenum=2"
Linktext_contains = /Pepper/
Agent = WWW::Mechanize.new
Links = {}
def fetch_link(url) #Mechanizeで検索結果ページを取得
page = Agent.get(url)
page.links_with(:text => Linktext_contains).each do |l| #Pepper関連の<a>タグのみ
Links[l.href] = l.text #URLをキーにリンク文字を格納
end
end
fetch_link(url)
fetch_link(url2)
Links.keys.sort.each do |k| #URL順にソートしてタブ区切りで出力
printf "%st%sn", Links[k], k
end](https://image.slidesharecdn.com/20090704rubyist-090705052352-phpapp01/85/20090704rubyist-11-320.jpg)
![3.記事ページ取得して
サブタイトル抜き出し
#fetch_subtitle.rb
require 'rubygems'
require 'csv'
require 'open-uri'
require 'nokogiri'
file = './url_list.txt' #前工程の出力結果（タブ区切りテキスト（TSV））
CSV.open(file,"r","t") do |row| #TSVの読み込み
title = row[0] #各カラムが自動的に配列に入ってくれる
url = row[1]
page = open(url) #ページを取得
doc = Nokogiri::HTML(page) #HTMLをnokigiriで解析
subtitle = doc.css(".asset-body b")[0] #CSSセレクタでサブタイトル抜き出し
subtitle = subtitle.text if subtitle
printf "%st%st%sn",url, title.sub(/ - .*$/,''), subtitle #サブタイトル付きで出力(TSV）
end](https://image.slidesharecdn.com/20090704rubyist-090705052352-phpapp01/85/20090704rubyist-14-320.jpg)
![5.整形、HTML化
#make_html.rb
require 'rubygems'
require 'csv'
require 'erb'
TEMPLATE =<<TEMPLATE #出力結果のテンプレート
<p>
<a href=<%= url %>><%= title %></a><br />
<span style="font-size:85%"><%= subtitle %></span>
</p>
TEMPLATE
FORMATTER = ERB.new(TEMPLATE)
file = './subtitles.txt' #前工程の出力結果（タブ区切りテキスト
（TSV））
CSV.open(file,"r","t") do |row| #TSV読み込み
url = row[0]
title = row[1]
subtitle = row[2]
puts FORMATTER.result(binding) #erbでフォーマットして出力
end](https://image.slidesharecdn.com/20090704rubyist-090705052352-phpapp01/85/20090704rubyist-17-320.jpg)
20090704rubyist九州
- 1. Rubyを使って まとめサイトをさくっと作ろう （2009年7月Rubyist九州初心者向けコーナー） 橋本 幸樹（koki-h） http://d.hatena.ne.jp/koki-h @20090704 Rubyist九州 定例会
- 2. 今日のお題 ● フィジカルコンピューティングモジュール ”Pepper” のまとめサイトを先日作ったので その作業でいかにRubyを利用して楽をしたか、 についてお話します。 ● 上記の話題を通してRuby初心者の方にRubyの便 利な機能やよく使われるライブラリについて情 報をご提供できたらうれしいです。 ● まあいろいろツッコミどころはあると思いま す。
- 3. ”Pepper”とは ● フィジカルコンピューティングモジュール （Gainer互換） ● パソコンと電子部品の橋渡しをする機器 ● これがあれば以下のようなプログラムを各種の 言語で作成できます。 – たとえばパソコンの画面をクリックしたらLED点灯 （PCからLEDを制御） – たとえば警告通知メール（「サーバが止まっ た！」）が到着したら回転灯点灯（PCから回転灯を 制御） – たとえば大統領スイッチをおしたらWEBサイトで声 明（大統領スイッチからPCを制御）
- 4. 大統領スイッチ カバーを.. カパッとして ぐっと押す！ 「シリコンハウス共立」 のブログより引用 http://blog.siliconhouse.jp/archives/51572333.html
- 5. Pepperのデモ ● 画面をクリックするとLED点灯 ● 今回はProcessingという言語で実装していま す。 ● Rubyを使うことも出来ます。（が、まだ試して いません）
- 6. 私とPepper ● Make: Tokyo Meeting 03 でキットを販売して いたのを購入 ● マニュアルなし（「ネットでわかりますよ」） ● そこで検索 ● 雑誌「エレキジャック」のサイトでの作者の方 が書いた入門記事の連載を発見！ ● ただ、ちょっと読みにくい。。。（記事自体は とても良い記事です）
- 7. エレキジャックの記事の ここが読みにくい ● 前回、次回へのリンクがない ● 連載のインデックスページがない ● なので、第1回を読んだあと、第2回を読みたく ても時間をかけて探さなければならない。 そうだ。自分でまとめサイトを作ろ う！
- 9. サイト内検索は？ ● "Pepper”で検索すると他の記事が上位に来る ● 掲載日順のソートが出来ない 検索結果から必要なリンクを抜き出 し、 並べ替えれば読みやすくなる。 抜き出しや並べ替えは Rubyで自動化できる！（ある程度）
- 10. まとめサイト製作の手順 ※赤文字のところをRubyでやります 1.エレキジャックのサイトを検索し、検索結果か らPepperに関する記事のリンクだけを抜き出 し、URL順（大体日付順になる）にソートする 2.日付順になっていないところをエディタで直す 3.抜き出したURLを使って記事ページ取得し、サ ブタイトルの部分を抜き出す 4.サブタイトルが取得できていないところをエディタで 直す 5.URL、ページタイトル、サブタイトルを整形 し、HTML化する 6.整形したHTMLを適当なWEBページに貼り付ける
- 11. １．検索→リンク抜き出し→ソート # fetch_link.rb require 'rubygems' require 'mechanize' url = "http://search.cqpub.co.jp/cgi-bin/searchej.cgi?q=pepper&o=" url2= "http://search.cqpub.co.jp/cgi-bin/searchej.cgi?q=pepper&qxpnd=0&pagenum=2" Linktext_contains = /Pepper/ Agent = WWW::Mechanize.new Links = {} def fetch_link(url) #Mechanizeで検索結果ページを取得 page = Agent.get(url) page.links_with(:text => Linktext_contains).each do |l| #Pepper関連の<a>タグのみ Links[l.href] = l.text #URLをキーにリンク文字を格納 end end fetch_link(url) fetch_link(url2) Links.keys.sort.each do |k| #URL順にソートしてタブ区切りで出力 printf "%st%sn", Links[k], k end
- 12. １．検索→リンク抜き出し→ソート (解説) ● WWW::Mechanizeというライブラリを使用してい ます。 ● WWW::Mechanizeはブラウザの代わりにスクリプ トでWEBにアクセスするためのライブラリです ● WWW::Mechanizeは 最近のRubyが入っていて、 ネットにつながっている環境ならコマンドライ ンから “gem install mechanize” とやると入ります ※gemコマンドは”RubyGems”というRuby用のライブラリやRubyで書かれたアプリを 管理するソフトウェアです。Ruby1.9系には標準添付ですが、Ruby1.8系だと別途イ ンストールしなければならない場合があります。（1.8系でもパッケージ作者さんが 添付している場合が多いようです。） 前のスライドに戻ってソースを見直してみましょう
- 13. 出力結果（イメージ） 記事タイトルに"Pepper”を含むものだけが抜き出されました Ginger/Pepper/Sugarでフィジカル・コンピューティング(1) - フィジカル・ コンピュー...http://www.eleki-jack.com/FC/2008/11/post.html Ginger/Pepper/Sugarでフィジカル・コンピューティング(2) - フィジカル・ コンピュー...http://www.eleki- jack.com/FC/2008/11/gingerpeppersugar2.html Ginger/Pepper/Sugarでフィジカル・コンピューティング(3) - フィジカル・ コンピュー...http://www.eleki- jack.com/FC/2008/11/gingerpeppersugar3.html Ginger/Pepper/Sugarでフィジカル・コンピューティング(4) - フィジカル・ コンピュー...http://www.eleki- jack.com/FC/2008/11/gingerpeppersugar4.html Ginger/Pepper/Sugarでフィジカル・コンピューティング(５) - フィジカ ル・コンピュー...http://www.eleki- jack.com/FC/2008/11/gingerpeppersugar.html Ginger/Pepper/Sugarでフィジカル・コンピューティング(6) - フィジカル・ コンピュー...http://www.eleki- jack.com/FC/2008/11/gingerpeppersugar6.html ※プログラムの実行結果をエディタで修正したものの一部 Ginger/Pepper/Sugarでフィジカル・コンピューティング(7) - フィジカル・ です。 コンピュー...http://www.eleki-jack.com/FC/2008/11/7.html
- 14. 3.記事ページ取得して サブタイトル抜き出し #fetch_subtitle.rb require 'rubygems' require 'csv' require 'open-uri' require 'nokogiri' file = './url_list.txt' #前工程の出力結果（タブ区切りテキスト（TSV）） CSV.open(file,"r","t") do |row| #TSVの読み込み title = row[0] #各カラムが自動的に配列に入ってくれる url = row[1] page = open(url) #ページを取得 doc = Nokogiri::HTML(page) #HTMLをnokigiriで解析 subtitle = doc.css(".asset-body b")[0] #CSSセレクタでサブタイトル抜き出し subtitle = subtitle.text if subtitle printf "%st%st%sn",url, title.sub(/ - .*$/,''), subtitle #サブタイトル付きで出力(TSV） end
- 15. 3.記事ページ取得して サブタイトル抜き出し（解説） ● タブ区切りテキストの読み込みにCSVライブラ リを使っています。自動で行区切り、列区切り をやってくれるので便利です。 ● ページ取得はここではMechanizeの代わりに open-uriライブラリを使っています。 ● CSVライブラリとopen-uriライブラリはRubyに 標準添付です。 ● HTMLを解析してサブタイトルを抜き出すのには Nokogiri を使っています。”gem install nokogiri”で入ります。CSSセレクタパターン で抜き出せます。
- 16. 出力結果（イメージ） 記事のサブタイトルが追加されました http://www.eleki-jack.com/FC/2008/11/post.html Ginger/Pepper/Sugarでフィジカル・ コンピューティング(1) はじめに http://www.eleki-jack.com/FC/2008/11/gingerpeppersugar2.html Ginger/Pepper/Sugar でフィジカル・コンピューティング(2) 第2回 Pepperを組み立てよう-1 http://www.eleki-jack.com/FC/2008/11/gingerpeppersugar3.html Ginger/Pepper/Sugar でフィジカル・コンピューティング(3) 第2回 Pepperを組み立てよう-2 http://www.eleki-jack.com/FC/2008/11/gingerpeppersugar4.html Ginger/Pepper/Sugar でフィジカル・コンピューティング(4) 第3回 Pepperの動作を確認しよう-1 http://www.eleki-jack.com/FC/2008/11/gingerpeppersugar.html Ginger/Pepper/Sugarで フィジカル・コンピューティング(5) 第3回 Pepperの動作を確認しよう-2 （Processingのインストール編） http://www.eleki-jack.com/FC/2008/11/gingerpeppersugar6.html Ginger/Pepper/Sugar でフィジカル・コンピューティング(6) 第4回 PepperでHello World http://www.eleki-jack.com/FC/2008/11/7.htmlGinger/Pepper/Sugarでフィジカル・コン ピューティング(7) (前回からの続き) ※プログラムの実行結果をエディタで修正したものの一部 です。
- 17. 5.整形、HTML化 #make_html.rb require 'rubygems' require 'csv' require 'erb' TEMPLATE =<<TEMPLATE #出力結果のテンプレート <p> <a href=<%= url %>><%= title %></a><br /> <span style="font-size:85%"><%= subtitle %></span> </p> TEMPLATE FORMATTER = ERB.new(TEMPLATE) file = './subtitles.txt' #前工程の出力結果（タブ区切りテキスト （TSV）） CSV.open(file,"r","t") do |row| #TSV読み込み url = row[0] title = row[1] subtitle = row[2] puts FORMATTER.result(binding) #erbでフォーマットして出力 end
- 18. 5.整形、HTML化（解説） ● TSV読み込みのところは前の工程と一緒です。 ● HTMLに整形する部分はERBを使っています。 ● ERBはRubyに標準添付のテンプレートエンジン です。（Ruby on Railsでも使われていま す。） ● ERBを使うと書式の中にテキストを埋め込むこ とが簡単にできます。
- 19. 出力結果（部分） これを適当なWEBページに貼り付ければ完成です！ <p> <a href=http://www.eleki-jack.com/FC/2008/11/post.html>Ginger/Pepper/Sugarで フィジカル・コンピューティング(1)</a><br /> <span style="font-size:85%">はじめに</span> </p> <p> <a href=http://www.eleki- jack.com/FC/2008/11/gingerpeppersugar2.html>Ginger/Pepper/Sugarでフィジカル・ コンピューティング(2)</a><br /> <span style="font-size:85%">第2回 Pepperを組み立てよう-1</span> </p> <p> <a href=http://www.eleki- jack.com/FC/2008/11/gingerpeppersugar3.html>Ginger/Pepper/Sugarでフィジカル・ コンピューティング(3)</a><br /> <span style="font-size:85%">第2回 Pepperを組み立てよう-2</span> </p>
- 20. まとめ ● WEBから何かを取得して抜き出すときは WWW::Mechanizeが便利 ● 単純なWEBアクセスにはopen-uriが便利 ● CSVの読み込みにはCSVライブラリが便利 ● HTMLを解析して特定の要素を抜き出すには Nokigiriが便利 ● テンプレート出力にはERBが便利 ● 似たような機能を持つライブラリは他にもあり ます。慣れてきたらもっと自分好みのものを探 してみるのもいいかと思います。
- 21. リンク ● WWW::Mechanize – http://d.hatena.ne.jp/kitamomonga/20081209/kai setsu_for_ver_0_9_ruby_www_mechanize ● open-uri – http://www.ruby- lang.org/ja/man/html/open_uri.html ● CSV – http://www.ruby-lang.org/ja/man/html/CSV.html ● Nokogiri – http://mono.kmc.gr.jp/~yhara/rubyscraping/? Nokogiri
- 22. リンク（２） ● ERB – http://www.ruby-lang.org/ja/man/html/erb.html ● RubyGems – http://www.ruby- lang.org/ja/man/html/RubyGems.html ● Pepperまとめサイト – http://pepper.gohannnotomo.org ● 雑誌「エレキジャック」 – http://www.eleki-jack.com/
- 23. 質疑応答
- 24. ご清聴ありがとうございました