![使い方
f = File.open("filename")
m = MmapScanner.new(f)
word = m.scan(/[a-z0-9_]+/i)
word # => MmapScanner
word.to_s # => String](https://image.slidesharecdn.com/mmapscanner-110717172725-phpapp01/85/MmapScanner-22-320.jpg)
![CSVパーサー
require 'mmapscanner'
class MmapCSV
include Enumerable
def initialize(filename)
File.open(filename) do |f|
@ms = MmapScanner.new(f)
end
end
def each
rec = []
until @ms.eos?
if @ms.skip(/"((?:""|[^"])*)"(,|rn|n|z)/n)
rec.push @ms.matched_str(1).gsub(/""/,'"')
elsif @ms.skip(/([^,"rn]*)(,|rn|n|z)/n)
rec.push @ms.matched_str(1)
else
raise "invalid format: #{@ms.rest.slice(0,20).to_s}"
end
unless @ms.matched_str(2) == ','
yield rec
rec.clear
end
end
end
end](https://image.slidesharecdn.com/mmapscanner-110717172725-phpapp01/85/MmapScanner-23-320.jpg)
MmapScanner
- 1. MmapScanner とみたまさひろ 2011-07-18
- 2. 自己紹介 id:tmtms @tmtms 日本MySQLユーザ会 長野ソフトウェア技術者グループ (NSEG)
- 3. 重要 「MySQL徹底入門第三版」近日発売 画像は第二版
- 4. Ruby たぶん13年くらい バージョン 1.1 から 「Rubyをイヤイヤ使わされてる人」を 作る仕事 SIerのRubyistの悲しき紋章
- 6. MySQL/Ruby MySQL C library wrapper 割と使われてる オワコン
- 7. Ruby/MySQL pure Ruby あまり使われてない 名前が悪い
- 8. OptConfig OptionParser みたいなもの 設定ファイルから読む 自動補完する/しない --help に出すかどうか 複数指定した時のふるまい 最後を採用/配列で全部/エラー
- 9. LightCsv CSVパーサー 「うわっRubyのCSV遅すぎ」 ついカッとなって作った
- 10. 速度 ken_all.csv(123000行, 12MB)
- 11. 速度 ken_all.csv(123000行, 12MB)
- 12. LightCsv 103行 (コメント/空行除く) CSV のパースをするだけなのに
- 13. CSVパース 物理行単位で処理できない ほげ,"改行をrn含むカラム",ふが 固定サイズで読むと CR と LF がわ かれたり
- 14. 全部読んじゃえ メモリ食う
- 16. read 通常は open して少しずつ read
- 18. mmap 速い メモリを食わない 大きなファイルで有用
- 20. MmapScanner Ruby の拡張ライブラリ StringScanner の mmap 版 mmap 領域を正規表現で走査 取り出したものも MmapScanner
- 22. 使い方 f = File.open("filename") m = MmapScanner.new(f) word = m.scan(/[a-z0-9_]+/i) word # => MmapScanner word.to_s # => String
- 23. CSVパーサー require 'mmapscanner' class MmapCSV include Enumerable def initialize(filename) File.open(filename) do |f| @ms = MmapScanner.new(f) end end def each rec = [] until @ms.eos? if @ms.skip(/"((?:""|[^"])*)"(,|rn|n|z)/n) rec.push @ms.matched_str(1).gsub(/""/,'"') elsif @ms.skip(/([^,"rn]*)(,|rn|n|z)/n) rec.push @ms.matched_str(1) else raise "invalid format: #{@ms.rest.slice(0,20).to_s}" end unless @ms.matched_str(2) == ',' yield rec rec.clear end end end end
- 24. 速度 ken_all.csv(123000行, 12MB)
- 25. 課題 1.9 only ASCII-8BIT only 明に munmap できない
- 28. 以上