SlideShare a Scribd company logo
GUIを使わないテキスト
データ処理のために
GUI = グラフィカルユーザーインターフェース
2017-05-10 下野寿之
- 表題の事を同僚に10分で話すために作った8ページのスライド資料。
- 内容は、AWK, Perl, Ruby の説明になっている。
- Python は説明していない。
この文書に記載しないこと
• コンパイラ言語について(C言語とかFortranとか)
• 大規模開発のこと
• SQL
• Python
目次
• AWK
• Perl
• Ruby
• [補足事項] 環境開発
AWK
• 空白文字で区切られたテキストデータを処理する。
• プログラミング言語としては、とても覚えやすい。
• ただし後述の言語に比べ簡単なことしか出来ない。
• GNU版のGAWKを使うことが望ましい。
• 区切り文字は –F で変更が可能。(コンマやタブに)
• gawk –F ”¥t” ’{print $2,$3,$4*10}’ のように使う。
• 1977年に誕生。簡易性ゆえに長く使われている。
Perl
• 文字列処理が得意。特に正規表現が得意。
• ある程度簡単なことならば、とても器用にプログラ
ミングをしやすい。
• 1行プログラミング(one-liner, ワンライナー)が便利。
• 既によく安定している。Perl5は1994年から。
• プログラム内部からバージョン番号指定が出来る。
• perldocコマンドでマニュアルがすぐ参照できる。
• CPAN により、必要なライブラリをインストール。
Ruby
• 日本人が作者。
• 各コマンドの理解がしやすい。
• 素人でも書きやすい(?)
• ピリオド(.) でどんどん ”メソッド” を繋げていく。
• ネット情報を集めるクローリング使い易いかも。
• 2005年に出現したRuby Railsで使う人が増えた。
プログラムの例 (Ruby と Perl )
• オライリーの本を全部購入したらいくらかかるか
http://qiita.com/zakuroishikuro/items/01391da495c28b9b0dd3
curl -s http://www.oreilly.co.jp/catalog/ | perl -lnE
's/.+"price">([d,]+).+/$1/ && (tr/,//d, $c++, $s+=$_);
END{ say "合計 $c冊 $s円"}'
http://yukidarake.hateblo.jp/entry/2016/05/09/192919
開発環境 (補足)
• UNIX/LINUX 環境は、強く推奨される。
• bash (シェルの一つ)はマスターすることが勧められる。
• ライブラリ(パッケージ、モジュール) の追加について :
• Perl, Ruby, Python いずれも必要となる場合が多い。
• 環境改変を伴うので、はまりやすい。慣れが必要。
• 仮想環境の利用が望ましいが、これも慣れが必要。
• バージョン管理システム
• Git または Mercurial のマスターが望ましい。

More Related Content

PPTX
ページャ lessを使いこなす
PDF
Phpでアプリケーションサーバー
PDF
LL Onsen 2008 OpenPrinting
PDF
Rbpdf gem library
PDF
2014 1-19
PDF
DMLを実行するrubyスクリプトをmigrationファイルのように管理するRailsプラグインを作った
PPTX
20111029 rubyon php
PDF
PHPという概念が存在しない退屈な世界
ページャ lessを使いこなす
Phpでアプリケーションサーバー
LL Onsen 2008 OpenPrinting
Rbpdf gem library
2014 1-19
DMLを実行するrubyスクリプトをmigrationファイルのように管理するRailsプラグインを作った
20111029 rubyon php
PHPという概念が存在しない退屈な世界

What's hot (20)

PDF
Php非同期の技法
PDF
LT#7 Hello coffeeしてきた
PDF
gRPC入門
PDF
Phperがgoをさわってみた
PPTX
PHP7実環境ベンチ2016春
PDF
PHPerのための(不遇に負けない)Selenium入門 @ FuelPHP&CodeIgniter ユーザの集い #9
PDF
プログラマになれないあなたのための言語戦略 (Gunma.web #7 2011/12/17)
PDF
anybuild/Hosting casual #1
PPTX
Re: WebServer BenchMarking
PDF
Clojure で chatbot 作るライブラリ作った
PDF
OSC 2013 .Enterprise
PDF
apachehereというPHPのBuiltin Serverっぽいやつをつくった
PDF
歴史あるWebサービスに携わって2年半の間に起きた事やった事
PDF
10年続いているwebサービスの画像サーバをノーメンテでftpサーバからs3互換のストレージサーバに移行している話
PDF
Couch DB in 15minutes
PDF
Laravelのeloquent だけ入れた話
PDF
第二回 クラウドサーバー管理者若葉の会
PDF
なんとかStormに負けたくないEmacs初級篇
PDF
mrbcもマイコンの上で
PDF
はじめての php
Php非同期の技法
LT#7 Hello coffeeしてきた
gRPC入門
Phperがgoをさわってみた
PHP7実環境ベンチ2016春
PHPerのための(不遇に負けない)Selenium入門 @ FuelPHP&CodeIgniter ユーザの集い #9
プログラマになれないあなたのための言語戦略 (Gunma.web #7 2011/12/17)
anybuild/Hosting casual #1
Re: WebServer BenchMarking
Clojure で chatbot 作るライブラリ作った
OSC 2013 .Enterprise
apachehereというPHPのBuiltin Serverっぽいやつをつくった
歴史あるWebサービスに携わって2年半の間に起きた事やった事
10年続いているwebサービスの画像サーバをノーメンテでftpサーバからs3互換のストレージサーバに移行している話
Couch DB in 15minutes
Laravelのeloquent だけ入れた話
第二回 クラウドサーバー管理者若葉の会
なんとかStormに負けたくないEmacs初級篇
mrbcもマイコンの上で
はじめての php
Ad

Similar to Guiを使わないテキストデータ処理 (12)

PDF
YAPC::Hokkaido 2016 「普段使い言語環境」更新によるスキルリセットサバイバルガイド
PPTX
Devel ptkdb - perlをグラフィカルにデバッグする
PDF
Pythonでラズパイのgpio制御
PDF
2011年10月21日
PDF
構成情報データベースをGitで管理したいネットワーク運用者の憂鬱
PDF
TokyoR LT Rで連続データを離散化
PDF
AppGameKit on raspberry pi概概要
PDF
[REV UP] あなたならどう使う?最新Azureレシピ for LINE Platform
PDF
SPA×Auth0
PPTX
20130316 プログラミング言語Go
PDF
5 年続く 「はてなブックマーク」 アプリを継続開発する技術
PPTX
Fluentd1.2 & Fluent Bit
YAPC::Hokkaido 2016 「普段使い言語環境」更新によるスキルリセットサバイバルガイド
Devel ptkdb - perlをグラフィカルにデバッグする
Pythonでラズパイのgpio制御
2011年10月21日
構成情報データベースをGitで管理したいネットワーク運用者の憂鬱
TokyoR LT Rで連続データを離散化
AppGameKit on raspberry pi概概要
[REV UP] あなたならどう使う?最新Azureレシピ for LINE Platform
SPA×Auth0
20130316 プログラミング言語Go
5 年続く 「はてなブックマーク」 アプリを継続開発する技術
Fluentd1.2 & Fluent Bit
Ad

More from Toshiyuki Shimono (20)

PPTX
インターネット等からデータを自動収集するソフトウェアに必要な補助機能とその実装
PPTX
extracting only a necessary file from a zip file
PPTX
A Hacking Toolset for Big Tabular Files -- JAPAN.PM 2021
PDF
新型コロナの感染者数 全国の状況 2021年2月上旬まで
PDF
Sqlgen190412.pdf
PDF
BigQueryを使ってみた(2018年2月)
PPTX
既存分析ソフトへ
データを投入する前に
簡便な分析するためのソフトの作り方の提案
PPTX
To Make Graphs Such as Scatter Plots Numerically Readable (PacificVis 2018, K...
PPTX
To Make Graphs Such as Scatter Plots Numerically Readable (PacificVis 2018, K...
PDF
Make Accumulated Data in Companies Eloquent by SQL Statement Constructors (PDF)
PPTX
企業等に蓄積されたデータを分析するための処理機能の提案
PPTX
新入社員の頃に教えて欲しかったようなことなど
PPTX
データ全貌把握の方法170324
PPTX
Macで開発環境を整える170420
PPTX
大きなテキストデータを閲覧するには
PPTX
A Hacking Toolset for Big Tabular Files (3)
PPTX
Washingtondc b20161214 (2/3)
PPTX
耐巨大性を備えた表データ分析用コマンド群
PPTX
PPTX
ある最適停止問題の解についての考察
インターネット等からデータを自動収集するソフトウェアに必要な補助機能とその実装
extracting only a necessary file from a zip file
A Hacking Toolset for Big Tabular Files -- JAPAN.PM 2021
新型コロナの感染者数 全国の状況 2021年2月上旬まで
Sqlgen190412.pdf
BigQueryを使ってみた(2018年2月)
既存分析ソフトへ
データを投入する前に
簡便な分析するためのソフトの作り方の提案
To Make Graphs Such as Scatter Plots Numerically Readable (PacificVis 2018, K...
To Make Graphs Such as Scatter Plots Numerically Readable (PacificVis 2018, K...
Make Accumulated Data in Companies Eloquent by SQL Statement Constructors (PDF)
企業等に蓄積されたデータを分析するための処理機能の提案
新入社員の頃に教えて欲しかったようなことなど
データ全貌把握の方法170324
Macで開発環境を整える170420
大きなテキストデータを閲覧するには
A Hacking Toolset for Big Tabular Files (3)
Washingtondc b20161214 (2/3)
耐巨大性を備えた表データ分析用コマンド群
ある最適停止問題の解についての考察

Recently uploaded (8)

PDF
【QYResearch】人形ロボット産業の市場構造と今後の発展方向に関する分析レポート
PDF
【初心者向け】生成AI SimonW/LLMとOllama・llamafile無料APIでコマンドラインをAI革命するセミナー。CPUでもGPUでも。Ne...
PDF
【QYResearch】グローバル農業機械市場の動向分析と成長戦略に関する総合調査報告
PDF
【QYResearch】グローバル磁性材料産業チェーンの構造分析と市場動向の詳細解説
PDF
【QYResearch】グローバルコネクタ市場の動向と将来展望に関する詳細な分析報告
PDF
データモデラー視点で語るデータマネジメント入門~組織のデータ活用を成功に導くために~
PDF
【QYResearch】急拡大する医療機器市場における主要企業の動向と競争環境分析
PDF
XCMSを用いた質量分析データ処理_BioCAsia2021_yamamoto.pdf
【QYResearch】人形ロボット産業の市場構造と今後の発展方向に関する分析レポート
【初心者向け】生成AI SimonW/LLMとOllama・llamafile無料APIでコマンドラインをAI革命するセミナー。CPUでもGPUでも。Ne...
【QYResearch】グローバル農業機械市場の動向分析と成長戦略に関する総合調査報告
【QYResearch】グローバル磁性材料産業チェーンの構造分析と市場動向の詳細解説
【QYResearch】グローバルコネクタ市場の動向と将来展望に関する詳細な分析報告
データモデラー視点で語るデータマネジメント入門~組織のデータ活用を成功に導くために~
【QYResearch】急拡大する医療機器市場における主要企業の動向と競争環境分析
XCMSを用いた質量分析データ処理_BioCAsia2021_yamamoto.pdf

Guiを使わないテキストデータ処理