Hadoop Ops & Fabric
- 1. No. Date Hadoop Ops & fabric @shoe116 20150627
- 3. No. Date エンジニア&データサイエンス mapreduceとかHiveQLを書く hadoopのシステム開発(batchとか) dev/ops(リリースとか脆弱性とか) Impalaとかpythonでデータ分析 言語とか python > C++ > php > English > Java お仕事の話
- 4. No. Date - 本質的な複雑さは単純に(1) - 付随的な複雑さは取り除く(1) - Don't repeat yourself (2) お仕事のポリシーとミッション (1)ニール・フォード著 「ソフトウェアアーキテクトが知るべき97のこと」 (2) アンディ・ハント、デイブ・トーマス共著 「達人プログラマー」 ※くわしくはこちらをご参照ください！
- 8. No. Date python製のsshラッパー fabric 複数サーバにssh越しにコマンド実行 構築手順のshellを並列化した 手続きベースでやりたい sed, grep, yum, service… 使い勝手の問題 構成管理よりコマンド打ちたい！ pythonならみんな書ける 構成管理はchef/ansibleのが良さそう Fabricを使ってみよう
- 10. No. Date システム構成 master jenkins jenkins slave stg(hadoop) prd(hadoop) dev Fabric - account - settings
- 12. No. Date 使い方は簡単 $ fab –H host task - hostはhostname（複数可） - taskはpythonで記述する関数
- 13. No. Date run / sudo sshしたhostでコマンド実行 run(“ls /home/*”) sudo(“rm –rf /”) local sshしたhostでコマンド実行 local(“cat ‘hoge world’”) shellをくるめるapi
- 14. No. Date reboot waitしてくれるの最高 cd ディレクトリにcdしてコマンド実行 execute taskを実行して標準出力を取れる 早く帰れるapi def grepMoge(file): run(‘grep Moge ’ + file) print execute(grepMoge(‘./file’)