20160416 Azure Data Lakeのはまりどころ
1 like4,134 views
Global Azure Boot Camp 2016 in JapanでのLT資料です
20160416 Azure Data Lakeのはまりどころ
- 1. Azure Data Lakeの はまりどころ 2016/04/16 Global Azure Boot Camp 大田 一希
- 2. 自己紹介 • 名前：大田 一希（かずき） • Twitter：@okazuki • 犬派猫派：犬派 • 肩書？： Microsoft MVP for Windows Development • Blog：かずきのBlog＠hatena http://blog.okazuki.jp • OSS：ReactiveProperty https://github.com/runceel/ReactiveProperty
- 4. Data Lake Store • Azureのなんでも入るデータストア • エクスプローラライクな構造でデータ を持てる • 画像もテキストもバイナリもなんでも 入る • 素敵！魔法の入れ物！
- 5. Data Lake Analytics • Data Lake Storeに対してU-SQLとい うSQLとC#が混ざったような言語で 分析ができる • 大量ファイルを一括で処理できる • ビックデータ分析に向いてそう • 素敵！こんなの待ってた！
- 6. じゃぁ使ってみようか
- 9. case1 • ヘッダー付きCSVはU-SQLで読み込めない… • 最近Stream AnalyticsからData Lake Storeへ出力可能になった がヘッダーつきCSVを出力してくれるという…
- 14. case2 ('ω'；)＜…
- 15. case3 • 列の数だけEXTRACT句で列挙しないといけない…（300列ある とそれだけで300行） • @src = EXTRACT column1 string, column2 string, … column299 string, column300 string FROM “hoge/fuga/piyo.csv” USING Extractors.Csv();
- 16. つらい
- 20. まとめ