Oss LT会_20210203
0 likes1,497 views
2021年2月3日に開催された「OSS LT会 -集まれコミッター・コントリビューター」で発表した内容です。
Oss LT会_20210203
- 2. ©2017 BrainPad Inc. 2 ● 自己紹介 ● ETL(ELT)処理とは ● ETL(ELT)処理をどうやって作ってますか？ ● cliboa(クリボア)とは ○ 概要 ○ 特徴 ● cliboaクイックスタート ○ インストール ○ 作業ディレクトリ・プロジェクト作成 ○ scenairo.yml作成・実行 ● 最後に ● Q&A 目次
- 3. ©2017 BrainPad Inc. 3 ● 名前: 前田友樹 ● 所属: 株式会社ブレインパッド (https://www.brainpad.co.jp) ● ロール: SWD, PjM ● GitHub: https://github.com/cocoa-maemae ● Twitter: https://twitter.com/cocoa_maemae 自己紹介
- 4. ©2017 BrainPad Inc. 4 ● Extract, Transform, Loadを略してETL ○ Extractは何らかのシステムからデータを抽出すること ○ Transformは抽出したデータを加工すること ○ Loadはデータを目的地に対してアップロード、保存すること ETL(ELT)処理とは ● ELT処理はETL処理と処理の順番が異なる extract transform load extract transform load
- 5. ©2017 BrainPad Inc. 5 ETL(ELT)処理をどうやって作ってますか？ 零 Ichi ● 実装工数大 ● スパゲッティコード量産 ● 学習コスト中〜大 ● 実装工数中 ● 学習コスト小 ● 実装工数小
- 6. ©2017 BrainPad Inc. 6 ● ETL(ELT)処理用アプリケーションフレームワーク ● GitHub: https://github.com/BrainPad/cliboa ● PyPI: https://pypi.org/project/cliboa/ cliboa(クリボア)とは ~概要~
- 7. ©2017 BrainPad Inc. 7 YamlファイルでETL(ELT)処理を 定義・動作させることが可能 cliboaとは ~特徴~ 全てPythonで実装 PythonでETL処理を 拡張実装することが可能
- 8. ©2017 BrainPad Inc. 8 クイックスタート ~インストール~ https://github.com/BrainPad/cliboa#quick-start
- 9. ©2017 BrainPad Inc. 9 クイックスタート 作業ディレクトリ・プロジェクト作成 https://github.com/BrainPad/cliboa#quick-start
- 10. ©2017 BrainPad Inc. 10 クイックスタート ~scenario.yml作成、実行~ https://github.com/BrainPad/cliboa#quick-start scenario.ymlの例 実行
- 11. ©2017 BrainPad Inc. 11 関連ドキュメント ● マニュアルはGitHubのREADMEのみ https://github.com/BrainPad/cliboa/blob/master/README.md ● 標準で利用可能なETLモジュール https://github.com/BrainPad/cliboa/blob/master/docs/default_etl_modules.md ● Qiita記事 ○ https://qiita.com/cocoa-maemae/items/503fd107191647a616f7 ○ https://qiita.com/cocoa-maemae/items/46cf73ae2cd3cccde474
- 12. ©2017 BrainPad Inc. 12 ● ブレインパッドではエンジニア、データサイエンティストを 積極採用中です ○ 自社プロダクト開発エンジニア ○ システムエンジニア ○ 機械学習エンジニア ○ データサイエンティスト ● ご応募お待ちしています！ ○ https://www.brainpad.co.jp/recruit/ 最後に