Glueの開発環境（zeppelin)をrancherで作ってみる
- 2. 自己紹介 • 名前：河村 敏貴 • 所属：クラウドパック インフラチーム • 普段の仕事：AWSインフラの構築&開発 • バックグラウンド：元業務系開発エンジニア • Rancher歴：2週間 • 趣味：ショアジギング
- 7. ETL • 外部の情報源からデータを抽出し、抽出したデータを変換・加工を行い、 データをロードすること • EXTRACT –データソースからデータを抽出 • TRANSFORM – データを要件に応じて変換・加工 • LOAD – データマートに変換・加工済みのデータをロード
- 9. ETLジョブの開発環境
- 10. 今回やってみたこと
- 12. ・AWSコンソールからポチポチ or CloudFormation or AWS CLIで作成 開発エンドポイント作成 ・Rancher起動（インストール済みAMIから） ・スタックからdocker-compose.ymlをセットしてコンテナ起動 Apache Zeppelinの構築 ・コンテナの起動ホストへssh接続 ・ホストから開発エンドポイントへポートフォワード 開発エンドポイントへ接続 開発環境の構築手順
- 13. 開発エンドポイント作成 aws glue create-dev-endpoint --endpoint-name TestDevEndpoint --role-arn arn:aws:iam::12341234124:role/AWSGlueServiceRoleDefaultCM --security-group-ids sg-123cdeff --subnet-id subnet-e81e1234 --public-key “ssh-rsa ・・・" --number-of-nodes 2
- 14. Apache Zeppelinの構築 version: '2’ services: zeppelin: image: apache/zeppelin:0.7.3 ports: - "18080:8080" Docker-compose.ymlをRancherに読み込ませる
- 15. 開発エンドポイントへ接続 Zeppelinから接続する先をローカルホストではなくホストのローカルIPを設定 コンテナから接続できるようにgオプションを付加する ssh –g -i <private-key.pem> -NTL 9007:169.254.76.1:9007 glue@xxx.xxx.xxx.xxx
- 19. まとめ • とりあえず使えるが、実用に耐えうるかどうかはもうすこし検証が必要 • データを永続化するなどの対応は必要 • Rancherを使ってみて • システムコンテナをどこまで気にしておく必要があるのかよくわからなかった • 複数環境を管理するのはすごく便利（だと思う） • LTを利用して使ったことのないプロダクトを無理やり使う状況にするのはよかった