[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイバーエージェント 成尾 文秀
4 likes5,092 views
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイバーエージェント 成尾 文秀
- 1. サイバーエージェント アドテクスタジオの 次世代データ分析基盤紹介 ＠db tech showcase Tokyo 2016 2016 July 13th CyberAgent, Inc. All Rights Reserved
- 9. サイバージェントのアドテク事業 日本一やさしいアドテク教室 (https://www.cyberagent.co.jp/ir/personal/adtech/）より抜粋
- 10. アドテクスタジオのインフラ環境 弊社がデータセンターにて管理している オンプレミス環境・プライベートクラウド環境 ※プライベートクラウドにはOpenStackを採用 Amazon Web Services環境 ※DirectConnectでデータセンターと接続 Google Cloud Platform環境 ※VPNでデータセンターと接続 ※Interconnectでの接続を予定
- 11. 共通基盤構想前の環境
- 13. Hadoop環境① 仕様を検討した結果HBaseが必要ということがわかり 急遽HBaseCon2015に参加したり 複数のディストリビューションを比較した結果 MapR Technologies社のMapR M7の導入を決めました。 以下はプレスリリースにも出していますが採用のポイントです。 各々を別システムとして持つ必要が無いため、データの移動も不要で運用性が高い。 業界スタンダードのNFSインターフェース やHBaseアプリケーション・インターフェースを備えるため、使 い易く、かつベンダーロックインされない。 NFSインターフェースを持ち、ランダムリード・ライト可能なMapRファイルシステムにより、データの出し 入れが容易となりNASとしても活用可能 。 MapRファイルシステムの優れたパフォーマンスによりハードウェアリソースが最小限で済み、コスト効 果が高い。
- 14. Hadoop環境② MapR環境のハードウェア H/W：HP社 SL4540 Gen8 HDD：6TB x 60Disks(Data領域) １Serverあたり0.36PBのデータをストア可能
- 18. Matrix環境のハードウェア H/W：Huawei社 FusionServer RH2288H V3 CPU：Xeon E5-2667 v3 x 2 SSD：1.6TB x 24Disks Memory：16GB x 24(pcs)＝384GB Matrix環境
- 19. 各プロダクトで必要に応じて環境を構築して分析 ・プログラムによる分析 ・Hadoopを利用したMapReduce処理やSpark処理による分析 ・Amazon Redshiftを利用した分析 ・BigQueryを利用した分析 ＋MapR（MapRFS, MapRDB etc)という選択肢が増えた 振り返ってみると・・・ ＋Matrixという選択肢が増えた
- 21. 共通基盤構想 Hadoop編
- 23. 共通Hadoop環境構想 ＋
- 24. OpenStack sahara ・Openstack上でEMRのような データ処理サービスを実現できるコンポーネント ・Dashboard も提供されており Hadoop 環境を容易に構築することができる ・各種ベンダーの Hadoop 環境が plugin で提供されている CDH / MapR / Ambari / etc … ・共通 Hadoop 環境では最新の OpenStack Mitaka を採用
- 25. OpenStack sahara ただし・・・・苦労する点も多い ・そもそも日本での事例がほぼ無いので情報が少ない ・各種ベンダーの plugin は最新の version に対応していない ・そもそも各種ベンダーのサポート対象外のものも・・・ ・基本的な設定しかサポートされていない 例えば MapR のセキュアクラスタや CDH の Kerberos 対応とか不可能
- 26. OpenStack sahara このままだと sahara は使えない・・・・・ので 共通 Hadoop 環境で使えるようにするために、各種 plugin を独自にカスタマイズ しています。 ・MapR の Secure Cluster に対応 ・CDH の最新 version に対応 (5.7.1) ※plugin は 5.5.0 までしかない ・CDH の Kerberos 対応などなど
- 30. Spark実行環境用OpenStackスペック H/W: Huawei X6800 (4U Chassis) x 12 Huawei XH620 x 96 CPU Xeon E5-2680 v3 12(Core) x 2(HT) x 2(CPU) x96(Node)=Total 4608Core MEM DDR4 RDIMM 16G x 16(pcs) x 96(Node) = Total Memory 24.5TB LOCAL DISK SSD NETWORK 10G Network, Aggregation 40G Switch
- 31. Spark実行環境用OpenStack Flavor インスタンスタイプ 6Core (MEM 28.8GB SSD 50GB) 12Core (MEM 57.6GB SSD 100GB) 24Core (MEM 115.2GB SSD 200GB)
- 32. Command Line Tool 実際に利用する事を考えると手動でClusterの起動・停止や 都度Jarファイルを新しいClusterにもってきてspark-submit なんて事はしたくないですよね？ Jarファイル等を置くClient用のサーバーはSaharaではなく 通常のOpenstackインスタンスとして構築（Dockerを利用） Clusterの起動・停止については、python-saharaclientをラップし hadoopまわりの設定を書き換える機能を追加した 独自のコマンドをgolangで作成しています。 例） fennec list Cluster一覧表示 fennec create -i CLUSTER_NAME Cluster構築＆Hadoop接続設定 fennec reconfigure -i CLUSTER_NAME Cluster情報をもとにHadoop接続再設定 fennec delete -i CLUSTER_NAME Clusterの削除
- 34. 共通基盤構想 Log編
- 36. Log Streaming基盤構想 各システム ログをkafkaに投げてもらい、データストア用の HDFS Clusterに格納する
- 37. 将来の展望
- 39. Project Ganesha 今後の提供予定 サービス監視 個々の監視＋サービスとしての監視 DataFlow データ並列処理モデル MetaStore データの対応情報を管理 Schema Registry スキーマ管理 Docker環境
- 40. サイバーエージェント アドテクスタジオ Tech Blog 始めました！ https://adtech.cyberagent.io/techblog/ 一緒にアドテクスタジオを盛り上げてくれる方 絶賛募集中です https://www.cyberagent.co.jp/recruit/