Googleのインフラ技術に見る基盤標準化とDevOpsの真実
30 likes9,444 views
ver1.0 Gartner ITインフラストラクチャ & データセンター サミット 2017 にて発表 ver1.2 OpenStack Days Tokyo 2017 にて発表
Googleのインフラ技術に見る基盤標準化とDevOpsの真実
- 1. Google confidential | Do not distribute Google のインフラに見る基盤標準化と DevOps の真実 Etsuji Nakai Cloud Solutions Architect at Google 2017/04/18 ver1.2
- 2. $ who am i ▪Etsuji Nakai Cloud Solutions Architect at Google Twitter @enakai00 https://www.dlmarket.jp/products/detail/501016 （同人誌）
- 5. ユーザー企業における IT の変遷 1990 2000 2010 マルチベンダー環境の インテグレーション （ SI によるワンストップ サービス） 標準技術の採用で ベンダーロックインを排除 シングルベンダーによる ワンストップサービス メインフレーム Unix 分散システム Linux/OSS オープンイノベーション ユーザー企業が必要な技術を 自分で作り出す世界 コモディティ技術を ベースとした技術革新 「専門家」に最適な技術を 提供してもらう世界
- 7. Google の技術が基礎となったオープンソースの例 ● Hadoop （ MapReduce を用いた分散データ処理基盤） ● 2004 年に Google が公開した MapReduce の論文を元に、外部のエンジニアが独自にオープンソー スとして再実装 ● HBase （分散 Key-Value ストア） ● 2006 年に Google が公開した Bigtable に関する論文を元に、外部のエンジニアが独自にオープン ソースとして再実装 ● Apache Beam （ストリーミング型分散データ処理ライブラリ） ● Google が社内で独自開発していた MillWheel, FlumeJava の知見を元に、 Google のエンジニアが オープンソースとして新規実装。 Cloud Dataflow の処理基盤上で利用可能。 ● Kubernetes （コンテナオーケストレーション・システム） ● Google が社内で独自開発していた Borg, Omega の知見を元に、 Google のエンジニアがオープンソ ースとして新規実装。 ● TensorFlow （機械学習のソフトウェアライブラリ）
- 10. そもそも DevOps って何でしたっけ？ ▪ 開発チームと運用チームが一緒に会議すること？ ▪ 開発チームが運用までやっちゃうこと？ ▪ 運用チームがコードを書いて開発すること？ https://ja.wikipedia.org/wiki/DevOps http://itpro.nikkeibp.co.jp/article/COLUMN/20131113/517746/ http://www.atmarkit.co.jp/ait/articles/1307/02/news002.html
- 11. Site Reliability Engineer ▪ Google の運用チームの名称 ● 開発者と同じスキルセット＋インフラの知識 ● 運用作業 ＋ 運用効率を改善するためのコード開発 ● 運用作業は、業務時間の 50% 以下に制限
- 12. 理想の DevOps を実現するための隠された視点 ▪ レイヤーごとの責任分界点を明確にすることで、「本質的でない依存関係」をな くして、全体最適化を実現 ● 無駄な依存関係がないからこそ、インフラ・開発・運用の 3 チームが健全な協力関係を 確立可能に ▪ その上で「真に重要な依存関係」に叡智を結集 ● スケーラブルで運用効率性の高いアプリケーションに 必要なインフラ技術の提供 ● 運用段階での効率性や安定性、スケーラビリティの確 保を前提としたインフラ／アプリケーションの設計 基盤開発 アプリケーション開発 運用 アプリケーション開発に真に必要な コンポーネントを厳選して開発・提供
- 13. Google が開発した分散ソフトウェア技術の例 ▪ 全世界のデータセンターで共通化されたインフラの提供 ▪ スケーラブルで運用効率性の高いアプリケーションを実現する機能を提供 ▪ インフラを隠蔽して、アプリケーションレベルでの開発／管理に集中
- 14. Google のインフラを一般開放した Google Cloud Platform VIRTUAL NETWORK LOAD BALANCING CDN DNS INTERCONNECT Management Compute Storage Networking Data Machine Learning STACKDRIVER IDENTITY AND ACCESS MANAGEMENT CLOUD ML SPEECH API VISION API TRANSLATE API NATURAL LANGUAGE API
- 15. 技術者に向けたメッセージ ▪ インフラを構成するソフトウェアの特性を深く理解して、最適なアプリケーシ ョン・アーキテクチャーを見極めることが重要 ▪ それぞれの技術要素を根本から理解して、システム全体のアーキテクチャーを 俯瞰できる能力が必要 https://github.com/GoogleCloudPlatform/gke-gobang-app-example http://www.slideshare.net/strsk/google-container-engine-kubernetes ● 重要なのは、役割ではなく、知識範囲 としてのフルスタック
- 17. まとめ
- 18. 理想の DevOps を実現するための隠された視点 ▪ レイヤーごとの責任分界点を明確にすることで、「本質的でない依存関係」をな くして、全体最適化を実現 ● 無駄な依存関係がないからこそ、インフラ・開発・運用の 3 チームが健全な協力関係を 確立可能に ▪ その上で「真に重要な依存関係」に叡智を結集 ● スケーラブルで運用効率性の高いアプリケーションに 必要なインフラ技術の提供 ● 運用段階での効率性や安定性、スケーラビリティの確 保を前提としたインフラ／アプリケーションの設計 基盤開発 アプリケーション開発 運用 SRE基盤開発チーム 決して「謎技術」ではありません！
- 19. Google のインフラを一般開放した Google Cloud Platform VIRTUAL NETWORK LOAD BALANCING CDN DNS INTERCONNECT Management Compute Storage Networking Data Machine Learning STACKDRIVER IDENTITY AND ACCESS MANAGEMENT CLOUD ML SPEECH API VISION API TRANSLATE API NATURAL LANGUAGE API
- 20. Google Cloud Platform ユーザー事例（一部） ▪ 株式会社テレビ朝日の導入事例 : ニュースポータル「 favclip 」の先進的な開発環境を Google App Engine が支える ● https://cloudplatform-jp.googleblog.com/2017/01/tv-asahi-favclip-google-app-engine.html ▪ AbemaTV での GKE 運用事例のご紹介 ● http://ameblo.jp/principia-ca/entry-12164657818.html ▪ 株式会社ディー・エヌ・エーの導入事例：エンジニアを開発に集中させるために Google App Engine を起用！ ● https://cloudplatform-jp.googleblog.com/2016/12/google-app-engine.html ▪ 株式会社メルカリの導入事例 : 先端技術を手軽に活用できる Google Cloud Platform はベストな選択肢 ● https://cloudplatform-jp.googleblog.com/2016/10/google-cloud-platform_28.html ▪ 株式会社 gloops の導入事例： ログ解析を Google BigQuery に移行してコストを 1/100 に。 ● https://cloudplatform-jp.googleblog.com/2016/08/gloops-google-bigquery-1100.html
- 21. Thank you!