SlideShare a Scribd company logo
Scaling? Cybozu Labs, Inc. Kazuho Oku
What is Scaling? 「スケール」とはどういうことなのか 自分の過去を振り返った値をピックアップ details may vary 2009 年 9 月 25 日 Scaling?
演算速度 ムーアの法則 18 ヶ月〜 24 ヶ月でトランジスタの集積度は 2 倍になる Gordon E. Moore, Founder of Intel Corporation 1989 年 : 80286 @ 12MHz / 1MB 2 MIPS? 2009 年 : Core 2 Quad @ 3GHz / 4GB 60,000 MIPS? 2009 年 9 月 25 日 Scaling?
2010 年には 20GHz? http://pc.watch.impress.co.jp/docs/2003/1105/intel.htm 2009 年 9 月 25 日 Scaling?
フラッシュメモリ ファンの法則 フラッシュメモリの容量は 12 ヶ月で 2 倍 黄昌圭  Samsung Electronics  社長 1998 年 : 4-8MB (MemoryStick 発売時 ) 2009 年 : 1-32GB (SD カード ) 2009 年 9 月 25 日 Scaling?
HDD 1989 年 : 40MB 2009 年 : 500GB 2009 年 9 月 25 日 Scaling?
インターネット回線 1999 年 : 56Kbps-128Kbps (ADSL 直前 ) 2009 年 : 1.5Mbps-100Mbps 2009 年 9 月 25 日 Scaling?
スケールしないものもある HDD のレイテンシ ≒ 回転数 20 年で約 ½ インターネットのレイテンシ 東京〜サンフランシスコは約 8,300km 光の速度で  55msec (RTT) 2009 年 9 月 25 日 Scaling?
4Gbps  って速いの ? 2009 年 9 月 25 日 Scaling?
¥ 4,350- のハブでも 12Gbps 「スイッチング・ファブリック  12Gbps 」 4Gbps  なら¥ 1,450- 2009 年 9 月 25 日 Scaling?
Perl  で書いた  HTTP  サーバで  10Gbps Plack::Impl::Standalone::Prefork HTTP  パーサ部分は  C ベンチマーク条件 linux 2.8.27 (x86_64; Core 2 Quad @ 3GHz) 約  2MB  の画像を  HTTP GET 2009 年 9 月 25 日 Scaling?
HDD からランダムリードなら ... HDD から平均 1KB のデータをランダムリードしているなら 0.5Gbytes/sec ÷ 1024bytes ÷ 240io-ops./sec   = 約 2,000 台 2009 年 9 月 25 日 Scaling?
遅いのは HDD? HDD  にアクセスするソフトウェア RDBMS ファイルストレージ SSD  は部分的解決策 問題点は価格 他に  CPU intensive  な処理もある 例 : XML  のパース 2009 年 9 月 25 日 Scaling?
なぜ「スケールアウト」が流行るのか スケールアウトは 2000 年代のトレンド ソフトウェア製品からソフトウェアサービスへ マスメディアからコミュニケーションツールへ 例 : Yahoo! vs. Mixi 多人数間の、疎なソーシャルグラフ ユーザーが 1,000 万人いても、友達は 100 人とか 規模は増大したが、グラフは疎になった ↓ ( 従来よりも ) スケールアウトが容易な課題 2009 年 9 月 25 日 Scaling?
代表的な「スケールアウト」技術 RDB Sharding MapReduce / Hadoop もしくは Web クローラ等 KVS memcached, Flare, kumofs, ... Message Queue ActiveMQ, AMQP, Q4M, ... 2009 年 9 月 25 日 Scaling?
3 層構成 HTTP  サーバ 静的コンテンツのハンドリング アプリケーションサーバへの中継 アプリケーションサーバ プログラマの作業をここに集中 生産性の高さが重要 ストレージ RDBMS, memcached, MQ, ... 2009 年 9 月 25 日 Scaling?
「スケールアップ」の逆襲 規模の拡大  vs.  ムーアの法則 2009 年 9 月 25 日 Scaling?

More Related Content

PDF
Fluentdでログを集めてGlusterFSに保存してMapReduceで集計
PDF
GlusterFS Updates (and more) in 第六回クラウドストレージ研究会
PDF
GlusterFS Masakari Talks
PDF
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション④
PDF
InfiniBandをPCIパススルーで用いるHPC仮想化クラスタの性能評価
PDF
Sheepdogを使ってみて分かったこと(第六回ストレージ研究会発表資料)
PDF
Cloudian update at cloudian seminar 2014
PPTX
20190319 xtech recochoku_15m_pub
Fluentdでログを集めてGlusterFSに保存してMapReduceで集計
GlusterFS Updates (and more) in 第六回クラウドストレージ研究会
GlusterFS Masakari Talks
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション④
InfiniBandをPCIパススルーで用いるHPC仮想化クラスタの性能評価
Sheepdogを使ってみて分かったこと(第六回ストレージ研究会発表資料)
Cloudian update at cloudian seminar 2014
20190319 xtech recochoku_15m_pub

What's hot (20)

PDF
OSC 2011 Tokyo/Fall 自宅SAN友の会 (Infinibandお試し編)
PPT
osoljp201105_ZFSjiman_nslope
PPTX
Next-L Enju ワークショップ #86
PPTX
Chainer と Microsoft Azure 広がる応用 (Chainer Meetup #5)
PDF
Rubyによるお手軽分散処理
PDF
Monitoring Intelligence
PPTX
CfnClusterを使って10分強でHPC環境を構築する
PPTX
Net opscoding#4発表資料
PDF
NVIDIA 更新情報: Tesla P100 PCIe/cuDNN 5.1
PPTX
Cloud Foundry varz
PDF
「Windows Azureで HPC 」 for JAZUG 2013年9月
PDF
AWS re:Invent2017で見た AWSの強さとは
PPTX
OSSで実現するハイブリッドクラウド4ノードクラスタ ~Pacemakerのチケット機能で災害対策~
PDF
CephとGluster次期バージョンでの新機能
PDF
Juju/MAASで作る Kubernetes + GPU
PPTX
請求書からみるAwsとgcpの比較
PDF
NVIDIA GPU 技術最新情報
PDF
NVIDIA ディープラーニング最新情報
PPTX
EC2に対するcloudwatchのアクション設定がポリシーで使えないときの代替策
PDF
機械学習とこれを支える並列計算: ディープラーニング・スーパーコンピューターの応用について
OSC 2011 Tokyo/Fall 自宅SAN友の会 (Infinibandお試し編)
osoljp201105_ZFSjiman_nslope
Next-L Enju ワークショップ #86
Chainer と Microsoft Azure 広がる応用 (Chainer Meetup #5)
Rubyによるお手軽分散処理
Monitoring Intelligence
CfnClusterを使って10分強でHPC環境を構築する
Net opscoding#4発表資料
NVIDIA 更新情報: Tesla P100 PCIe/cuDNN 5.1
Cloud Foundry varz
「Windows Azureで HPC 」 for JAZUG 2013年9月
AWS re:Invent2017で見た AWSの強さとは
OSSで実現するハイブリッドクラウド4ノードクラスタ ~Pacemakerのチケット機能で災害対策~
CephとGluster次期バージョンでの新機能
Juju/MAASで作る Kubernetes + GPU
請求書からみるAwsとgcpの比較
NVIDIA GPU 技術最新情報
NVIDIA ディープラーニング最新情報
EC2に対するcloudwatchのアクション設定がポリシーで使えないときの代替策
機械学習とこれを支える並列計算: ディープラーニング・スーパーコンピューターの応用について
Ad

Similar to Scaling (20)

PDF
Osc2011 Do
PDF
Reflex works20120818 1
PPTX
20120609 cod ws2012概要
PPTX
Moot2013 moca ver0.3
PDF
Azure 高速サイトソリューション
PDF
Heroshima "Cloud & Security Day" and Night
PDF
20121019 engineer startup_meeting
PDF
Windows Server 2012 のストレージ強化とエンタープライズへの活用
PDF
OSC 2011 Hokkaido 自宅SAN友の会(後半)
PDF
Windows Azure Community Open Day 2012
PDF
CommunityOpenDay2012名古屋セッション資料
PPT
081108huge_data.ppt
PDF
We Should Know About in this SocialNetwork Era 2011_1112
PDF
Lxc で始めるケチケチ仮想化生活?!
PDF
ITpro EXPO版「データセンター視点で比較したクラウドの内側」
PDF
エンターテイメント業界におけるAWS活用事例
PDF
高速ネットワーク技術と周辺動向(特別講義)
PDF
Lars George HBase Seminar with O'REILLY Oct.12 2012
PPT
Performance and Scalability of Web Service
PDF
東北クラウド実践カンファレンス2011
Osc2011 Do
Reflex works20120818 1
20120609 cod ws2012概要
Moot2013 moca ver0.3
Azure 高速サイトソリューション
Heroshima "Cloud & Security Day" and Night
20121019 engineer startup_meeting
Windows Server 2012 のストレージ強化とエンタープライズへの活用
OSC 2011 Hokkaido 自宅SAN友の会(後半)
Windows Azure Community Open Day 2012
CommunityOpenDay2012名古屋セッション資料
081108huge_data.ppt
We Should Know About in this SocialNetwork Era 2011_1112
Lxc で始めるケチケチ仮想化生活?!
ITpro EXPO版「データセンター視点で比較したクラウドの内側」
エンターテイメント業界におけるAWS活用事例
高速ネットワーク技術と周辺動向(特別講義)
Lars George HBase Seminar with O'REILLY Oct.12 2012
Performance and Scalability of Web Service
東北クラウド実践カンファレンス2011
Ad

More from Kazuho Oku (20)

PDF
HTTP/2で 速くなるとき ならないとき
PDF
QUIC標準化動向 〜2017/7
PDF
HTTP/2の課題と将来
PDF
TLS 1.3 と 0-RTT のこわ〜い話
PDF
Reorganizing Website Architecture for HTTP/2 and Beyond
PPTX
Recent Advances in HTTP, controlling them using ruby
PPTX
Programming TCP for responsiveness
PDF
Programming TCP for responsiveness
PDF
Developing the fastest HTTP/2 server
PPTX
TLS & LURK @ IETF 95
PPTX
HTTPとサーバ技術の最新動向
PPTX
ウェブを速くするためにDeNAがやっていること - HTTP/2と、さらにその先
PPTX
Cache aware-server-push in H2O version 1.5
PDF
HTTP/2時代のウェブサイト設計
PDF
H2O - making the Web faster
PDF
H2O - making HTTP better
PDF
H2O - the optimized HTTP server
PPTX
JSON SQL Injection and the Lessons Learned
PPTX
JSX 速さの秘密 - 高速なJavaScriptを書く方法
PPTX
JSX の現在と未来 - Oct 26 2013
HTTP/2で 速くなるとき ならないとき
QUIC標準化動向 〜2017/7
HTTP/2の課題と将来
TLS 1.3 と 0-RTT のこわ〜い話
Reorganizing Website Architecture for HTTP/2 and Beyond
Recent Advances in HTTP, controlling them using ruby
Programming TCP for responsiveness
Programming TCP for responsiveness
Developing the fastest HTTP/2 server
TLS & LURK @ IETF 95
HTTPとサーバ技術の最新動向
ウェブを速くするためにDeNAがやっていること - HTTP/2と、さらにその先
Cache aware-server-push in H2O version 1.5
HTTP/2時代のウェブサイト設計
H2O - making the Web faster
H2O - making HTTP better
H2O - the optimized HTTP server
JSON SQL Injection and the Lessons Learned
JSX 速さの秘密 - 高速なJavaScriptを書く方法
JSX の現在と未来 - Oct 26 2013

Scaling

  • 1. Scaling? Cybozu Labs, Inc. Kazuho Oku
  • 2. What is Scaling? 「スケール」とはどういうことなのか 自分の過去を振り返った値をピックアップ details may vary 2009 年 9 月 25 日 Scaling?
  • 3. 演算速度 ムーアの法則 18 ヶ月〜 24 ヶ月でトランジスタの集積度は 2 倍になる Gordon E. Moore, Founder of Intel Corporation 1989 年 : 80286 @ 12MHz / 1MB 2 MIPS? 2009 年 : Core 2 Quad @ 3GHz / 4GB 60,000 MIPS? 2009 年 9 月 25 日 Scaling?
  • 4. 2010 年には 20GHz? http://pc.watch.impress.co.jp/docs/2003/1105/intel.htm 2009 年 9 月 25 日 Scaling?
  • 5. フラッシュメモリ ファンの法則 フラッシュメモリの容量は 12 ヶ月で 2 倍 黄昌圭 Samsung Electronics 社長 1998 年 : 4-8MB (MemoryStick 発売時 ) 2009 年 : 1-32GB (SD カード ) 2009 年 9 月 25 日 Scaling?
  • 6. HDD 1989 年 : 40MB 2009 年 : 500GB 2009 年 9 月 25 日 Scaling?
  • 7. インターネット回線 1999 年 : 56Kbps-128Kbps (ADSL 直前 ) 2009 年 : 1.5Mbps-100Mbps 2009 年 9 月 25 日 Scaling?
  • 8. スケールしないものもある HDD のレイテンシ ≒ 回転数 20 年で約 ½ インターネットのレイテンシ 東京〜サンフランシスコは約 8,300km 光の速度で 55msec (RTT) 2009 年 9 月 25 日 Scaling?
  • 9. 4Gbps って速いの ? 2009 年 9 月 25 日 Scaling?
  • 10. ¥ 4,350- のハブでも 12Gbps 「スイッチング・ファブリック 12Gbps 」 4Gbps なら¥ 1,450- 2009 年 9 月 25 日 Scaling?
  • 11. Perl で書いた HTTP サーバで 10Gbps Plack::Impl::Standalone::Prefork HTTP パーサ部分は C ベンチマーク条件 linux 2.8.27 (x86_64; Core 2 Quad @ 3GHz) 約 2MB の画像を HTTP GET 2009 年 9 月 25 日 Scaling?
  • 12. HDD からランダムリードなら ... HDD から平均 1KB のデータをランダムリードしているなら 0.5Gbytes/sec ÷ 1024bytes ÷ 240io-ops./sec = 約 2,000 台 2009 年 9 月 25 日 Scaling?
  • 13. 遅いのは HDD? HDD にアクセスするソフトウェア RDBMS ファイルストレージ SSD は部分的解決策 問題点は価格 他に CPU intensive な処理もある 例 : XML のパース 2009 年 9 月 25 日 Scaling?
  • 14. なぜ「スケールアウト」が流行るのか スケールアウトは 2000 年代のトレンド ソフトウェア製品からソフトウェアサービスへ マスメディアからコミュニケーションツールへ 例 : Yahoo! vs. Mixi 多人数間の、疎なソーシャルグラフ ユーザーが 1,000 万人いても、友達は 100 人とか 規模は増大したが、グラフは疎になった ↓ ( 従来よりも ) スケールアウトが容易な課題 2009 年 9 月 25 日 Scaling?
  • 15. 代表的な「スケールアウト」技術 RDB Sharding MapReduce / Hadoop もしくは Web クローラ等 KVS memcached, Flare, kumofs, ... Message Queue ActiveMQ, AMQP, Q4M, ... 2009 年 9 月 25 日 Scaling?
  • 16. 3 層構成 HTTP サーバ 静的コンテンツのハンドリング アプリケーションサーバへの中継 アプリケーションサーバ プログラマの作業をここに集中 生産性の高さが重要 ストレージ RDBMS, memcached, MQ, ... 2009 年 9 月 25 日 Scaling?
  • 17. 「スケールアップ」の逆襲 規模の拡大 vs. ムーアの法則 2009 年 9 月 25 日 Scaling?