More Related Content
Fluentdでログを集めてGlusterFSに保存してMapReduceで集計 GlusterFS Updates (and more) in 第六回クラウドストレージ研究会 Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション④ InfiniBandをPCIパススルーで用いるHPC仮想化クラスタの性能評価 Sheepdogを使ってみて分かったこと(第六回ストレージ研究会発表資料) Cloudian update at cloudian seminar 2014 20190319 xtech recochoku_15m_pub What's hot (20)
OSC 2011 Tokyo/Fall 自宅SAN友の会 (Infinibandお試し編) osoljp201105_ZFSjiman_nslope Chainer と Microsoft Azure 広がる応用 (Chainer Meetup #5) CfnClusterを使って10分強でHPC環境を構築する NVIDIA 更新情報: Tesla P100 PCIe/cuDNN 5.1 「Windows Azureで HPC 」 for JAZUG 2013年9月 AWS re:Invent2017で見た AWSの強さとは OSSで実現するハイブリッドクラウド4ノードクラスタ ~Pacemakerのチケット機能で災害対策~ CephとGluster次期バージョンでの新機能 Juju/MAASで作る Kubernetes + GPU EC2に対するcloudwatchのアクション設定がポリシーで使えないときの代替策 機械学習とこれを支える並列計算: ディープラーニング・スーパーコンピューターの応用について Similar to Scaling (20)
Heroshima "Cloud & Security Day" and Night 20121019 engineer startup_meeting Windows Server 2012 のストレージ強化とエンタープライズへの活用 OSC 2011 Hokkaido 自宅SAN友の会(後半) Windows Azure Community Open Day 2012 CommunityOpenDay2012名古屋セッション資料 We Should Know About in this SocialNetwork Era 2011_1112 ITpro EXPO版「データセンター視点で比較したクラウドの内側」 Lars George HBase Seminar with O'REILLY Oct.12 2012 Performance and Scalability of Web Service More from Kazuho Oku (20)
Reorganizing Website Architecture for HTTP/2 and Beyond Recent Advances in HTTP, controlling them using ruby Programming TCP for responsiveness Programming TCP for responsiveness Developing the fastest HTTP/2 server ウェブを速くするためにDeNAがやっていること - HTTP/2と、さらにその先 Cache aware-server-push in H2O version 1.5 H2O - making the Web faster H2O - the optimized HTTP server JSON SQL Injection and the Lessons Learned JSX 速さの秘密 - 高速なJavaScriptを書く方法 Scaling
- 2. What is Scaling? 「スケール」とはどういうことなのか 自分の過去を振り返った値をピックアップ details may vary 2009 年 9 月 25 日 Scaling?
- 3. 演算速度 ムーアの法則 18 ヶ月〜 24 ヶ月でトランジスタの集積度は 2 倍になる Gordon E. Moore, Founder of Intel Corporation 1989 年 : 80286 @ 12MHz / 1MB 2 MIPS? 2009 年 : Core 2 Quad @ 3GHz / 4GB 60,000 MIPS? 2009 年 9 月 25 日 Scaling?
- 4. 2010 年には 20GHz? http://pc.watch.impress.co.jp/docs/2003/1105/intel.htm 2009 年 9 月 25 日 Scaling?
- 5. フラッシュメモリ ファンの法則 フラッシュメモリの容量は 12 ヶ月で 2 倍 黄昌圭 Samsung Electronics 社長 1998 年 : 4-8MB (MemoryStick 発売時 ) 2009 年 : 1-32GB (SD カード ) 2009 年 9 月 25 日 Scaling?
- 6. HDD 1989 年 : 40MB 2009 年 : 500GB 2009 年 9 月 25 日 Scaling?
- 7. インターネット回線 1999 年 : 56Kbps-128Kbps (ADSL 直前 ) 2009 年 : 1.5Mbps-100Mbps 2009 年 9 月 25 日 Scaling?
- 8. スケールしないものもある HDD のレイテンシ ≒ 回転数 20 年で約 ½ インターネットのレイテンシ 東京〜サンフランシスコは約 8,300km 光の速度で 55msec (RTT) 2009 年 9 月 25 日 Scaling?
- 10. ¥ 4,350- のハブでも 12Gbps 「スイッチング・ファブリック 12Gbps 」 4Gbps なら¥ 1,450- 2009 年 9 月 25 日 Scaling?
- 11. Perl で書いた HTTP サーバで 10Gbps Plack::Impl::Standalone::Prefork HTTP パーサ部分は C ベンチマーク条件 linux 2.8.27 (x86_64; Core 2 Quad @ 3GHz) 約 2MB の画像を HTTP GET 2009 年 9 月 25 日 Scaling?
- 12. HDD からランダムリードなら ... HDD から平均 1KB のデータをランダムリードしているなら 0.5Gbytes/sec ÷ 1024bytes ÷ 240io-ops./sec = 約 2,000 台 2009 年 9 月 25 日 Scaling?
- 13. 遅いのは HDD? HDD にアクセスするソフトウェア RDBMS ファイルストレージ SSD は部分的解決策 問題点は価格 他に CPU intensive な処理もある 例 : XML のパース 2009 年 9 月 25 日 Scaling?
- 14. なぜ「スケールアウト」が流行るのか スケールアウトは 2000 年代のトレンド ソフトウェア製品からソフトウェアサービスへ マスメディアからコミュニケーションツールへ 例 : Yahoo! vs. Mixi 多人数間の、疎なソーシャルグラフ ユーザーが 1,000 万人いても、友達は 100 人とか 規模は増大したが、グラフは疎になった ↓ ( 従来よりも ) スケールアウトが容易な課題 2009 年 9 月 25 日 Scaling?
- 15. 代表的な「スケールアウト」技術 RDB Sharding MapReduce / Hadoop もしくは Web クローラ等 KVS memcached, Flare, kumofs, ... Message Queue ActiveMQ, AMQP, Q4M, ... 2009 年 9 月 25 日 Scaling?
- 16. 3 層構成 HTTP サーバ 静的コンテンツのハンドリング アプリケーションサーバへの中継 アプリケーションサーバ プログラマの作業をここに集中 生産性の高さが重要 ストレージ RDBMS, memcached, MQ, ... 2009 年 9 月 25 日 Scaling?