Submit Search
SSD+Squidで画像をキャッシュしなイカ?
5 likes
4,174 views
Kazutoshi Fujimoto
1 of 25
Download now
Downloaded 59 times
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
More Related Content
PDF
イカ娘も終わったしVarnishでも使うか
Kazutoshi Fujimoto
PPTX
サポート エンジニアが語る、トラブルを未然に防ぐための Azure インフラ設計
ShuheiUda
PDF
20130222 osc tokyo
Masaki Takeda
PDF
Oss on Azure, Websites, WordPress
Microsoft Openness Japan
PDF
WordBench Nagoya 12月勉強会
Masaki Takeda
PDF
OSC 2012.Cloud
Masaki Takeda
ODP
How to use PTI & IBRS patch
Yuichiro Naito
PPTX
OSC2014 東京 owncloud性能検証
Tetsurou Yano
イカ娘も終わったしVarnishでも使うか
Kazutoshi Fujimoto
サポート エンジニアが語る、トラブルを未然に防ぐための Azure インフラ設計
ShuheiUda
20130222 osc tokyo
Masaki Takeda
Oss on Azure, Websites, WordPress
Microsoft Openness Japan
WordBench Nagoya 12月勉強会
Masaki Takeda
OSC 2012.Cloud
Masaki Takeda
How to use PTI & IBRS patch
Yuichiro Naito
OSC2014 東京 owncloud性能検証
Tetsurou Yano
What's hot
(20)
PDF
CloudAtCostを使ってみた
nemumu
PDF
もしCloudStackのKVMホストでPCIパススルーできるようになったら
Takuma Nakajima
PPTX
2017-11-15 OpenStack最新情報セミナー Lightning Talk OpenStack環境における通信高速化 ~超入門~
Takeharu Sato
PDF
Embed Shogiboard - my first mediawiki extension -
Taisuke Yamada
PDF
Windows Azure 上でのVPN 接続方法
Masaki Takeda
PDF
最近のJuju/MAASについて 〜 15分版 - OpenStack最新情報セミナー 2017年11月
VirtualTech Japan Inc.
PDF
NetBSD on Google Compute Engine
Ryo ONODERA
PDF
VMwareで手っ取り早く社内システムをHAサーバ化してみました (bpstudy#38)
Yuichiro Saito
PDF
CODT2021 CyberAgentでの サーバ選定手法の紹介
Hiroki Chinen
PDF
DatabaseDevelopment
NakamuraShinsaku
PPTX
Pasonatech docker hands on
ssuser3a4b8c
PDF
hs_spider_hs_something_20110906
Kentoku
PDF
プライベートクラウドを支えるAMD EPYCサーバ
Tomohiro Hirano
PDF
Openstackを200%活用するSDSの挑戦
Tomohiro Hirano
PDF
データ加工ストリーミングのすすめ2012 11 20
Koichiro Mori
PDF
WebServerDevelopment
NakamuraShinsaku
PDF
Ubuntuとコンテナ技術 What is LXD? and Why? 2015-12-08
Nobuto Murata
PPTX
Azure Fabric Service Reliable Collection
Takekazu Omi
PDF
仮想ネットワーク構築8枚slide
k009c1271
PDF
Mercurial入門
You&I
CloudAtCostを使ってみた
nemumu
もしCloudStackのKVMホストでPCIパススルーできるようになったら
Takuma Nakajima
2017-11-15 OpenStack最新情報セミナー Lightning Talk OpenStack環境における通信高速化 ~超入門~
Takeharu Sato
Embed Shogiboard - my first mediawiki extension -
Taisuke Yamada
Windows Azure 上でのVPN 接続方法
Masaki Takeda
最近のJuju/MAASについて 〜 15分版 - OpenStack最新情報セミナー 2017年11月
VirtualTech Japan Inc.
NetBSD on Google Compute Engine
Ryo ONODERA
VMwareで手っ取り早く社内システムをHAサーバ化してみました (bpstudy#38)
Yuichiro Saito
CODT2021 CyberAgentでの サーバ選定手法の紹介
Hiroki Chinen
DatabaseDevelopment
NakamuraShinsaku
Pasonatech docker hands on
ssuser3a4b8c
hs_spider_hs_something_20110906
Kentoku
プライベートクラウドを支えるAMD EPYCサーバ
Tomohiro Hirano
Openstackを200%活用するSDSの挑戦
Tomohiro Hirano
データ加工ストリーミングのすすめ2012 11 20
Koichiro Mori
WebServerDevelopment
NakamuraShinsaku
Ubuntuとコンテナ技術 What is LXD? and Why? 2015-12-08
Nobuto Murata
Azure Fabric Service Reliable Collection
Takekazu Omi
仮想ネットワーク構築8枚slide
k009c1271
Mercurial入門
You&I
Ad
Viewers also liked
(18)
PDF
キャッシュサーバ運用技術
Masaaki Nabeshima
PPT
Squidのススめ
avi_dev
PPTX
Buffalo製無線APでのmultiple vlanの使い方
Toshiki Matsubara
PDF
無線LANデンパゆんゆん観察
ozuma5119
PPT
20130801 lan sheet pr_movie
SWATBrains
PPT
Tremaで構築!中小企業の社内LAN #Tremaday 120419
エイシュン コンドウ
PPTX
さくらのVPSに来る悪い人を観察する その2
ozuma5119
PPT
サーバーとは(社内で利用されるサーバー)
Hiroshi Oyamada
DOCX
Membuat vlan perkantoran menggunakan cisco
Doddy Rakasiwi
PPTX
さくらのVPSに来た攻撃観察記
ozuma5119
PDF
2013年03月 第32回WebSig24会議「社内LAN撲滅運動」
Serverworks Co.,Ltd.
ODP
xrdpで変える!社内のPC環境
iCRAFT Corp. (アイクラフト株式会社)
PDF
社内向けに恋愛ゲーム作ってみた
DMM.com
PPTX
社内ネットワーク改善の過程で分かった物理ゆえの闇と脆弱性そしてネットワークの基礎入門
zaru sakuraba
PDF
サーバ攻撃されてみた
Kimie Furuya
PPTX
Dmmに入社してみた
DMM.com
PDF
中の下のエンジニアを脱出するための仕事術
Noriaki Kadota
PDF
「スプラトゥーン」リアルタイム画像解析ツール 「IkaLog」の裏側
Takeshi HASEGAWA
キャッシュサーバ運用技術
Masaaki Nabeshima
Squidのススめ
avi_dev
Buffalo製無線APでのmultiple vlanの使い方
Toshiki Matsubara
無線LANデンパゆんゆん観察
ozuma5119
20130801 lan sheet pr_movie
SWATBrains
Tremaで構築!中小企業の社内LAN #Tremaday 120419
エイシュン コンドウ
さくらのVPSに来る悪い人を観察する その2
ozuma5119
サーバーとは(社内で利用されるサーバー)
Hiroshi Oyamada
Membuat vlan perkantoran menggunakan cisco
Doddy Rakasiwi
さくらのVPSに来た攻撃観察記
ozuma5119
2013年03月 第32回WebSig24会議「社内LAN撲滅運動」
Serverworks Co.,Ltd.
xrdpで変える!社内のPC環境
iCRAFT Corp. (アイクラフト株式会社)
社内向けに恋愛ゲーム作ってみた
DMM.com
社内ネットワーク改善の過程で分かった物理ゆえの闇と脆弱性そしてネットワークの基礎入門
zaru sakuraba
サーバ攻撃されてみた
Kimie Furuya
Dmmに入社してみた
DMM.com
中の下のエンジニアを脱出するための仕事術
Noriaki Kadota
「スプラトゥーン」リアルタイム画像解析ツール 「IkaLog」の裏側
Takeshi HASEGAWA
Ad
SSD+Squidで画像をキャッシュしなイカ?
1.
SSD+Squidで画像をキャッシュしなイカ?
ピクシブ株式会社 藤本和寿(@phji) 2010/12/20 pixiv Tech Meeting
2.
自己紹介 藤本和寿 24歳 2010年4月ピクシブ株式会社入社 インフラ 新卒?
3.
話すこと 1. Squid, SSD 2.
pixivの画像サーバの構成 3. pixivの画像サーバでのSSDの用途
4.
Squid Squid(スクウィッド)はプロキシ (Proxy) サーバ、ウェブキャッシュ サーバなどに利用されるフリーソフトウェア。GPLでライセンスされて いる。 http://ja.wikipedia.org/wiki/Squid_cache
5.
Squid = イカ
6.
侵略!イカ娘 テレビ東京 月曜 26時00分
- 26時30分 http://www.ika-musume.com/
9.
SSD ピクシブでのSSDの用途 1. データベース
2. 画像の参照のキャッシュ Real SSD C300 64GB 12000円ぐらい
10.
SSD SSDを使うとSquidのrebuildが早く終わる rebuild:キャッシュ領域の再構築、ディスクに対してリードがすごく走 る 60GBのキャッシュ領域のrebuildにかかった時間 HDD:20分 SSD:5分
11.
pixivの画像サーバの構成
12.
SSDの用途1 pixivの画像のサイズは、オリジナルサイズ, mサイズ, sサイズ,
100 サイズ 等 13種類ある その中でも特に s サイズ(サムネイルのサイズ)の参照頻度が高い
13.
SSDの用途1 mypageを開くと私の場合、sサイズが13枚、100サイズが12枚
14.
SSDの用途1 みんなの新着イラストを開くとsサイズの画像が20枚
15.
SSDの用途1 昨日 12/19 23:30頃の1台のサーバの10万件のリクエスト
サイズ 回数 s 69093 64x64 5068 m 3433 100 2504 128x128 1509 s:PCのサムネイル 64x64:モバイルのサムネイル m:PCサムネイルを押すと表示される
16.
SSDの用途1 画像フロント(nginx)設定でsサイズの画像はSSDから参照させる if ($request_uri ~*
"_s.(jpeg|jpg|gif|png)") { proxy_pass http://s_cache_server; } proxy_pass http://cache_server;
17.
SSDの用途1 sサイズをキャッシュするサーバ 秒間の最大リクエスト数 : 630
requests / sec ヒット率 : 97%
18.
SSDの用途1 それ以外をキャッシュするサーバ 秒間の最大リクエスト数 : 125
requests / sec ヒット率 : 91%
19.
SSDの用途2 キャッシュサーバに使えるサーバがあまりない… sサイズの画像を参照するサーバは効果があったため、キャッシュ 領域をHDDからSSDに置き変えてみる
20.
SSDの用途2 HDDと同じweightで参照させると効果があるが、weightを上げると キャッシュヒット率が下がる… キャッシュ領域を大きくするため、HDD+SSDの両方を使う
21.
SSDの用途2 200KB以下の画像はSSDから参照させ、それより大きい画像は HDDから参照させる 10万件のリクエストのうち
200KB以下 200KBより大きい リクエスト数 88813件 11187件 リクエストの合計 2466MB 5209MB 100KB以下 100KBより大きい リクエスト数 79959件 20041件 リクエストの合計 1159MB 6515MB
22.
SSDの用途2 squidの設定 cache_dir coss /var/spool/squid/ssd/coss_l
20480 max-size=204800 cache_dir coss /var/spool/squid/hdd/coss_l 20480 min-size=204800 max-size=8388608
23.
ほぼ同じ数のリクエストをさばいているサーバ HDD
SSD+HDD
24.
結論 なんとかSSDでいい感じにスケールアップできているんじゃなイカ?
25.
ご静聴ありがとうございました
Download