SlideShare a Scribd company logo
SSD+Squidで画像をキャッシュしなイカ?


   ピクシブ株式会社 藤本和寿(@phji)

    2010/12/20 pixiv Tech Meeting
自己紹介

藤本和寿
24歳
2010年4月ピクシブ株式会社入社
インフラ
新卒?
話すこと

1. Squid, SSD
2. pixivの画像サーバの構成
3. pixivの画像サーバでのSSDの用途
Squid

Squid(スクウィッド)はプロキシ (Proxy) サーバ、ウェブキャッシュ
サーバなどに利用されるフリーソフトウェア。GPLでライセンスされて
いる。

http://ja.wikipedia.org/wiki/Squid_cache
Squid = イカ
侵略!イカ娘

テレビ東京 月曜 26時00分 - 26時30分
http://www.ika-musume.com/
SSD+Squidで画像をキャッシュしなイカ?
SSD+Squidで画像をキャッシュしなイカ?
SSD

ピクシブでのSSDの用途
 1. データベース
 2. 画像の参照のキャッシュ

Real SSD C300 64GB
12000円ぐらい
SSD

SSDを使うとSquidのrebuildが早く終わる

rebuild:キャッシュ領域の再構築、ディスクに対してリードがすごく走
る

60GBのキャッシュ領域のrebuildにかかった時間

HDD:20分
SSD:5分
pixivの画像サーバの構成
SSDの用途1

pixivの画像のサイズは、オリジナルサイズ, mサイズ, sサイズ, 100
サイズ 等 13種類ある

その中でも特に s サイズ(サムネイルのサイズ)の参照頻度が高い
SSDの用途1

mypageを開くと私の場合、sサイズが13枚、100サイズが12枚
SSDの用途1

みんなの新着イラストを開くとsサイズの画像が20枚
SSDの用途1

昨日 12/19 23:30頃の1台のサーバの10万件のリクエスト
             サイズ     回数
             s       69093
             64x64   5068
             m       3433
             100     2504
             128x128 1509
s:PCのサムネイル
64x64:モバイルのサムネイル
m:PCサムネイルを押すと表示される
SSDの用途1

画像フロント(nginx)設定でsサイズの画像はSSDから参照させる

if ($request_uri ~* "_s.(jpeg|jpg|gif|png)") {
    proxy_pass http://s_cache_server;
}
proxy_pass http://cache_server;
SSDの用途1

sサイズをキャッシュするサーバ
秒間の最大リクエスト数 : 630 requests / sec
ヒット率 : 97%
SSDの用途1

それ以外をキャッシュするサーバ
秒間の最大リクエスト数 : 125 requests / sec
ヒット率 : 91%
SSDの用途2


キャッシュサーバに使えるサーバがあまりない…




sサイズの画像を参照するサーバは効果があったため、キャッシュ
領域をHDDからSSDに置き変えてみる
SSDの用途2




HDDと同じweightで参照させると効果があるが、weightを上げると
キャッシュヒット率が下がる…




キャッシュ領域を大きくするため、HDD+SSDの両方を使う
SSDの用途2

200KB以下の画像はSSDから参照させ、それより大きい画像は
HDDから参照させる

10万件のリクエストのうち

                200KB以下   200KBより大きい
    リクエスト数      88813件    11187件
    リクエストの合計    2466MB    5209MB

                100KB以下   100KBより大きい
    リクエスト数      79959件    20041件
    リクエストの合計    1159MB    6515MB
SSDの用途2

squidの設定


cache_dir coss /var/spool/squid/ssd/coss_l 20480 max-size=204800
cache_dir coss /var/spool/squid/hdd/coss_l 20480 min-size=204800
max-size=8388608
ほぼ同じ数のリクエストをさばいているサーバ



  HDD           SSD+HDD
結論

なんとかSSDでいい感じにスケールアップできているんじゃなイカ?
ご静聴ありがとうございました

More Related Content

PDF
イカ娘も終わったしVarnishでも使うか
PPTX
サポート エンジニアが語る、トラブルを未然に防ぐための Azure インフラ設計
PDF
20130222 osc tokyo
PDF
Oss on Azure, Websites, WordPress
PDF
WordBench Nagoya 12月勉強会
PDF
OSC 2012.Cloud
ODP
How to use PTI & IBRS patch
PPTX
OSC2014 東京 owncloud性能検証
イカ娘も終わったしVarnishでも使うか
サポート エンジニアが語る、トラブルを未然に防ぐための Azure インフラ設計
20130222 osc tokyo
Oss on Azure, Websites, WordPress
WordBench Nagoya 12月勉強会
OSC 2012.Cloud
How to use PTI & IBRS patch
OSC2014 東京 owncloud性能検証

What's hot (20)

PDF
CloudAtCostを使ってみた
PDF
もしCloudStackのKVMホストでPCIパススルーできるようになったら
PPTX
2017-11-15 OpenStack最新情報セミナー Lightning Talk OpenStack環境における通信高速化 ~超入門~
PDF
Embed Shogiboard - my first mediawiki extension -
PDF
Windows Azure 上でのVPN 接続方法
PDF
最近のJuju/MAASについて 〜 15分版 - OpenStack最新情報セミナー 2017年11月
PDF
NetBSD on Google Compute Engine
PDF
VMwareで手っ取り早く社内システムをHAサーバ化してみました (bpstudy#38)
PDF
CODT2021 CyberAgentでの サーバ選定手法の紹介
PDF
DatabaseDevelopment
PPTX
Pasonatech docker hands on
PDF
hs_spider_hs_something_20110906
PDF
プライベートクラウドを支えるAMD EPYCサーバ
PDF
Openstackを200%活用するSDSの挑戦
PDF
データ加工ストリーミングのすすめ2012 11 20
PDF
WebServerDevelopment
PDF
Ubuntuとコンテナ技術 What is LXD? and Why? 2015-12-08
PPTX
Azure Fabric Service Reliable Collection
PDF
仮想ネットワーク構築8枚slide
PDF
Mercurial入門
CloudAtCostを使ってみた
もしCloudStackのKVMホストでPCIパススルーできるようになったら
2017-11-15 OpenStack最新情報セミナー Lightning Talk OpenStack環境における通信高速化 ~超入門~
Embed Shogiboard - my first mediawiki extension -
Windows Azure 上でのVPN 接続方法
最近のJuju/MAASについて 〜 15分版 - OpenStack最新情報セミナー 2017年11月
NetBSD on Google Compute Engine
VMwareで手っ取り早く社内システムをHAサーバ化してみました (bpstudy#38)
CODT2021 CyberAgentでの サーバ選定手法の紹介
DatabaseDevelopment
Pasonatech docker hands on
hs_spider_hs_something_20110906
プライベートクラウドを支えるAMD EPYCサーバ
Openstackを200%活用するSDSの挑戦
データ加工ストリーミングのすすめ2012 11 20
WebServerDevelopment
Ubuntuとコンテナ技術 What is LXD? and Why? 2015-12-08
Azure Fabric Service Reliable Collection
仮想ネットワーク構築8枚slide
Mercurial入門
Ad

Viewers also liked (18)

PDF
キャッシュサーバ運用技術
PPT
Squidのススめ
PPTX
Buffalo製無線APでのmultiple vlanの使い方
PDF
無線LANデンパゆんゆん観察
PPT
20130801 lan sheet pr_movie
PPT
Tremaで構築!中小企業の社内LAN #Tremaday 120419
PPTX
さくらのVPSに来る悪い人を観察する その2
PPT
サーバーとは(社内で利用されるサーバー)
DOCX
Membuat vlan perkantoran menggunakan cisco
PPTX
さくらのVPSに来た攻撃観察記
PDF
2013年03月 第32回WebSig24会議「社内LAN撲滅運動」
ODP
xrdpで変える!社内のPC環境
PDF
社内向けに恋愛ゲーム作ってみた
PPTX
社内ネットワーク改善の過程で分かった物理ゆえの闇と脆弱性そしてネットワークの基礎入門
PDF
サーバ攻撃されてみた
PPTX
Dmmに入社してみた
PDF
中の下のエンジニアを脱出するための仕事術
PDF
「スプラトゥーン」リアルタイム画像解析ツール 「IkaLog」の裏側
キャッシュサーバ運用技術
Squidのススめ
Buffalo製無線APでのmultiple vlanの使い方
無線LANデンパゆんゆん観察
20130801 lan sheet pr_movie
Tremaで構築!中小企業の社内LAN #Tremaday 120419
さくらのVPSに来る悪い人を観察する その2
サーバーとは(社内で利用されるサーバー)
Membuat vlan perkantoran menggunakan cisco
さくらのVPSに来た攻撃観察記
2013年03月 第32回WebSig24会議「社内LAN撲滅運動」
xrdpで変える!社内のPC環境
社内向けに恋愛ゲーム作ってみた
社内ネットワーク改善の過程で分かった物理ゆえの闇と脆弱性そしてネットワークの基礎入門
サーバ攻撃されてみた
Dmmに入社してみた
中の下のエンジニアを脱出するための仕事術
「スプラトゥーン」リアルタイム画像解析ツール 「IkaLog」の裏側
Ad

SSD+Squidで画像をキャッシュしなイカ?