Redis勉強会資料(2015/06 update)

Redis勉強会資料
(Redis Cluster 追記版)
株式会社インテリジェンス
大谷祐司

・山口県下関出身の34歳
・インテリジェンスの新規事業チームの開発責任者。
・企画からアプリ、インフラまで幅広くやっています。
・車とプログラミングを愛しています。
・土日は育児しながら勉強しています。
・Facebookの友達申請は気軽にぜひ！
https://www.facebook.com/yuji.otani.16
自己紹介

はじめに
今回の勉強会は最近注目のRedisがテーマです。
インテリジェンスでも採用実績が増えていますので、
しっかりと理解していきましょう。

アジェンダ
・Redisの歴史
・Redisの特徴
・アーキテクチャ
・Redisのデータ型
・バージョンアップと機能追加

アジェンダ
・Redisの設定ファイル
・PHPからRedisを操作する
・社内での活用事例
・おまけ：phpredisでできること

Redisの歴史
2009年にSalvatore Sanfilippoというイタリアの技
術者によって開発されました。
2010年からVMWareが支援を行っています。
ANSI C言語で書かれています。

採用実績(日本)
DeNA
サイバーエージェント
ニコニコ動画
GMO
LINE

採用実績(海外)
github.com
flicker.com
twitter.com
intasgram.com
stackoverflow.com

AWSもRedisを提供
2013年9月からAWSの標準キャッシュに採用。
Memcached or Redisを選択可能に。
ElastiCache

シングルスレッド
Redisはシングルスレッドで動作します。
MySQLのように複数の処理を並列で行う事は不可能です。
必然的に、全てのデータ操作は排他的になります。
Redis
コマンド
コマンド
コマンド
コマンド
1スレッドで
順番に処理

データベースの構造
Redis
DB
Key-Value
Key-Value
Key-Value
Key-Value
DB
IDを指定して複数のDBを持つ事ができます。
各DBは独立してキーと値を保持できます。
Key-Value
Key-Value
Key-Value
Key-Value

高いパフォーマンス
全てのデータセットをメモリ内に読み込む
高速なデータアクセスを実現
※メモリはHDDの10万倍早い。

高いパフォーマンス
複数の操作を１回で実行可能
アプリケーション ⇔ Redis間の通信量を削減
コマンド
コマンド
コマンド
実行

データ構造のサポート
・5種類の型を値として扱う事ができる。
・値を計算して戻す事ができる。
※LUAスクリプティング/セット型の集合演算
複雑なデータ構造の保持や計算を
Redisに任せる事が可能

メモリを使い果たしたら？
仮想メモリ(HDD)を使ってメモリ拡張
バージョン2.6以降は廃止。

特定のルールに従って削除
5つのパターンから設定可能
※設定ファイル：maxmemory-policy

メモリオーバー時の削除ルール
① LRUアルゴリズムを使用し、期限切れになったキーを削除
② LRCアルゴリズムに従い、どれかのキーを削除
③ 期限切れになったセットの中から、ランダムにキーを削除
④ どれかのキーをランダムに削除
⑤ 一番期限に近いキーから削除
※LRUアルゴリズム
→未使用の時間が最も長いデータを抽出する。

それでもメモリを確保できないときは、
書き込みが全てエラーになります。

レプリケーション
MASTER-SLAVEのレプリケーション構築が可能。
MASTERは複数台のSLAVEを設定できる。
MASTER
SLAVE SLAVE SLAVE

Redisのレプリケーションは非同期。
Master-Slaveでデータの差分が出る事がある。
データの特性によって参照先の選択が必要。

Redisのレプリケーションはマルチマスタではない。
参照系、更新系、データ特性などによって、
正しくクエリを振り分ける事が重要！

データ永続化(バックアップ)
①SAVE/BGSAVE
⇒DBのフルダンプ（RDB = Redis DataBase）を作成。
SAVE/BGSAVE
Redis RDB
全データ

データ永続化(バックアップ)
②AOF(Append Only File)
⇒コマンド実行ログ。ここからデータ復元可能。
コマンド
Redis AOF
コマンド

トランザクション
複数コマンドを纏めて実行
・アトミックな操作の保証（他の処理をブロック）
・MULTIでトランザクション開始
・全て実行(EXEC) or 全て未実行(DISCARD)
MULTI
コマンド
コマンド
コマンド
EXEC(実行)
DISCARD(未実行)
or

Slow-Logの出力
設定の閾値よりも遅いクエリをメモリに記録。
秒数を指定してSLOWLOGコマンドを実行
遅いクエリの一覧を取得

コマンド実行状況の確認
MONITORコマンド実行
受け取ったコマンドを無限にダンプ
（QUITコマンドで終了）
コマンドの実行状況を把握できる。

Luaスクリプティング
スクリプト言語「Lua」をRedis上で実行可能。
予めRedisにスクリプトを登録する事ができる。
動作はアトミック(他の操作をブロックする)
高度な計算をRedisで実行可能

Luaスクリプティング
実行中は他のリクエストをブロックする。
時間が長い処理を行うのは危険。

Redis Sentinel
Redisプロジェクトで開発されている管理サーバ
死活監視/通知/自動フェイルオーバーを実現
V2.4.16以降で利用可能

シャーディング
Redis単体ではシャーディング不可能。
(クライアントライブラリで実現可能)
Redis-Clusterで実現可能になる予定。

Redis-Cluster
・インスタンスのデータノード化
・対障害性
・柔軟なスケーリング
・現在開発中
http://redis.io/topics/cluster-spec

Redisのアーキテクチャ
Redisはイベント駆動アーキテクチャで動作。
シングルスレッドで大量のリクエストを処理します。

Redisの動作イメージ
１プロセス/１スレッドで動作
Redis
コマンド
コマンド
コマンド
コマンド
1スレッドで
順番に処理

Redisのアーキテクチャ
1台のサーバで複数コアを活用するには？
同一サーバに複数台のRedisを立ち上げ、
別サーバとして動かす事を推奨。
http://redis.io/topics/faq
RedisはCPUの1コアのみを使用します。

Redisには5つのデータ型があります。
各データ型について紹介します。

文字列型
・全てのデータの基本となる型。
・バイナリセーフで、どんな値でも扱える。
・最大1Gまで扱える。
Orange

リスト型
・文字列型のリスト。
・先頭又は末尾に値の追加が可能。
・リスト長をキャッシュして、高速に取得可能
Apple Orange Lemon Kiwi Peach
1 ２３４５
値を順番に保持

セット型
・文字列型の順不同の集合。
・同じメンバを重複して登録する事はできない。
・集合演算用コマンドが使用できる。
Apple
Orange
Lemon
Kiwi
Peach
値を順不同で保持

セット型の集合演算用のコマンド
積集合（SINTER）

和集合（SUNION）

差集合（SDIFF）

ソート済みセット型
・文字列型の集合。
・「スコア」の値でソートされた順位を持っている。
・同じメンバを重複して登録する事はできない。
・スコアの値、順位で範囲検索が可能。
Apple
スコア:10
Orange
スコア:30
Lemon
スコア:50
Kiwi
スコア:70
Peach
スコア:90
1 ２３４５
値をスコアの大きさ順に保持

同じスコアの場合の順位は？
同一順位が複数できるのではなく、
ランダムの順位になります。
※この問題はRedis3.0で対応予定です。
https://github.com/antirez/redis/issues/943

ハッシュ型
・順番がない文字列型のフィールドと値のマップ。
・フィールド値での検索が可能。
・値を指定しての検索は不可能。
Apple
Orange
Lemon
Kiwi
Peach
A
B C
DE
値とキーをセットで保持

バージョンアップと機能追加

初回リリース：2009年2月

Ver2.0リリース：2010年9月
・仮想メモリのサポート
⇒実メモリに乗り切らないデータをディスクへ書き出す
※2.4で非推奨になる⇒2.6で完全に削除。
・ハッシュ型の追加
⇒1つのキー上に複数のkey/valueを持てる

コマンド追加
・トランザクションが利用可能に(MULTI/EXEC)
・複数キーから値を取得する(BLPOP/BRPOP)
・非同期メッセージング（PUBLISH/SUBSCRIBE）

・ SlowLogのサポート
・コマンドで文字列を配列として利用可能に。
(SETBIT/GETBIT/SETRANGE/GETRANGE/STRLEN)

・「OBJECT」コマンドの追加
(設定値の参照数、型、操作されていない時間を確認)
・「CLIENT」コマンドの追加
(接続のkill、接続先一覧、接続先名称の設定/取得)
・スレーブ接続がノンブロッキングになる

・ jemallocによるメモリ断片化問題の回避
・データバックアップ(RDB)の高速化
※jemalloc→動的メモリ確保を行う関数

・ Luaスクリプティング(evalコマンド)サポート
・ EXPIREがミリ秒単位の指定に対応
・クライアントの接続上限数が無くなった
・ Redis Clusterに向けたコア部分の修正

・クラッシュレポートの改善
・統合メモリテスト機能
・データのシリアライズ/デシリアライズ
・ SLAVEがデフォルトで更新不可に

・「PTTL」コマンド追加
(キーの生存期間をミリ秒で取得)
・「BITCOUNT」コマンド追加
(文字列のビット数を取得)
・「BITOP」コマンド追加
(文字列のビット操作を行う)

・部分的なレプリケーションの再同期
・ IPV6サポート
・ Redis Sentinelへの対応
(死活監視/フェイルオーバー)

・ Redis Clusterへの対応。
・ WAITコマンドの追加。
・ LRUアルゴリズムの改善。

起動方式
daemonize
⇒デーモンとして起動
pidfile
⇒デーモン起動時のpidファイル位置

接続オプション
port
⇒接続ポート
bind
⇒接続元の制限

接続オプション
timeout
⇒コネクションのタイムアウト秒数
requirepass
⇒接続パスワード

ログ関連
loglevel
⇒出力ログのレベル。
logfile
⇒ログの出力先。

データバックアップ
save
⇒データベースをディスクに保存するタイミング
save <seconds> <changes>(複数設定可能)
rdbcompression
⇒ダンプデータの圧縮。
dbfilename
⇒ダンプデータファイル名

動作環境
dir
⇒作業用のファイル出力先。
databases
⇒データベース最大数

レプリケーション(SLAVE)
slaveof
⇒マスターサーバのホスト、ポート。
masterauth
⇒マスターに接続する際のパスワード

slave-serve-stale-data
⇒レプリケーションが壊れたとき、SLAVEのみで
動作するか。
repl-ping-slave-period
⇒slaveからmasterにpingを送る間隔
slave-read-only
⇒slaveを読み取り専用にするか。

repl-timeout
⇒マスタデータ受信時のタイムアウト（秒）
slave-priority
⇒マスタ昇格するスレーブを選択する際の優先度。
repl-disable-tcp-nodelay
⇒TCP_NODELAY を無効化するか
※TCP_NODELAY
→Linux におけるソケット機能を向上させる。

セキュリティ
requirepass
⇒アクセス用のパスワード
rename-command
⇒危険なコマンドを実行されないように、コマンドを独自
のものに設定できる。

DB設定
maxclients
⇒最大クライアント数
maxmemory
⇒最大メモリ使用量

DB設定
maxmemory-policy
⇒最大メモリに達した時、何から削除していくか
maxmemory-samples
⇒最大メモリに達したときに削除を行う際、
チェックを行うサンプル数
(このサンプルの中で該当した物を削除する)

Slow-Log
slowlog-log-slower-than
⇒ログ出力の閾値
slowlog-max-len
⇒ログの最大サイズ

高度な設定
glueoutputbuf
⇒レスポンス時に小さな出力バッファを繋げて
パフォーマンスを上げる。
activerehashing
⇒メインハッシュテーブルの再ハッシュ化を行
う。メモリを効率的に使えるが、最大で２ミリ秒
の遅延が発生。

Cluster設定
cluster-enabled
⇒Clusterの利用
cluster-config-file
⇒Cluster設定ファイル
cluster-node-timeout
⇒ノード間通信のタイムアウト時間

79
・クラスタリングとは。
・Redis Clusterの特徴は？
・実際に使ってみてどうだったか？
Redis Clusterについて

80
・複数台の「アクティブな」サーバでDBを構成する。
・データの冗長性や処理の負荷分散を実現できる。
・サーバの台数を増やしてシステムの拡張を行う事ができる。
・逆にサーバの台数を減らす事も可能。
クラスタリングとは？

81
・複数台で分散してデータを持つ(シャーディング)
・同じデータは複数台で持たない。
・ノード毎にMaster-Slave構成が可能
(障害時はSlaveがMasterに自動で昇格)
・ノードを追加/削除した際にリシャーディンングが可能。
Redis Clusterの特徴

82
Redis Clusterの構成例
Internet
LB
①命令をルールで
均等に分散
②命令を実行する
③Slaveにデータを
バックアップ
(1サーバに3つの
Redisが起動)
nginx
nginx
nginx

83
・ノードに0-16384の数字(slot)を割り振る。
・リクエストのキーを計算して、対象のサーバを判別する。
[HASH_SLOT = CRC16(key) mod 16384]
クラスタリングの概要
[slot 0-5460]
[slot 5461-10922]
[slot 10923-16383]
①サーバを選んで命令
②対象のサーバを判別して命令を転送
node1
node2
node3③命令を実行して結果を返す

フレームワークの対応
⇒Redisentベースのライブラリが付属。
その他主要なフレームワーク
⇒ライブラリを使用する必要があります。

PHPには様々なRedisライブラリが存在します。

phpredis
作者： Nicolas Favre-Felix（Acunu)
国：イギリス
PHP Ver：5以上
URL：https://github.com/nicolasff/phpredis
記述言語：C
ライセンス： PHP License, version 3.01

Predis
作者：ダニエレ・アレッサンドリ（nrk)
国：イタリア
PHP Ver：5.3以上
URL： https://github.com/nrk/predis
記述言語：PHP
ライセンス：MIT

・ランキングデータ
・「みんなで倒す」ボスデータ
・ユーザ集計データ
・単純なKVSとして(トークン等)
など、多くの用途で活用されています。
ソーシャルゲームでの活用事例

ランキングデータ
User:A
スコア:10
User:A
スコア:50
User:A
スコア:70
User:A
スコア:90
1 ３４５
ユーザランキング
User:A
スコア:30
プレイ結果
ソート済みセット型

・ゲームのプレイ結果「ユーザID」「スコア」をソート済みセットに登録
⇒スコア順のユーザランキングが生成される。
・順位での検索、ユーザでの検索、スコアでの検索が可能。
⇒RDBだとランク取得にorder_byが必要になり、処理が重い。
ランキングデータ

「みんなで倒す」ボスデータ
ボス情報出現時間
キー：prefix {ボスID}:{ユーザID}
ハッシュ型
ボスHP
攻撃履歴A 攻撃履歴B 攻撃履歴C

・ダメージ与えるたびにボスのHPをデクリメント。
⇒キャッシュ内で値を一意に保つ事ができる。
・ハッシュ内に攻撃履歴の情報をfield：valueで追加。
⇒複数データを一括で取得/削除する事ができる。
「みんなで倒す」ボスデータ

ユーザーデータ
所持アイテム数ステータス
キー：prefix {ユーザID}
ハッシュ型
合計攻撃力クエスト進捗

・ユーザに関する集計値を保持
⇒DBが冗長になるのを防ぐ
・ステータスなど頻繁にアクセスする値を保持
⇒値の構造化による高速なアクセスを実現
ユーザデータの保持

KVSとしての活用(トークン等)
画面アクセス用トークン
キー：prefix {ユーザID}{画面ID}
文字列型

KVSとしての活用(トークン等)
・単純なKey/Valueとして保持
⇒memcachedからの代替が容易
expireをキー単位で設定できる
・ハッシュ型を使用して階層として保持
⇒データの取得/削除が一括で行える
数値の管理がやりやすい。

RedisがAWSで採用された意味はとても大きいと思います。
恐らく簡単には廃れないでしょう。
これからもどんどん活用して、理解を深めていきましょう！

勉強会は以上になります。
ご清聴ありがとうございました。

参考ページ
http://www.cyberagent.co.jp/technology/pdf/2012_16.pdf
http://redis.io/
http://rest-term.com/archives/3045/
https://github.com/nicolasff/phpredis
http://d.hatena.ne.jp/zentoo/20130718/1374152848
http://tech.gmo-media.jp/post/48748908427/introduce-redis-sentinel
http://www.atmarkit.co.jp/news/201009/07/redis.html
http://gihyo.jp/dev/clip/01/orangenews/vol59/0002

参考ページ
http://sourceforge.jp/magazine/11/02/24/060248
http://antirez.com/news/49

Redis勉強会資料(2015/06 update)

More Related Content

What's hot (20)

Viewers also liked (14)

More from Yuji Otani (19)

Redis勉強会資料(2015/06 update)