Submit Search
MariaDB Spider Mroonga 20140218
5 likes
4,987 views
K
Kentoku
Talking about Spider and Mroonga with MariaDB 10.0
Technology
Read more
1 of 32
Download now
Downloaded 26 times
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
More Related Content
PDF
Spiderの最新動向 20130419
Kentoku
PDF
Spiderの最新動向 20131009
Kentoku
PDF
Spiderストレージエンジンのご紹介
Kentoku
PDF
Spider storage engine (dec212016)
Kentoku
PDF
Spider DeNA Technology Seminar #2
Kentoku
PDF
MariaDB 10.3から利用できるSpider関連の性能向上機能・便利機能ほか
Kentoku
PDF
Spiderストレージエンジンの使い方と利用事例 他ストレージエンジンの紹介
Kentoku
PDF
hs_spider_hs_something_20110906
Kentoku
Spiderの最新動向 20130419
Kentoku
Spiderの最新動向 20131009
Kentoku
Spiderストレージエンジンのご紹介
Kentoku
Spider storage engine (dec212016)
Kentoku
Spider DeNA Technology Seminar #2
Kentoku
MariaDB 10.3から利用できるSpider関連の性能向上機能・便利機能ほか
Kentoku
Spiderストレージエンジンの使い方と利用事例 他ストレージエンジンの紹介
Kentoku
hs_spider_hs_something_20110906
Kentoku
What's hot
(20)
PPTX
MySQLの運用でありがちなこと
Hiroaki Sano
PDF
MySQLバックアップの基本
yoyamasaki
PPT
20170329 D3 DBAが夜間メンテをしなくなった日 発表資料
dcubeio
PDF
MySQL のオンラインバックアップ & リカバリ
k_teru
PDF
MySQL Cluster 新機能解説 7.5 and beyond
Mikiya Okuno
PPTX
innodb_thread_concurrencyとtransparent hugepageの影響
hiroi10
DOC
cassandra調査レポート
Akihiro Kuwano
PDF
MySQL 初めてのチューニング
Craft works
PPTX
My sqlで2億件のシリアルデータと格闘した話
saiken3110
PDF
MySQL カジュアル 福岡 03
Aya Komuro
PDF
MySQLやSSDとかの話 前編
Takanori Sejima
PPT
Cassandraのしくみ データの読み書き編
Yuki Morishita
PDF
お金が無いときのMySQL Cluster頼み
aoike
PDF
S01 企業で活用が進む Microsoft Azureの仮想マシン (Windows)
Microsoft Azure Japan
PDF
Infinispan - Open Source Data Grid
nekop
PDF
Dbtechshowcasesapporo mysql-turing-for-cloud-0.9.3
infinite_loop
PDF
S10 日本東西リージョンでのディザスタ リカバリ環境の実現
Microsoft Azure Japan
PDF
tcpdump & xtrabackup @ MySQL Casual Talks #1
Ryosuke IWANAGA
PPTX
Persistence on Azure - Microsoft Azure の永続化
Takekazu Omi
PDF
MHA for MySQLとDeNAのオープンソースの話
Yoshinori Matsunobu
MySQLの運用でありがちなこと
Hiroaki Sano
MySQLバックアップの基本
yoyamasaki
20170329 D3 DBAが夜間メンテをしなくなった日 発表資料
dcubeio
MySQL のオンラインバックアップ & リカバリ
k_teru
MySQL Cluster 新機能解説 7.5 and beyond
Mikiya Okuno
innodb_thread_concurrencyとtransparent hugepageの影響
hiroi10
cassandra調査レポート
Akihiro Kuwano
MySQL 初めてのチューニング
Craft works
My sqlで2億件のシリアルデータと格闘した話
saiken3110
MySQL カジュアル 福岡 03
Aya Komuro
MySQLやSSDとかの話 前編
Takanori Sejima
Cassandraのしくみ データの読み書き編
Yuki Morishita
お金が無いときのMySQL Cluster頼み
aoike
S01 企業で活用が進む Microsoft Azureの仮想マシン (Windows)
Microsoft Azure Japan
Infinispan - Open Source Data Grid
nekop
Dbtechshowcasesapporo mysql-turing-for-cloud-0.9.3
infinite_loop
S10 日本東西リージョンでのディザスタ リカバリ環境の実現
Microsoft Azure Japan
tcpdump & xtrabackup @ MySQL Casual Talks #1
Ryosuke IWANAGA
Persistence on Azure - Microsoft Azure の永続化
Takekazu Omi
MHA for MySQLとDeNAのオープンソースの話
Yoshinori Matsunobu
Ad
Viewers also liked
(10)
PPT
Handlersocket etc. 20110906
akirahiguchi
PDF
カジュアルにMySQL Clusterを使ってみよう@MySQL Cluster Casual Talks 2013.09
Mikiya Okuno
PPT
HandlerSocket plugin for MySQL (English)
akirahiguchi
PPT
Handlersocket 20140218
akirahiguchi
PDF
MySQL 5.6への完全移行を実現したTritonnからMroongaへの移行体験記
Kentaro Yoshida
PDF
MariaDB ColumnStore 20160721
Kentoku
PPTX
日本語:Mongo dbに於けるシャーディングについて
ippei_suzuki
PDF
MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS編〜」
Kentaro Yoshida
PDF
VPとSPIDERを使ったMySQL運用
Ryuta Kamizono
PDF
In-Database Analyticsの必要性と可能性
Satoshi Nagayasu
Handlersocket etc. 20110906
akirahiguchi
カジュアルにMySQL Clusterを使ってみよう@MySQL Cluster Casual Talks 2013.09
Mikiya Okuno
HandlerSocket plugin for MySQL (English)
akirahiguchi
Handlersocket 20140218
akirahiguchi
MySQL 5.6への完全移行を実現したTritonnからMroongaへの移行体験記
Kentaro Yoshida
MariaDB ColumnStore 20160721
Kentoku
日本語:Mongo dbに於けるシャーディングについて
ippei_suzuki
MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS編〜」
Kentaro Yoshida
VPとSPIDERを使ったMySQL運用
Ryuta Kamizono
In-Database Analyticsの必要性と可能性
Satoshi Nagayasu
Ad
Similar to MariaDB Spider Mroonga 20140218
(8)
PDF
MariaDB 10.3 概要
GOTO Satoru
PDF
MariaDB meetup Tokyo 2019 #01
GOTO Satoru
PDF
Introducing Spider 20101206(DTT#7)
Kentoku
PDF
Spider Shibuya.pm #12
Kentoku
PDF
MariaDB Meetup Tokyo 2019 #2
GOTO Satoru
PPTX
たくさんあるよMy sql互換db(正式版)
tabun_muri
PPTX
Memcached api搭載の「my sql cluster 7.2」
貴仁 大和屋
PDF
Introducing mroonga 20111129
Kentoku
MariaDB 10.3 概要
GOTO Satoru
MariaDB meetup Tokyo 2019 #01
GOTO Satoru
Introducing Spider 20101206(DTT#7)
Kentoku
Spider Shibuya.pm #12
Kentoku
MariaDB Meetup Tokyo 2019 #2
GOTO Satoru
たくさんあるよMy sql互換db(正式版)
tabun_muri
Memcached api搭載の「my sql cluster 7.2」
貴仁 大和屋
Introducing mroonga 20111129
Kentoku
More from Kentoku
(13)
PDF
An issue of all slaves stop replication
Kentoku
PDF
How to migrate_to_sharding_with_spider
Kentoku
PDF
Using spider for sharding in production
Kentoku
PDF
Sharding with spider solutions 20160721
Kentoku
PDF
Mroonga 20141129
Kentoku
PDF
Mroonga 20131129
Kentoku
PDF
Newest topic of spider 20131016 in Buenos Aires Argentina
Kentoku
PDF
Mroonga 20121129
Kentoku
PDF
Mroonga unsupported feature_20111129
Kentoku
PDF
Spider HA 20100922(DTT#7)
Kentoku
PDF
Charms of MySQL 20101206(DTT#7)
Kentoku
PDF
Advanced Sharding Techniques with Spider (MUC2010)
Kentoku
PDF
Spider Performance Test(Bench Mark04242009)
Kentoku
An issue of all slaves stop replication
Kentoku
How to migrate_to_sharding_with_spider
Kentoku
Using spider for sharding in production
Kentoku
Sharding with spider solutions 20160721
Kentoku
Mroonga 20141129
Kentoku
Mroonga 20131129
Kentoku
Newest topic of spider 20131016 in Buenos Aires Argentina
Kentoku
Mroonga 20121129
Kentoku
Mroonga unsupported feature_20111129
Kentoku
Spider HA 20100922(DTT#7)
Kentoku
Charms of MySQL 20101206(DTT#7)
Kentoku
Advanced Sharding Techniques with Spider (MUC2010)
Kentoku
Spider Performance Test(Bench Mark04242009)
Kentoku
MariaDB Spider Mroonga 20140218
1.
MariaDB 10.0と Spider, Mroonga スパイラルアーム
/ チームラボ 斯波健徳
2.
Spiderストレージエンジン
3.
Spiderストレージエンジンとは? Spiderストレージエンジンは、 MySQL/MariaDBのプラグインで、 別のサーバにあるテーブルもしくはビューを、 ローカルのDBにあるテーブルもしくは パーティションとして利用できる機能を 提供します。 MariaDB 10.0.4から、標準でバンドル されています。
4.
Spiderストレージエンジンの用途 Spiderを利用すると 大量のデータを複数サーバに分散させて ①大量のトラフィックを処理したり(DBシャーディング) ②並列処理したり(パラレル処理) することができるようになります。 また、複数の別々のアプリケーションで利用しているDBを ③1つのDBとして利用することも可能 になります。
5.
Spiderの構成例 3.Response 1.Request AP AP AP AP AP 2.Just connect to
spider SPIDER SPIDER SPIDER (MySQL/MariaDB) (MySQL/MariaDB) (MySQL/MariaDB) tbl_a tbl_b tbl_c DB1 DB2 DB3 アプリケーションは、1つのデータベースに接続すれば、 他のデータベースを意識せずに利用できる。
6.
Spiderの使い方 (1/5) ①Spiderがバンドルされた MySQL/MariaDBをインストール ②MySQLにログインし、 Spiderをプラグインとしてインストール (install_spider.sqlを実行) ③テーブルを作成
7.
Spiderの使い方 (2/5) 1対1リンクテーブルなら CREATE TABLE
t1( c1 int, c2 varchar(100), PRIMARY KEY(c1) )ENGINE=spider DEFAULT CHARSET=utf8 COMMENT ' table "rt1", database "test", port "3306", host "データノードのホスト名", user "データノードログイン用ユーザ名", password "パスワード" '; ストレージエンジンにSpiderを指定し COMMENTに接続情報(パラメータ)を記述すればOK
8.
Spiderの使い方 (3/5) MariaDBだと、Spiderテーブルを作成する場合にカラムの 情報を省略しても、データノードの定義を引き継いで、 テーブルが作成されます。 CREATE TABLE
t1 ENGINE=spider DEFAULT CHARSET=utf8 COMMENT ' table "rt1", database "test", port "3306", host "データノードのホスト名", user "データノードログイン用ユーザ名", password "パスワード" ‘;
9.
Spiderの使い方 (4/5) 分割(sharding)テーブルなら CREATE TABLE
t1( c1 int, c2 varchar(100), PRIMARY KEY(c1) )ENGINE=spider DEFAULT CHARSET=utf8 COMMENT 'table "rt1", database "test", port "3306", user "データノードログイン用ユーザ名", password "パスワード"' PARTITION BY RANGE(c1) ( PARTITION p0 VALUES LESS THAN (100000) COMMENT 'host "h1"', PARTITION p1 VALUES LESS THAN (200000) COMMENT 'host "h2"', PARTITION p2 VALUES LESS THAN (300000) COMMENT 'host "h3"', PARTITION p3 VALUES LESS THAN MAXVALUE COMMENT 'host "h4"' ); テーブルのCOMMENTに共通する接続情報、 各パーティションにパーティション固有の接続情報を記述すればOK
10.
Spiderの使い方 (5/5) これらの接続情報は、CREATE SERVER構文を使ってあらかじめ 定義しておくこともでき CREATE
SERVER srv1 FOREIGN DATA WRAPPER mysql HOST 'データノードのホスト名', DATABASE 'test', USER 'データノードログイン用ユーザ名', PASSWORD 'パスワード', PORT 3306 ; CREATE TABLE t1( c1 int, c2 varchar(100), PRIMARY KEY(c1) )ENGINE=spider DEFAULT CHARSET=utf8 COMMENT 'table "rt1", server "srv1"'; のように利用することができます。
11.
Spiderのその他の機能
12.
Spiderのその他の機能 冗長化機能 テーブル・パーティションの単位で冗長度を設定可能 耐障害性機能 Spider標準のものだけではなく、MySQLで利用可能な 他のソリューションが利用可能 全文検索・位置情報検索対応機能 バックエンドのMySQLの全文検索・位置情報検索 機能がそのまま利用可能
13.
Spiderのその他の機能 NoSQL対応機能(MariaDB未) handlersocketに対応 OracleDB接続機能 データノードとしてOracleDBを利用できる機能です。 ※ソースコードからのビルドが必要です。 パラレル検索機能(MariaDB未、カスタマイズ版 MariaDB 10.0では利用可) shardingされているテーブルの検索時、 複数shardに対して並列に検索を行う機能です。
14.
Spiderが使われているサービス
15.
Spiderが使われているサービス Eight 50万人が使う名刺管理アプリ SpiderとMroongaが使われています。 https://8card.net/ CCM Escape Elastic
statistics cluster http://www.slideshare.net/skysql/ccm-escape-casestudy-skysql-paris-meetup-17122013
16.
Mroongaストレージエンジン
17.
Mroongaストレージエンジンとは? Mroongaストレージエンジンは、全文検索、 位置情報検索を提供するストレージエンジンで、 以下の特徴があります。 1. 高速な全文検索 2. 高速な位置情報検索 3.
検索中でも高速に更新が可能 (ロックフリーモデル) 4. 日本語全文検索に対応
18.
Mroongaストレージエンジンとは? 5. 他のストレージエンジンと組み合わせて、 全文検索と位置情報検索の機能を 付加することも可能 6. Spiderと組み合わせて、分散したデータへの 全文検索、位置情報検索が可能 Mroonga’s
document is available. http://mroonga.github.com/
19.
Mroongaが使われているサービス
20.
Mroongaが使われているサービス PatentField 無料の特許情報検索サイト 日本、海外主要国の特許情報を4,500万件以上収録。 全文検索、連想検索、権利の死活情報やパテントファミリーに 応じた絞り込みといった高度な特許検索サービスを提供 http://patentfield.com/ 全国最新地価マップ 中古住宅・土地購入の際に参考になる地価履歴やその周辺の 公共施設・交通機関などの基本的な情報を地図から表示する ためのサイト http://ww1.chikamap.com/
21.
Mroongaが使われているサービス nanapi 恋愛から生活ネタ、Webサービスの使い方まであらゆる生活の Howtoを集めているサイト http://nanapi.jp/ rec.to Twitterログ保存サービス http://rec.to/ HONYAKU STAR 日英辞書およびコーパス http://honyakustar.com/
22.
Mroongaが使われているサービス ikea-hikaku.com IKEA製品全9,625件の通販/買い物代行価格を比較紹介する サイト http://ikea-hikaku.com/ sinsai.info 東日本大震災 みんなでつくる復興支援プラットフォーム http://sinsai.info/ Bizreach 年収1000万円以上の転職サイト http://www.bizreach.jp/
23.
MariaDB 10.0
24.
MariaDB 10.0とは? MariaDB 10.0とは、次の最新安定版となるMariaDBで、 現在RC(Release
Candidate)で、まもなく安定版に なるというステータスです。 ・マルチソースレプリケーション ・パラレルレプリケーション が利用できるほか、 ・ engine-independent table statistics など、オプティマイザにも力が入っています。
25.
MariaDB 10.0とは? Spiderストレージエンジンが 既にバンドルされているほか、 Mroongaストレージエンジンも 現在バンドル作業中です。
26.
カスタマイズ版MariaDB 10.0
27.
カスタマイズ版MariaDB 10.0とは? カスタマイズ版MariaDB 10.0とは、 これまでSpiderバンドル版MySQL
5.5で加えていた カスタマイズと、 MariaDBの機能をよりよく利用するための カスタマイズを MariaDB 10.0に加えたバージョンです。 カスタマイズは、今後徐々にMariaDB本体に 組み込まれていく予定です。
28.
カスタマイズ版MariaDB 10.0とは? カスタマイズ版MariaDB 10.0では、現在のMariaDB 版では制限となっている、 slave_transaction_retry_errorsを使ったスレーブのリトライ 単一テーブルの更新の最適化 partitionされたSpiderテーブルの ・engine
condition pushdown ・fulltext index search ・spacial index search ・全件countの最適化 ・parallel search が、利用できるほか
29.
カスタマイズ版MariaDB 10.0とは? PartitionされたSpiderテーブルでBKA(Batched Key Access)を利用してjoinを高速化することができます。 Batched
Key Accessは、「join_cache_level=5」以上を 設定することで有効になります。 効果的なので、ぜひお試しください。 カスタマイズ版MariaDB 10.0 with Spider 3.1は以下から ダウンロードできます。 ソースコード http://spiderformysql.com/downloads/spider-3.1/mariadb-10.0.8-spider-3.1p.tgz バイナリ http://spiderformysql.com/downloads/spider-3.1/mariadb-10.0.8-spider-3.1-linux-x86_64p.tgz
30.
まとめ
31.
まとめ ・ Spiderストレージエンジンは、データベース シャーディングを実現するストレージエンジンです。 ・Mroongaストレージエンジンは、全文検索、位置 情報検索を提供するストレージエンジンです。 ・MariaDB 10.0には、Spiderが既にバンドル されており、Mroongaは現在バンドル作業中です。 ・カスタマイズ版MariaDB
10.0を利用すると Spiderの機能がより多く利用できるようになります。
32.
ご清聴ありがとうございました! Any Questions? You can
see me later! Come to visit me!! Kentoku SHIBA (kentokushiba [at] gmail [dot] com) http://spiderformysql.com
Download