Boost.B-tree introduction
3 likes2,263 views
introduction to Boost.B-tree. presented on Boost.勉強会#7 http://partake.in/events/a85f6ec3-95c4-40ee-8308-a5746c6277d4
![B-treeとは
● データ構造(C++風に言うとコンテナ)の一種
● 古来よりHDD上で(ファイルシステムの実装に)活用される
● 近年オンメモリDBとして注目されている[要出典]
○ KyotoCabinetなど
● 派生のデータ構造たくさん
○ B+, B*, B#, Bx, UB, Dancing, H](https://image.slidesharecdn.com/boostbtreeintroduction-111203010736-phpapp02/85/Boost-B-tree-introduction-4-320.jpg)
![標準連想コンテナとの違い
● テンプレートパラメータ
○ エンディアンを指定する
● Key とTへのより厳しい制約
● イテレータの無効化規則は、通常の古い連想コンテナより順序
無し連想コンテナにより近い
● [multi]map value_type は std::pair<> ではなく、
map_value<> である
● iterator と const_iterator は同じ型であり、それは不
変なイテレータである
● いくつかのメンバ関数が削除され、いくつかが追加された](https://image.slidesharecdn.com/boostbtreeintroduction-111203010736-phpapp02/85/Boost-B-tree-introduction-21-320.jpg)
![digraph btree {
rankdir=LR;
fontname=Courier;
node [shape = record,margin=.1,width=.1,
height=.1,fontname=Courier,style="filled"];
node1[label = "<f0> 0|1|2|3|4|5|6|7|8|9",
fillcolor="palegreen"];
}](https://image.slidesharecdn.com/boostbtreeintroduction-111203010736-phpapp02/85/Boost-B-tree-introduction-28-320.jpg)
Boost.B-tree introduction
- 1. Introduction to Boost.B-tree takayuki_goto@kstm.org (@eldesh)
- 2. 自己紹介 ● hatena-id:eldesh, @eldesh ● C++/ML er ● github ○ Inhert.PEG :: packrat parser library ● codeplex ○ msgpack-sml :: SML message-packシリアライザ ● 就職活動中なう…。 ○ 拾ってください＞＜
- 3. 目次 ● Boost.B-treeとは ● B-treeとは ○ 性質 ○ 効率 ○ 採用事例 ● Boost.B-treeの特徴 ● Boost.B-treeの使い方 ● Boost.B-treeの実装 、制限
- 4. B-treeとは ● データ構造(C++風に言うとコンテナ)の一種 ● 古来よりHDD上で(ファイルシステムの実装に)活用される ● 近年オンメモリDBとして注目されている[要出典] ○ KyotoCabinetなど ● 派生のデータ構造たくさん ○ B+, B*, B#, Bx, UB, Dancing, H
- 6. B-treeの性質 ● 平衡多分木の一つ ○ 自動で常にバランスする ● 全てのリーフノードはルートから同じ距離になる ● ノード数は一定 ● HDD上で性能が出る ● SSDでも速い(らしい)
- 7. B-treeの効率 ● 他のコンテナとの比較 コンテナ イテレータ メモリ効率 検索 挿入 削除 B-tree bi-directional N*1.25 O(logmN) O(logmN) O(logmN) (最悪N*2) RedBlack-tree bi-directional N*3(or 2) O(log2N) O(log2N) O(log2N) (std::mapなど) SkipList (bi- N*2(？) O(log2N) O(log2N) O(log2N) directional)
- 8. B-tree採用事例 ● NTFS(B+-tree) ● ext3,4(hashed B-tree) ● HFS(B-tree) ● Reiser4(Dancing B*-tree) ● XFS(B+-Tree) ● MySQL(B-tree) ● SQLite(B-tree) ● BerkeleyDB(B+-tree) ● CouchDB(B-tree) ※単に B-tree と言った場合、派生アルゴリズムを含む "B-tree系" の総称として用いることが多いと思われる
- 10. Beman Dawes →
- 11. Boost.B-tree
- 12. Boost.B-treeの特徴 ● std::set, std::mapライクなコンテナ ● B+-treeで実装されている ● 自動でファイルに同期 ● ライブラリレベルでのキャッシュ管理 ● preloadによる高速化オプション ● packによるメモリ効率最適化オプション ● 格納出来る値に制限がある ● 実はBoostに入ってない :p
- 13. B+-tree
- 14. インストール git clone https://github.com/Beman/Boost-Btree.git xbtree (注) Boost全部チェックアウトします svn export --force http://svn.boost.org/svn/boost/trunk xbtree cd xbtree ./bootstrap.sh cd libs/btree/test ../../../bjam
- 15. 動作確認&ベンチマーク $ cd xbtree/libs/btree/test $ bjam $ cd ../tools $ bjam $ bin/bt_time 10000 -stl -p4096 -c1000
- 16. ライブラリファイル構成 boost/btree detail/ support/ dynamic_size.hpp <- 可変サイズKey,Valueメタ関数 header.hpp <- Btreeのヘッダクラス map.hpp <- btree_map, btree_multimap set.hpp <- btree_set, btree_multiset
- 17. example/btree_set using namespace boost::btree; typedef btree_set<int> set_type; set_type s("set.btr", flags::truncate); s.insert(0); s.insert(1); s.insert(2); for (set_type::iterator it=s.begin(); it!=s. end(); ++it) cout << it << 'n'; // output // 0 // 1 // 2
- 18. example/btree_map typedef btree_map<int, long> map_type; map_type m("bt_map.btr", flags::truncate); m.emplace(2, -2); // m.insert(make_pair(2, -2)) m.emplace(3, -3); m.emplace(1, -1); for (map_type::iterator it=m.begin(); it!=m. end(); ++it) cout << it->key() << " --> " << it- >mapped_value() << 'n'; // 2 --> -2 // 3 --> -3 // 1 --> -1
- 19. example/btree_multiset typedef boost::btree::btree_multiset<int> set_type; set_type s("set.btr", flags::truncate); s.insert(1); s.insert(2); s.insert(2); s.insert(2); s.insert(3); set_type::const_iterator_range rng=s. equal_range(2); for (set_type::const_iterator it=rng.first; it! =rng.second; ++it) cout << *it << 'n'; // output: // 2 // 2 // 2
- 20. example/btree_multimap typedef btree_multiset<strbuf,strbuf> map_type; map_type m("map.btr", flags::truncate); m.emplace("eat","comer0"); m.emplace("eat","comer1"); m.emplace("eat","comer2"); m.emplace("drink", "beber"); map_type::const_iterator_range rng=m.equal_range ("eat"); for (map_type::iterator it=rng.first; it!=rng. second; ++it) cout << it->key() <<"-->"<< it->mapped_value() << 'n'; // output: // eat -> comer0 // eat -> comer1 // eat -> comer2
- 21. 標準連想コンテナとの違い ● テンプレートパラメータ ○ エンディアンを指定する ● Key とTへのより厳しい制約 ● イテレータの無効化規則は、通常の古い連想コンテナより順序 無し連想コンテナにより近い ● [multi]map value_type は std::pair<> ではなく、 map_value<> である ● iterator と const_iterator は同じ型であり、それは不 変なイテレータである ● いくつかのメンバ関数が削除され、いくつかが追加された
- 22. Key, Tへの制約 btree_map< class Key, class T <- コレ , class Traits=default_endian_traits , class Comp=btree::less<T> > ● static_assert(std::is_trivially_copyable<T>::value==true,"") ○ memcpyします ● ポインタではないこと を要求する。
- 23. Key, Valueのバイナリ表現 template<class T1, class T2> class map_value { // btree_map<>::value_type T1 const& key() const { return *reinterpret_cast<const T1*>(this); } T2 const& mapped_value() const { return *reinterpret_cast<const T2*>( reinterpret_cast<const char*>(this) + dynamic_size(key())); } }; // キャストでアクセスするので // std::pair<>は使えない
- 24. マップされた値の更新 ● iterator と const_iterator は同じ型であり、 不変なイテレータである btree_map::iterator it=m.find(2); it->mapped_value() = "hoge"; // error ● 値の更新は専用メソッドを使う iterator btree_map<K,V>::update(iterator, V const&);
- 25. example/update typedef btree::btree_map<int, long> map_type; map_type m("bt_map.btr", btree::flags:: truncate); m.emplace(2, -2); m.emplace(3, -3); m.emplace(1, -1); map_type::iterator it=bt_map.find(2); //じつはconst_iteratorでも… cout << it->mapped_value() << "n"; m.update(it, 20L); cout << it->mapped_value() << "n"; // -2 // 20
- 26. Boost.B-treeでは出来ないこと ● std::stringは使えない ○ trivially_copyableをkey,valueに要求する ○ 文字列を使うためのwrapperはある ● コンテナに値を追加すると勝手にファイルに書き出される ● シリアライザでは無い ○ Boost.Serializationの代替ではない ○ 複雑なデータ型はB-treeの上に構築する
- 27. 追加された関数(の一部) void open(const path& p, flags::bitmask flgs = flags::read_only, size_t node_sz = default_node_size) // node_sz ignored if existing file void flush(); void close(); bool is_open() const; size_t node_size() const; size_t max_cache_size() const; void max_cache_size(size_t m); void dump_dot(std::ostream &) const;
- 28. digraph btree { rankdir=LR; fontname=Courier; node [shape = record,margin=.1,width=.1, height=.1,fontname=Courier,style="filled"]; node1[label = "<f0> 0|1|2|3|4|5|6|7|8|9", fillcolor="palegreen"]; }
- 30. クラス階層
- 31. ページキャッシュ buffer_manager // ファイルとバッファの管理 ● intrusive::set<buffer> // と ● intrusive::list<buffer> // で管理
- 32. Feedback welcome! ● まだまだ開発途中 ● 名前もシグネチャも変わるかも知れない ● ドキュメントがぜんぜん無い ● 継続的に開発していくよ ● フィードバック歓迎！
- 33. References Organization and Maintenance of Large Ordered Indexes, Bayer and McCreight, 1972 https://github.com/Beman/Boost-Btree Proposed Boost.B-tree Library(ja)