[D26] データハブとしてのPostgreSQL～9.3で進化した外部テーブル～ by Shigeru Hanada
4 likes4,827 views
[D26] データハブとしてのPostgreSQL～9.3で進化した外部テーブル～ by Shigeru Hanada
- 1. データハブとしてのPostgreSQL ～9.3で進化した外部テーブル～ db tech showcase Tokyo 2013 2013-11-01 株式会社メトロシステムズ 花田 茂 © 2013 Metro Systems.
- 5. 外部テーブルとは？ PostgreSQLの外部にあるデータに通常のテーブルと同様 にSQL文でアクセスできる特殊なテーブルです。 （ビューに近い？） SQL規格での名前は「FOREIGN TABLE」 外部テーブルを作成するには、外部データの種類に応じ た「外部データラッパ」（FDW：Foreign Data Wrapper） が必要です。 SQL PostgreSQLサーバ 外部 テーブル テーブル PostgreSQL クライアント 検索 結果 外部 データ データ ファイル ラッパ 外部 データ 5 © 2013 Metro Systems.
- 7. 外部テーブルの進化(1) 8.4（2009年） SQL/MED基盤 外部データラッパ関連オブジェクトサポート 外部データラッパ、サーバ、ユーザマッピング 外部データの検索は未実装 dblinkやplproxyなどの外部モジュール用に管理情報のコンテナ を提供 postgres=> SELECT dblink_connect('con', 'host=foo,dbname=bar'); ... postgres=> SELECT * FROM dblink('con', 'SELECT id, name FROM remote_table WHERE col = ''value'' ORDER BY key') AS t (id int, name text); クエリを文字列で渡す →シンタックスチェックなし 結果の列型定義を 明示する必要がある 7 © 2013 Metro Systems.
- 13. 外部テーブルのデモ postgres_fdw 他のPostgreSQLサーバにアクセスできるFDW 9.1で外部テーブルと一緒に提案→却下 9.2でANALYZE対応などと一緒に提案→却下 9.3でようやくcontribに追加 長引いた原因はネーミング？ pgsql_fdw → postgresql_fdw → postgres_fdw 13 © 2013 Metro Systems.
- 14. postgres_fdw(1) まずはEXTENSIONを作成 自動的にFOREIGN DATA WRAPPERも作成 接続先サーバをSERVERで定義 オプション：host、port、dbnameなどのlibpqオプション リモートユーザをUSER MAPPINGで定義 オプション：user、password 外部データ構造をFOREIGN TABLEで定義 オプション：table_name 14 © 2013 Metro Systems.
- 16. postgres_fdw(3) WHERE句をリモートで評価して転送量削減 MUTABLE/STABLEの演算子/関数 ユーザ定義の演算子/関数 他のテーブルやビューとの結合が可能 同じサーバの外部テーブル同士でも、結合はローカルに持っ てきてから→大量データの場合は要注意 ORDER BYやLIMIT/OFFSETはローカル評価 頑張ればORDER BYはリモート評価できそうです 16 © 2013 Metro Systems.
- 18. postgres_fdw(5) リモート接続に関する注意点 ローカル接続が続いている限り、リモート接続は保持され る→リモート側をシャットダウンするとき注意 同じサーバ上の外部テーブルへのクエリは同じ接続で実行 REPEATABLE READまたはSERIALIZABLEの分離レベルを使用 18 © 2013 Metro Systems.
- 19. postgres_fdw(6) 検索だけでなく、更新も可能 INSERT/UPDATE/DELETE トランザクションも一部サポート リモートトランザクションをロールバック可能 二相コミットは未サポート 19 © 2013 Metro Systems.
- 20. 外部テーブルによるデータ統合(1) ログデータ ログをCSV形式で出力し、file_fdwで参照 ログをSQLで検索可能 ウィンドウ関数や集約関数などで統計処理も可能 20 © 2013 Metro Systems.
- 22. 外部テーブルによるデータ統合(3) 旧システムデータの活用 旧システムのデータを外部テーブル経由で参照すること で、データ流通基盤を構築せずにデータ連携が可能 新旧システム間のデータ移行にも利用可能 22 © 2013 Metro Systems.
- 33. FDW API(6) 更新用EXPLAIN ExplainForeignModify 更新クエリのEXPLAINで呼ばれる 更新ノードに表示する情報を追加する VERBOSEモードのon/off判定も可能 33 © 2013 Metro Systems.
- 35. 大変だな〜という人向けに blackhole_fdw Andrew Dunstan氏が公開 https://bitbucket.org/adunstan/blackhole_fdw APIに対応する関数を持つが、何もしない→検索しても０ 件、更新は空振り FDWのひな形として利用可能 35 © 2013 Metro Systems.
- 36. FDW関連の情報源 PostgreSQL wiki http://wiki.postgresql.org/wiki/SQL/MED PGXN http://pgxn.org 36 © 2013 Metro Systems.
- 37. おわりに ご清聴ありがとうございました。 37 © 2013 Metro Systems.