爆速DB「PG-Strom」について 『PG-Strom v5リリース記念 GPUを活用したビッグデータ分析基盤を構築しよう」』
Download as PPTX, PDF0 likes120 views
本資料は3月15日(金)に開催された『PG-Strom v5リリース記念 GPUを活用したビッグデータ分析基盤を構築しよう」』の講演資料です。 動画はこちら https://youtu.be/wSSmYDDkFTI
爆速DB「PG-Strom」について 『PG-Strom v5リリース記念 GPUを活用したビッグデータ分析基盤を構築しよう」』
- 2. 自己紹介 • 本名：宮原 徹 • 1972年1月 神奈川県生まれ • 1994年3月 中央大学法学部法律学科卒業 • 1994年4月 日本オラクル株式会社入社 – PCサーバ向けRDBMS製品マーケティングに従事 – Linux版Oracle8の日本市場向け出荷に貢献 • 2000年3月 株式会社デジタルデザイン 東京支社長および株 式会社アクアリウムコンピューター 代表取締役社長に就任 – 2000年6月 （株）デジタルデザイン、ナスダック・ジャパン上場（4764） • 2001年1月 株式会社びぎねっと 設立 • 2006年12月 日本仮想化技術株式会社 設立 • 2008年10月 IPA「日本OSS貢献者賞」受賞 • 2009年10月 日中韓OSSアワード 「特別貢献賞」受賞 2
- 3. 日本仮想化技術株式会社 概要 • 社名：日本仮想化技術株式会社 – 英語名：VirtualTech Japan Inc. – 略称：日本仮想化技術／VTJ • 設立：2006年12月 • 資本金：3,000万円 • 売上高：1億8100万円（2022年7月期） • 本社：東京都渋谷区渋谷1-8-1 • 取締役：宮原 徹（代表取締役社長兼CEO） • 伊藤 宏通（取締役CTO） • スタッフ：11名（うち8名が仮想化技術専門エンジニアです） • URL：http://VirtualTech.jp/ • 仮想化技術に関する研究および開発 – 仮想化技術に関する各種調査 – 仮想化技術を導入したシステムの構築・運用サポート – 5G活用のためのインフラ・サービス研究開発 – DevOps支援サービスの提供 – GPUを活用した超高速データ分析基盤「爆速DB」の提供 ベンダーニュートラルな 独立系仮想化技術の エキスパート集団 3
- 6. PG-Stromの高速化手法 • PG-StromはPostgreSQLを拡張・高速化 – GPUによる超並列処理 – GPUDirect Storageによるデータ高速読込 – Apache Arrowによるデータ読込の最適化 • 通常は遅くなる処理を高速化 – インデックスが効かないフルスキャン検索 – ビッグデータの集計処理 – 位置情報データの検索処理
- 7. GPUによる超並列処理 • CPUとGPUのコア数に大きな違い – 現在のサーバー用CPUがプロセッサあたり最 大96コアから128コア – 現在のエンタープライズ用GPUが約5000コア – CPUのトレンドがNPU搭載に向かいつつある • データの検索処理や集計処理を並列化 – より多くのコアで超並列処理 – 単純な処理ほど並列化に向いている • 計算機は条件分岐などの複雑な処理が苦手
- 8. GPUDirect Storageによる高速読込 • NVMe接続されたストレージからGPUのメモリ に対して直接データを読み込む技術 – メインメモリ経由でGPUメモリに読み込むより高速 • PCIe 4.0 x4接続のSSDを4台接続して 256Gbpsの帯域幅を確保 – バイト換算で32GB/秒 ※理論値 • NVMe-oF（NVMe over Fabrics）により、外部 ストレージから高速なEthernet経由で直接読 み込みも可能 – 100GbEでバイト換算で約12GB/秒 ※理論値 ※理論値は概算値であり、プロトコルオーバーヘッドなどで実速度は低下します
- 9. GPUDirect Storage • データをメインメモリ経由ではなく直接GPU メモリに読み込み 9 データ GPUメモリ GPUコア メインメモリ CPU
- 10. Apache Arrowによる読込の最適化 • Apache Arrow形式はカラム（列）指向のデー タフォーマット – インメモリデータベースに向いている • あらかじめ集計などを行う列を抽出してデー タファイル化 – 読込量を減らして高速処理 • 更新はできないので検索処理のみに使用 – OLTP系DBならテーブルからArrow形式に変換 • Fluentdの出力をArrow形式で保存 – IoTなどのシステム
- 11. GPUキャッシュ • GPUメモリ上にデータをキャッシュ – ストレージからの読込不要に – GPUメモリに乗りきるデータサイズに有効 • Tesla A100で80GBのGPUメモリ • メインメモリでOLTP処理されているテーブ ルデータを差分同期可能
- 12. PostGIS関数のGPU対応 • 地理空間情報を扱うPostGIS関数をGPU対応 – 対応している関数は一部の関数のみ • PostGISでは点や線分、区画（ポリゴン）などを ジオメトリ型として扱う – 例：緯度経度からジオメトリ型（点）に変換できる • 関数の例 – st_contains()：ジオメトリa（ポリゴン等）にジオメトリ b（点など）が包含されるかを判定 – st_distance()：ジオメトリ間の距離を返す • GiSTインデックス利用で更に高速化可能
- 13. 現在の開発状況 • 新版バージョンVer5系が正式リリース – 内部アーキテクチャの改善 – DPU（NICなどのプロセッサ）対応 13 https://github.com/heterodb/pg-strom
- 14. OSS版とサブスクリプションの違い • OSS版とサブスクリプション購入には以下 の違いがあります 機能 OSS版 サブスクリプション GPU数 1基のみ 複数可能 GPUDirect Storage 1台のみ※ 複数台 GiSTインデックス結合 × ○ HyperLogLog × ○ 技術サポート × メール アップデートのサポート × ○ ※GeForceでは動きません
- 15. OSS版PG-Strom導入 • OSS版PG-StromはCUDA対応GPUがあれ ば動作可能 – GPUDirect StorageはNVIDIAのデータセン ター用GPUが必要 • 対応LinuxディストリビューションはCUDA がサポートされているもの – インストールのしやすさからRHEL系推奨 • インストールガイドを提供
- 16. 爆速DB • 「爆速DB」はPG-Stromをベースに導入から運 用までをワンストップでサポートするデータ分 析基盤ソリューションです • 推奨ハードウェア構成をベースにしたハード ウェアアプライアンスを提供しています – サブスクリプションのみ購入も可能 • 仮想マシンやコンテナでの動作もサポートし ます • GPUが扱える各種クラウドサービスにも対応 します – mdx、さくらの高火力サーバーなど
- 17. 活用ユースケース • 大容量ログの解析に – Webサービス等のアクセスログ – 通信ログ – IoTのセンサー等のログ • 位置情報分析 – 移動体通信デバイスの位置情報分析
- 19. ありがとうございました 19