More Related Content
2015年2月26日 dsthHUB 『オンプレミスとクラウドをシームレスに"つなぐ" 新製品「Thunderbus」の全貌』 2015年2月26日 dsthHUB 『DataSpiderインターナル プラガブルアーキテクチャで広がる可能性』 dstn交流会_data_spider 3.0最新情報とデモ 20120822_dstn技術交流会_DataSpider接続先技術動向 Amebaにおけるレコメンデーションシステムの紹介 20170819 ocd-l tthon-pgdev 2020 年も最高のゲームをつくろう！ Game Stack でゲーム開発をしよう！ ~ LiveOps とデータ分析編 ~ What's hot (20)
TB / Day規模のゲーム向けデータパイプラインを開発運用する日々 TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方 2020 年も最高のゲームをつくろう！ Game Stack でゲーム開発をしよう！ ~ マルチプレイサーバー編 ~ PPT Full version: 世界中のゲーム分析をしてきたPlayFabが大進化！一緒に裏側の最新データ探索の仕組みを覗いてみよう Microsoft Build 2021 前夜祭 LT#4 Infra as Code Sapppro Casual 札幌の開催趣旨とTest-Kitchenの話 Preview: 世界中のゲーム分析をしてきたPlayFabが大進化！一緒に裏側の最新データ探索の仕組みを覗いてみよう データ活用を効率化するHadoop WebUIと権限管理改善事例 Sparkを活用したレコメンドエンジンのパフォーマンスチューニング＆自動化 SINoALICE -シノアリス- Google Cloud Firestoreを用いた観戦機能の実現について JAWS-UG三都物語 クラウドとデバイスが連携するアジェンダ [Azure Deep Dive] Spark と Azure HDInsight によるビッグ データ分析入門 (2017/03/27) Data Factory V2 新機能徹底活用入門 Multi Cloud Design Pattern(Beta) [CWT2017]Infrastructure as Codeを活用したF.O.Xのクラウドビッグデータ環境の変化 More from dstn (16)
2015年2月26日 dsthHUB LT資料『Trello と Excel による快適ふりかえりライフ』 2015年2月26日 dsthHUB LT資料『DataSpider ServistaでBoxに接続してみた』 AWSセンターデータリミックスハッカソン - チームEnter発表資料 - AWSセンサーデータリミックスハッカソン - チームAyumi発表資料 - AWSセンサーデータリミックスハッカソン - チームAir発表資料 - AWSセンサーデータリミックスハッカソン -No1チーム発表資料- 2014年4月17日 dstnHub発表スライド ライトニングトークス「開発部開発グループ DataSpiderでブラウザ連携」 2014年4月17日 dstnHub発表スライド ライトニングトークス「開発部開発グループ OAuth2.0 認証を実現してみた」 2014年4月17日 dstnHub発表スライド ライトニングトークス「開発部QAグループ 製品パッチ」 20131030 dstnハッカソン 少子化対策プロジェクト 20131030 dstnハッカソン - ワークショップ 20120822_dstn技術交流会_すぐに使えるsdkアダプタ開発 20120822_dstn技術交流会_仮想化について 20120822_dstn技術交流会_dstnのご紹介と最新技術情報 dstn交流会_DataSpider のソーシャルとの融合、手組との融合 2014年4月17日 dstnHub発表スライド「dataspiderインターナル：アーキテクチャ編」
- 2. 自己紹介
• 名前
– 土岐 拓未 (とき たくみ)
• 所属
– 株式会社アプレッソ 開発部
• 開発グループ 第2グループリーダー
• 担当業務
– PIMSYNC、その他新製品開発
• dstn担当
– 連載記事の執筆・管理
• 神尾みかさんのDS自由自在
• DataSpiderデザインパターンβ
• DataSpider Cookbook
• dstn インタビュー
– パワポ絵職人
神尾みかさん
- 17. DSS 2.0DS 1.5 vs
ループ、分岐処理の処理速度比較データ
100万件のデータを繰り返し・分岐させた合計
値 繰り返し(LOOP) 分岐（IF)
DS1.5 6分7秒 5分16秒
DSS 2.0 0.8秒 0.9秒
繰り返し・分岐処理の処理コストは極限ま
で減少
- 32. コンポーネント 概要 詳細
XML Framework プリミティブ型で値を扱う
ように実装
高速・低メモリ負荷の処理を
実現
アダプタ全般 リソースプーリングによる
コネクションキャッシュ
コネクションのオープン/ク
ローズ回数を減少
データベースアダプタ 書き込み処理のBatch実行
大量データをまとめて書き込
むことでDB書き込みのパ
フォーマンスを上げる
データベースアダプタ PreparedStatementの使用
SQL実行の処理性能を向上
CSVアダプタ CSV読み取りに最適化した
ファイルI/O処理実装
PushbackReaderの独自実装
Mapper 処理による実行エンジンの
切り替え
複雑な処理、単純な処理でエ
ンジンを切り替えて高速化
・・・
さまざまなコンポーネントで行われているパフォーマンス最適
化実装
