Salesforce LDV(Large Data Volume) 20191018
4 likes1,151 views
Salesforce Architect Meetup Osaka #02 20191018
Salesforce LDV(Large Data Volume) 20191018
- 1. ⼤量データ(LDV)の考慮点 (LDV: Large Data Volume) 認定 Data Architecture and Management デザイナー 2019/10/18（⾦） Salesforce Architects Meetup Osaka#02
- 2. 今回の対象︓ 認定 Data Architecture and Management デザイナー 本⽇の トピック 2
- 3. 今回の対象︓ 認定 Data Architecture and Management デザイナー http://tandc.salesforce.com/credentials 3
- 4. 認定 Data Architecture and Management デザイナー に求められるスキル・知識 4
- 6. Salesforceの データストレージソリューション データストレージ ソリューション データの所在 Salesforce UI での検索・表⽰・ 変更 ⾃動化プロセス WF・トリガ・ プロセスビルダー 件数規模 標準・カスタム オブジェクト Salesforce(コア) ○ ○ ⽬安として 〜2,000万件 Salesforce Connect 外部システム (OData または Apex Connectorで参照) ○ 不可 ⽬安として 〜2,000万件 Heroku Connect (⼀⽅向/双⽅向同期) Salesforce (Herokuとコアと同期) ○ ○ ⽬安として 〜2,000万件 Heroku Connect (Proxy) Salesforce(Heroku) (Salesforce Connectの 外部Objectとして利⽤) ○ 不可 ⽬安として 〜2,000万件 Big Objects Salesforce(⾮RDB) 不可 不可 〜数⼗億⾏ Einstein Analytics Salesforce(BI) 不可 不可 〜10億⾏ 6
- 11. RDBMSとSalesforceのアーキテクチャ⽐較 アプリケーション 11 インデックス テーブル外部キー 統計情報 実⾏計画 RDBMS SQL 結果セット アプリケーション Salesforce SQL 結果セット RDBMS︖ SOQL 結果（レコード） マルチテナント アーキテクチャ 標準項⽬ インデックス カスタム項⽬ 関連 参照・主従 権限・共有 ガバナ制限
- 12. RDBMSとSalesforceのLDV対策の例 12 CRUD RDBMS Salesforce C:登録 ・登録時はインデックスを削除、後で作成 ・可能であれば、登録後に関連を設定 ・共有の適⽤を延期 ・WFルールなど⾃動化機構を無効化 R:参照 ・選択性の⾼いインデックスを利⽤ ・クエリする項⽬を少なく ・Mview、パーティショニング ・インデックス／カスタムインデックス ・スキニーテーブル U:更新 ・・・ ・UpdateとUpsertの特性を理解、 使い分け D:削除 ・全件削除はtruncate ・論理削除、物理削除 ・ごみ箱 ・切り捨て ⾮ 同 期 処 理 の 活 ⽤ ( バ þ チ ︑ Bulk)
- 15. LDV︓クエリ・検索の考慮 Ø ⾮同期処理の活⽤ ②⼀括クエリ(Bulk APIクエリ) 10万件(既定値)〜25万件(最⼤)のチャンク(データの塊)に分割して抽出する。 最⼤15GBのデータを取得できる(1GB x 15ファイル)。 チャンクが1GBを超える場合や、取得に10分以上かかる場合、失敗する。 PK Chunking(IDによるチャンク分割)を検討する。 1,000万件を超えるオブジェクトをクエリする場合に推奨。 15 外部システム Bulk API 例 Dataloader ①クエリの処理時間は2分まで Bulk API ジョブ バッチ チャンク チャンク ③結果は、1GBまでのファイルが 最⼤15個作成される 結果ファイル 結果ファイル 結果ファイル PK チャンクが有効な場合、 分割して処理される 結果ファイル
- 20. LDV︓読み込み(登録・ロード)の考慮 Ø 効率よいAPIの利⽤ ①Bulk API の利⽤ ・⼤量のデータを処理するのに向いている。 ・サーバ側では要求を複数のジョブに分割し、⾮同期で処理される。 20 外部システム Bulk API 例 Dataloader ①バッチの登録数は、24時間あたり 10,000個まで Bulk API ジョブ バッチ バッチ チャンク チャンク ②バッチのあたりの処理時間は10分まで ③バッチのあたりの処理件数は10,000件まで さらに内部では チャンクに分割して処理される ⼊⼒ファイル
- 21. リソース
- 22. 参考︓認定 Data Architecture and Management デザイナー Trailmix 22