TECHTALK 20200715 分析データをセルフサービスで準備ーデータマネージャーでもっとできる
- 3. 3 Q&Aについて • 質問はZoom画面下のQAアイコンをクリックして入力してください。 • 質問に対してQlikパネラーが随時QAパネルで回答します。 • 質問と回答については、セミナーの最後に他の参加者に情報共有させていただきます。
- 4. 4 • データマネージャーの概要 • データマネージャーの機能 • データマネージャー利用のコツ
- 5. 5 • データマネージャーの概要 • データマネージャーの機能 • データマネージャー利用のコツ
- 7. 7 データマネージャーの概要 データマネージャーって、なに？ • Qlik Senseのビジネスユーザー向けデータ準備機能 - QlikViewに無かった機能
- 8. 8 データ準備とは • 分析用に取得したデータが、必ずしもそのまま分析に必要な形になっているわけではない。 • その時の分析要件に合わせてデータを変換したい（データのラストワンマイル） • 異なるソースからなる複数のデータを統合して分析したい。 データの集計・可視化・分析の直前に、データを変換すること
- 9. 9 データマネージャーの概要 データマネージャーって、なに？ • データマネージャーの特徴 - 基本的なデータ準備をビジネスユーザーがノンプログラミングで行える。 - 開発者向けのデータ変換機能（ロードスクリプト）と連携しているため、複雑な変換要件を含めたすべてのデー タ準備をQlik内で完結できる。 • ビジネスユーザーがデータマネージャーでデータ準備し、複雑なデータ変換処理を開発者に渡し、ロードスクリプトで処理する。 • DWH/ETLの変更処理が必ずしも必要ではない。 • 同じツール上で完結するため、ビジネスユーザーと開発者間のコミュニケーションコストが低い。 データマネージャーをうまく使えれば、 1. それほど複雑でない処理に関しては、ビジネスユーザー側でデータ準備できる。 2. 難しい処理についてはスムーズに開発者に依頼してQlik Sense内で解決できる。
- 10. 10 データマネージャーの概要 データマネージャーって、なに？ • データマネージャーの特徴 - 基本的なデータ準備をビジネスユーザーがノンプログラミングで行える。 - 開発者向けのデータ変換機能（ロードスクリプト）と連携しているため、複雑な変換要件を含めたすべてのデー タ準備をQlik内で完結できる。 • ビジネスユーザーがデータマネージャーでデータ準備し、複雑なデータ変換処理を開発者に渡し、ロードスクリプトで処理する。 • DWH/ETLの変更処理が必ずしも必要ではない。 • 同じツール上で完結するため、ビジネスユーザーと開発者間のコミュニケーションコストが低い。 データマネージャーをうまく使えれば、 1. それほど複雑でない処理に関しては、ビジネスユーザー側でデータ準備できる。 2. 難しい処理についてはスムーズに開発者に依頼してQlik Sense内で解決できる。 実はデータマネージャーだけでも 色々なデータ処理ができます
- 11. 11 • データマネージャーの概要 • データマネージャーの機能 • データマネージャー利用のコツ
- 12. 12 データマネージャーの機能 →データモデリングを行う機能 • データモデリングのステップ 1. データの取り込み：分析に必要な（複数の）テーブルを取りこむ 2. テーブル間の関連付け：テーブル間の関連を取って互いに参照できるようにする 3. データの変換：各テーブル内のデータを分析に必要な形に変換する
- 13. 13 データマネージャーの機能 →データモデリングを行う機能 • データモデリングのステップ 1. データの取り込み：分析に必要な（複数の）テーブルを取りこむ 2. テーブル間の関連付け：テーブル間の関連を取って互いに参照できるようにする 3. データの変換：各テーブル内のデータを分析に必要な形に変換する 各ステップにおいて、データマネージャーでできる処理、できない処理、できない処理を 可能にする工夫を整理して紹介します。操作の詳細手順は本セミナーでは触れません。 POINT
- 14. 14 データマネージャーの機能 • データモデリングのステップ： 1. データの取り込み 2. テーブル間の関連付け 3. データの変換
- 15. 15 データ取り込み • データ種類別取り込み方法 - データベース、クラウドストレージ、外部アプリケーション - ファイル - 直接手動入力 - 作成済みの既存データ接続やファイル
- 16. 16 データ取り込み • 「データを追加」画面でのデータの操作 - 取り込むテーブルと項目を選択 - 項目名を変更 - ヘッダーサイズを変更 - 演算子（=や>）でデータをフィルタリング
- 17. 17 データ取り込み DEMO
- 18. 18 データ取り込み • 取り込み時のポイント - 取り込むテーブルと項目を選択→分析使わないテーブルや項目は取りこまない - 項目名を変更→例：「氏名」→「顧客名」？「従業員名」？ - ヘッダーサイズを変更→ファイルの何行目に項目名が記録されているか？ - 演算子（=や>）でデータをフィルタリング→特定期間、特定カテゴリのデータを抽出
- 19. 19 データマネージャーの機能 • データモデリングのステップ： 1. データの取り込み 2. テーブル間の関連付け 3. データの変換
- 20. 20 テーブル間の関連付け • 関連付け→テーブル間の共通キー項目を指定する作業。 • テーブルを関連付けることで、両テーブルの項目を組み合わせて集計できる。 受注 取引先 「取引先コード」をたどって、「取引先名」ごとの 「販売金額」の合計を集計できる
- 21. 21 テーブル間の関連付け • Qlikにおけるテーブル間の関連付けは、一般的なSQLの結合（JOIN）とは異なります。 - 結合タイプの指定は不要。Qlikではキーとなる項目を指定するだけでよい。 - 連想技術（特許）→すべての項目の値の関連あり/なしをQlik内に保持する。 • より詳細を知りたい方はYoutubeで「Qlik 連想技術」で検索
- 22. 22 テーブル間の関連付け • データプロファイリング機能で自動関連付け - 「推奨される関連付け」から関連付け - テーブル（バブル）をドラッグ&ドロップして関連付け • 関連付け項目の変更 • 複合キーの設定 • 関連付けの解除 関連付けの方法
- 24. 24 テーブル間の関連付け • データプロファイリング機能で自動関連付け - 「推奨される関連付け」から関連付け - テーブル（バブル）をドラッグ&ドロップして関連付け • 関連付け項目の変更 • 複合キーの設定 • 関連付けの解除 関連付けの方法
- 25. 25 結合・連結（Not 関連付け） • 結合（JOIN）- テーブルの横結合 - LEFT/RIGHT/INNER/OUTERの結合形式をサポート。 • 連結（CONCATENATE） - テーブルの縦連結 - 自動連結 - 強制連結 • 結合・連結したテーブルの分割 結合・連結もデータマネージャーでできるようになっています。
- 27. 27 結合・連結（Not 関連付け） • 結合（JOIN）- テーブルの横結合 - データマネージャーではLEFT/RIGHT/INNER/OUTERの結合形式をサポートしています。 • 連結（CONCATENATE≒UNION） - テーブルの縦連結 - 自動連結 - 強制連結 • 結合・連結したテーブルの分割 結合・連結もデータマネージャーでできるようになっています。
- 28. 28 データマネージャーの機能 • データモデリングのステップ： 1. データの取り込み 2. テーブル間の関連付け 3. データの変換
- 29. 29 データ変換 • テーブルエディタでデータを変換 • テーブル関連付けの画面で任意のテーブル （バブル）をダブルクリックするとテーブルエ ディタが開く。 • 画面の見方 • テーブルエディタツールバー • データプレビュー • データプロファイリングカード データプレビュー データプロファイリングカード テーブルエディタ テーブルエディタツールバー
- 30. 30 データ変換 • テーブル名の変更 • ピボットの解除 • 計算項目の追加 • データソースから項目・値の更新 テーブルエディタツールバー テーブルエディタツールバー
- 32. 32 データ変換 • テーブル名の変更 • ピボットの解除 • 計算項目の追加 • データソースから項目・値の更新 テーブルエディタツールバー テーブルエディタツールバー
- 33. 33 データ変換 • ピボットの解除 - データ横持ちのテーブルを縦持ちに変換。※特にエクセルの帳票 - 複数にネストした列を持つテーブルの変換→ロードスクリプト テーブルエディタツールバー 捕捉
- 34. 34 データ変換 • 計算項目の追加 - 四則演算や関数を使用した項目の作成 - 単価×数量-割引=売上 項目 • データソースから取りこむ項目・値の更新（≒「データを追加」） - 取り込みたい項目を絞る - 取り込みたい値にフィルターをかける - ヘッダーサイズを変える テーブルエディタツールバー 捕捉
- 35. 35 データ変換 • 項目名変更 • データ形式の変更 • 関連付け • Analyticsからの非表示 • （作成済みの）計算項目の削除 データプレビュー データプレビュー
- 37. 37 データ変換 • 項目名変更 • データ形式の変更 • 関連付け • Analyticsからの非表示 • （作成済みの）計算項目の削除 データプレビュー データプレビュー
- 38. 38 データ変換 • 項目名の変更 • データ形式の変更 - 基本的には日付を検知すると日付型で入る - そうならなかった項目について、型・入力の形式・出力の形式を指定してあげる データプレビュー 捕捉
- 39. 39 データ変換 • 項目サマリの確認 • データの置換 • NULL処理 • 順序変更 • 項目の分割 • バケット化（グルーピング） データプロファイリングカード データプロファイリングカード
- 41. 41 データ変換 • 項目サマリの確認 • データの置換 • NULL処理 • 順序変更 • 項目の分割 • バケット化（グルーピング） データプロファイリングカード データプロファイリングカード
- 42. 42 データ変換 • データの置換 - 特定の値を別のデータに変換する - 名寄せ（国名：US、USA、アメリカ合衆国） • NULL処理 - 特定の値をNULLに変更する - NULLを想定しているのにNULL以外で取りこまれた項目（空白、'NULL'、'無し'）の処理 • 順序変更 - シート編集におけるソートよりも優先的に反映される - 例：都道府県を東から並べる、役職や支店の順序を社内ルールに合わせる データプロファイリングカード 捕捉
- 43. 43 データ変換 • 項目の分割 - インスタンス→区切り文字（スペース、記号） - 位置、これらの位置→何文字目で区切るか • バケット（グルーピング、ビニング） - 年齢→年代に変更 - 金額などの数値に応じて規模やクラスを作成（大・中・小、プラチナ・ゴールド・シルバー） - バケットが使える条件 • サマリーでメジャーに分類されている • 10個以上の固有値が項目に含まれる • 項目内に2割以上異なる型のデータが含まれない。 データプロファイリングカード 捕捉
- 44. 44 • データマネージャーの概要 • データマネージャーの機能 • データマネージャー利用のコツ
- 45. 45 データマネージャー利用のコツ • データモデリングの前に、できるだけ使用するデータのことを知る。 • 「データの追加」画面やテーブルエディタでデータを見る。 • 社内のデータ定義書を入手する。 • データ利用者や管理者にデータ定義を確認する。
- 46. 46 データマネージャー利用のコツ • データモデリングの前に、できるだけ使用するデータのことを知る。 • 「データの追加」画面やテーブルエディタでデータを見る。 • 社内のデータ定義書を入手する。 • データ利用者や管理者にデータ定義を確認する。 結果として、データモデリングの作業効率が上がる。 また、その後のダッシュボード作成、分析の効率も上がる。
- 48. 48 データマネージャー利用のコツ • 関連付け？結合？どちらを選択するか - 原則、Qlikの特徴を活かすために関連付け。 - パフォーマンスの問題が発生する場合や、モデルが複雑化して管理性が悪くなる場合に、結合を検討。 複雑なモデル 結合（JOIN）を検討シンプルなモデル ✓ 「関連付け」モデリング ✓ スノーフレークスキーマ ✓ パフォーマンス悪化 ✓ モデルの複雑化 ✓ 複数階層に正規化された テーブルの結合 ✓ スタースキーマ化
- 49. 49 データマネージャー利用のコツ • テーブルエディタを使用したテーブル内の項目や値に関する処理は関連付け操作の前に行う - 既に他テーブルと関連付けされている場合は、一度引きはがすことを推奨します データ変換を行ってから テーブル間を関連付け
- 50. 50 データマネージャー利用のコツ • モデル内のテーブルを削除するときは、モデルから切り離してから削除する。 - モデル全体の関連付けに影響を及ぼす可能性がある。 テーブルの削除を検討 モデルから切り離す テーブルを削除 DELETE
- 51. 51 データマネージャー利用のコツ • 同一の項目を持つテーブルは自動的に縦に連結される（自動連結処理） - テーブルを追加してもバブルの数が増えないため、一瞬戸惑う - →連結したと思われるバブルのアイコンに注目 内部で複数テーブルが 連結されている
- 52. 52 データマネージャー利用のコツ • 同一の項目を持つテーブルは自動的に縦に連結される（自動連結処理） - テーブルを追加してもバブルの数が増えないため、一瞬戸惑う - →連結したと思われるバブルのアイコンに注目 内部で複数テーブルが 連結されている ちなみに： 同じフォルダ/ディレクトリのファイルを まとめて読み込む処理 →ロードスクリプトで記述
- 53. 53 データマネージャー利用のコツ • Qlik Sense Business/Qlik Sense Enterprise SaaSにファイルを取り込む際、データファイル領 域に同名のファイルが既に存在する場合の選択肢 1. 新しいファイルに「置換」 2. 既にアップロード済みの古いファイルを使用 • 両ファイルの共存はできない - ファイル領域に新旧データを残したい場合は取りこむ前にリネーム処理をする。
- 54. 54 Q&A
- 55. 55 質疑応答 1. データマネージャを利用するには、どのライセンスが必要でしょうか？誰でも利用できるのでしょうか？ - Qlik Senseの開発者向けのProfessionalライセンスが必要です。 2. 結合や連結が出来るという説明がありましたが、関連付けとどのように異なるのでしょうか？また、どの様に行うのでしょうか？ - 関連付けはテーブル間をキー項目で関連付けるものです。結合は共通のキー項目を使用して、元テーブルに結合したいテーブルを横付けして １テーブルにすることです。1テーブルには結合したいテーブルのキー項目以外の項目が追加されます。連結は、元テーブルに対して連結したい テーブルを追加します。元テーブルは連結したテーブル分のレコード数が増加します。結合、連結したいテーブルを選択して、データマネージャー 画面下の連結または結合メニューを使用して実行します。 3. データ変換すると、データ量が多いと分析のレスポンスに影響しませんか？ - 数千万レコードで、項目数が数十というような数十億セルの明細テーブルの場合は影響する可能性はあります。 4. ファイルの取り込みで、ファイル名にワイルドカード指定は可能でしょうか？ - データマネージャーでは対応していません。データロードエディタにて対応可能です。（本編で説明しきれませんでしたが、本資料52ページに記 載があります。） 5. 本日ご紹介いただいたデータマネージャの機能のうち、2019/2020年のVerUPで追加された機能を教えてください。 - 2019年9月リリースでの「JOIN（結合）のサポート」が該当します。 他の参加者にも有益と思われる質問に関して、こちらで共有します。
- 56. 56 各種情報のご提供 QlikSpace Qlik Community Japan Youtube – Qlik Japan Qlik Partner Portal 製品最新情報、イベント情報、チュートリアル、サンプルアプリ 製品・技術Q&A、製品関連資料 新製品リリースの説明ムービーなど 製品プレゼンテーション資料など（PPT)
- 57. 57 Qlik Senseの書籍出版（予定） タイトル：Qlik Sense ユーザーのためのデータ分析実践バイブル ■■仕様等 ・判型：B5 変 ・予定総ページ数：～496 ページ ・予価本体：4,200円 ＋税 ・刊行予定日：2020年9月 • QlikSpaceの記事をベースに、書籍用に大幅にカスタマイズ＆加筆 • 1 冊でQlik Sense の基本をマスターし（＝基本編）、ニーズの高い分 析例（＝応用編）をできるだけ丁寧に紹介
- 58. Thank You!