![管理コンソール上での機械学習エンドポイントの有効化
管理コンソール上で [ 機械学習エンドポイント ] を有効化します。
「機械学習エンドポイント」をオンにします。
63](https://image.slidesharecdn.com/techtalkenhancementsforqlikautoml20241112-241112070613-25cce65e/85/TECH-TALK-Enhancements-for-Qlik-AutoML-Qlik-AutoML-63-320.jpg)
![ご質問 回答
特徴量を自動で判断して抜いてくれるという話があったかと思
います。
ということは、かなり多めの項目をトレーニングデータとして
input すれば 自動的に取捨選択してくれる、というイメージで
いいのでしょうか。
（不要な特徴量をはなから除いたトレーニングデータでの予測
と不要な特徴量を含んだまま実験の段階でチェックをはずして
の予測では結果は同じになる、という認識でよろしいのでしょ
うか）
基本的にそうですが、以下のようなことを考慮する必要はある
でしょう。
[ インテリジェント モデル最適化 >> 考慮事項 ]
https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/C
ontent/Sense_Hub/AutoML/intelligent-model-optimization.ht
m#anchor-5
上記、「その保証はない」と言うことでしょうか。 [TECHTALK 20230131 ビジネスユーザー向け機械学習入門 第
１回～機械学習の概要と、ビジネス課題と機械学習問題の定義 ]
https://www.slideshare.net/slideshow/techtalk-20230131/25
5636090#46
の P46 のデータリーケージなどを参照してみてください。
用意するデータそのものの質は問われるでしょう。](https://image.slidesharecdn.com/techtalkenhancementsforqlikautoml20241112-241112070613-25cce65e/85/TECH-TALK-Enhancements-for-Qlik-AutoML-Qlik-AutoML-74-320.jpg)
TECH TALK Enhancements for Qlik AutoML - Qlik AutoML 機能強化
- 1. TECH TALK New Enhancements for Qlik AutoML Qlik AutoML の機能強化 クリックテック・ジャパン株式会社 阿部智師 2024 年 11 月 12 日 1
- 2. TECH TALK とは？ Qlik の製品や機能の中から 特定のテーマを取り上げて、 技術的な情報を発信していくセミナー です。
- 3. • 質問は Zoom 画面下の Q&A アイコンをクリックして入力してください。 • 質問に対して Qlik パネラーが随時 Q&A パネルで回答します。 • 質問と回答については、セミナーの最後に他の参加者に共有させていただきます。 3 Q&A について
- 4. • 機械学習の入門について • Qlik AutoML の概要 • Qlik AutoML の予測の内容 • Qlik AutoML の利用フロー • Qlik AutoML の操作 • 注意事項 • 予測データの利用 • Qlik AutoML Connector を使った予測の連携 • リアルタイム予測 • Q&A • その他の情報 Appendix 4 Agenda
- 6. 6 ビジネスユーザー向け機械学習入門 機械学習を学べます！知れば知るほど楽しくなる。 ビジネスユーザー向け機械学習入門 第１回 ～機械学習の概要と、ビジネス課題と機械学 習問題の定義 https://youtu.be/BiEIHZXIbjQ ビジネスユーザー向け機械学習入門 第２回 ～機械学習のための学習データの前処理 https://youtu.be/LD4wm9BgkvI ビジネスユーザー向け機械学習入門 第３回 ～機械学習のモデルの評価と検証 https://youtu.be/YBIJhbgzvqk
- 8. 8 過去の Qlik AutoML のセッション もう一度復習！ Qlik AutoML による機械学習モデル生成の自動 化 （以前の Qlik AutoML が対象） https://youtu.be/neWkf8Nr1Ms QlikTips: 実践！ Qlik AutoML （主に、データ準備について） https://youtu.be/pS_qRi_qraA
- 9. 9 Qlik AutoML のポジション ビジネス・アナリティクス・ユーザーを対象としたシンプルな機能セット スクラッチ Python パッケージ Qlik AutoML ( 例 ) • データサイエンティスト • 5 人日 • コーディング ( 例 ) • データサイエンティスト • 1 人日 • コーディング ( 例 ) • ビジネスアナリスト • 1 時間 • ノーコーディング
- 10. 10 Qlik AutoML が対応している問題 ビジネスユーザの多くの課題にフォーカス 二値分類 多クラス分類 回帰 顧客は会員登録を キャンセルするか？ 顧客はどの分類となるか？ ２つのカテゴリーに分類 • Yes or No • 成功 or 不成功 etc. ２より多いカテゴリーに分類 • プラチナ、ゴールド、シルバー • 低、中、高 etc. 来月の売上見込は？ 数値 • 月ごとの売上高 • 来月の適正在庫量 etc.
- 11. 11 Qlik AutoML の利用にあたって 機械学習の知識がなくても大丈夫！ • 用意するモノ ⁃ トレーニング用データ ⁃ 予測用データ • 知っておきたい用語 • 実験：トレーニング用データを利用して機械学習アルゴリズムをトレーニングし、予測に利用す る機械学習モデルを生成します。 • 展開：予測用データを機械学習モデルに適用して、予測を実施します。予測結果はデータセット として生成されます。 • 特徴量：分析のためのデータセットの中から選定された、機械学習に読み込ませるために必要な データ • 目的変数（ターゲット）：予測により求めたい変数
- 13. 13 Confusion Matrix （混合行列） 指標 内容 計算式 Recall （再現率 / 真陽性率） 実際は正に対する正答率 TP / (TP+FN) Precision （適合率） 正予測の正答率 TP / (TP+FP) Accuracy （正解率） 全予測正答率 (TP+TN) / (TP+FP+FN+TN) F-measure （ F 値） 適合率と再現率の調和平均 (2×Precision×Recall) / (Precision+Recall) TP ○ FP × FN × TN ○ 実際は正 :Positive 実際は負 :Negative 予測が正 :Poitive 予測が負 :Negative •1 文字目： T(True) は予測正解、 F(False) は予測不正解。 •2 文字目： P は予測が正 (Positive) 、 N は予測が負 (Negative) ○ : 予測正解 × : 予測不正解
- 14. 14 Permutation importance モデルの全体的な予測に対して、各特徴量がどの程度重要であるか • データセット全体に対して計算されます。 • 予測モデルに最も重要な特徴量を理解できる • 各特徴量がモデルの作成にどの程度寄与しているか把 握できる • 含める特徴量を把握し、変更することでモデルを改良 できる
- 15. 15 SHAP importance 実験で作成された予測に関する重要なインサイトを提供 • 行レベルで計算されます。 • 予測に最も重要な特徴量を理解できる • 各特徴量がターゲットの予測値にどの程度寄与してい るか把握できる • 影響の値の方向（正・負）も表示できる ※ トレーニングでは、絶対値で表示されます。
- 16. 16 16 16 16 16 16 ROC 曲線 (Receiver Operating Characteristic) 機械学習 Roc 曲線 • 真陽性率 (true positive rate) と偽陽性率 (false positive rate) をそれぞれ縦軸と横 軸にプロットしたグラフ • ROC 曲線の下部分の面 (AUC = Area Under the Curve) の面積が大きいほど機 械学習の性能が良いことを意味します。 ×
- 17. 17 17 17 17 17 17 使用されるアルゴリズム データセットを入力として受け取り、モデルを出力として生成します ※ 各アルゴリズムの詳細は、 Appendix 「採用されている Algorithms 」を参照してください。 二項分類問題、および他項分類問題のアルゴリズム • CatBoost 分類 • エラスティック ネット回帰 • ガウス ナイーブ ベイズ • ラッソ回帰 • LightGBM 分類 • ロジスティック回帰 • ランダム フォレスト分類 • XGBoost 分類 回帰問題のアルゴリズム • CatBoost 回帰 • LightGBM 回帰 • 線形回帰 • ランダム フォレスト回帰 • SGD 回帰 • XGBoost 回帰 New!
- 19. 19 Qlik AutoML の利用の流れ ML 展開 トレーニング 用データ 予測用データ 予測結果 Qlik Sense による分析 ML モデル ML の実験 繰り返し作成し、モデルの精度向上 他のデータソースと予測結 果を統合して分析を実施 ・データ準備 ・ターゲット設定 予測用データに結果を生成 ・ Yes/No ・カテゴリ ・数値 ・バージョン管理
- 21. 21 モデルの種類の決定 ターゲットとして選択する列に応じて、作成されるモデルの種類が決まります。 モデルの種類 ターゲットの 列内のユニーク値の数 特徴量のタイプ 追加情報 二項分類 2 任意 多項分類 3 ～ 10 任意 数値以外のクラスが 10 件を越え る列は、ターゲットとして選択 できません。 回帰 10 件を越える 数値
- 23. ML 実験
- 28. 28 データセットの洞察の説明 (1/2) 洞察 意味 構成への影響 定数 列は、すべての行で同じ値を持ちます。 列をターゲットまたは特徴量として使用できません。 One-hot encoded 特徴量のタイプはカテゴリで、列に 13 個以 下の一意の値があります。 構成に影響はありません。 インパクトエンコーディン グ済み 特徴量のタイプはカテゴリで、列に 14 個以 上の一意の値があります。 構成に影響はありません。 高いカーディナリティ 列に一意の値が多すぎるため、特徴量として 使用するとモデルのパフォーマンスに影響を 及ぼす可能性があります。 列にターゲットとして使用することはできません。特徴 量として自動的に除外されますが、必要に応じて含める ことができます。 まばらなデータ 列に NULL 値が多すぎます。 列をターゲット、または特徴量として使用することはで きません。 過小評価されたクラス 列に 10 行未満のクラスがあります。 列をターゲットとして利用できませんが、特徴量として 含めることができます。 N 個の自動設計特徴量 列は、自動設計特徴量の生成に使用できる親 の特徴量です。 この親の特徴量が日付特徴量の場合、自動的に構成から 削除されます。 自動設計の機能 列は、親の日付特徴量から生成されます。 日付として処理できません でした 列には、日付と時刻の情報が含まれている可 能性があります。 特徴量は構成から削除されます。
- 29. 29 データセットの洞察の説明 (2/2) 洞察 意味 構成への影響 利用可能なフリーテキスト この列は、フリーテキストの特徴量として使 用できる可能性があります。 フリーテキストの特徴量タイプが列に割当てられます。 フリーテキスト この列には、フリーテキストが含まれていま す。フリーテキストとして処理されます。 フリーテキストとして処理 できませんでした この列は、フリーテキストとして処理できま せん。 構成から、その特徴量の選択を解除する必要があります。 ターゲット漏洩 特徴量はターゲット漏洩の影響を受ける疑い があります。 予測しようとしているターゲット列に関する 情報が含まれています。 この特徴量は、トレーニングに使用されません。 低い Permutation importance この特徴量は、モデルの予測にほとんど影響 を与えません。この特徴量を削除すると、統 計ノイズが減少します。 この特徴量は、トレーニングに使用されません。 相関が高い この特徴量は、実験内の 1 つ以上の他の特徴 量と高い相関関係があります。 互いに相関性の高い特徴量があると、モデル のパフォーマンスが低下します。 この特徴量は、トレーニングに使用されません。
- 30. 30 構成パネル (1/7) トレーニングデータの確認・変更 データセットを変更 データセットの情報 • トレーニングに利用するデータセットの確認と変更を行えます。 • データセットを変更する場合には、「データセットを変更」を クリックし、新しいデータセットを取り込みます。
- 31. 31 構成パネル (2/7) 対象（ターゲット）の確認、変更 選択したターゲット • 予測の対象となるターゲット（目的変数）の確認と変更を 行えます。 • ターゲットとして利用できない項目は、選択することがで きません。
- 32. 32 構成パネル (3/7) 特徴量の確認、変更 選択した特徴量 • 予測の対象となる特徴量の確認と変更を行えます。 • 影響の少ない特徴量を選択から外すことで、モデルの精度 を向上できる可能性があります。
- 33. 33 構成パネル (4/7) アルゴリズムの確認、選択 利用されるアルゴリズム • トレーニングに利用されるアルゴリズムの確認と選択 を行えます。 • デフォルトでは、初回のトレーニングですべてのアル ゴリズムが実行されます。 • モデルの改良やパフォーマンスの改善のために、特定 のアルゴリズムを選択することができます。
- 34. 34 構成パネル (5/7) モデル最適化の実施 モデルの最適化 • モデルの最適化を行う場合、ここで設定を行います。 • 新しい ML 実験では、インテリジェントモデルが既定でオンとなっ ています。 • インテリジェントモデル最適化によって、トレーニングしたモデル が自動的に改良されます。 • 最適化の結果は、「モデルトレーニングの概要」で確認できます。 • 下記の最適化を選択できます。 - インテリジェントモデル最適化のオン／オフ - ハイパーパラメータ最適化のオン／オフ - タイムアウェアトレーニングのオン／オフ New!
- 35. 35 構成パネル (6/7) パイパーパラメータ最適化とタイムアウェアトレーニング パイパーパラメータ最適化 タイムアウェアトレーニング 手動を選択 パイパーパラメータの最適化を選択 実行時間を設定 時間軸を考慮してモデ ルをトレーニングする 場合、日付インデック スを指定します。 New! 例）時間ベースの列の影響を受けることが分かっているターゲットの予測 • 来月の売上を予測するデータセットにトランザクションの日付がある。 • 配送遅延に関するメトリックスの予測データに配送日がある。
- 36. 36 構成パネル (7/7) AutoML 前処理の確認 AutoML の前処理を確認できます。 • 実験用に選択したデータセットは、モデルの トレーニング用に準備するために自動的に前 処理されます。 • 前処理手順には、データの準備と変換が含ま れます。これにより、データの品質が向上し、 精度の高い結果が得られるモデルが得られま す。
- 37. 37 実験の実行 実験が開始されると、様々な結果や洞察が表示されます。 アルゴリズムの 実行結果 モデルの洞察 ・トレーニングの概要 ・ Rermutation importance ・ SHAP importance ・ ROC 曲線 ・ Confusion matrix
- 44. ML 展開
- 45. 45 ML 展開の作成 ML 実験が完了すると、展開が有効となります。 ML 実験の内容から生成されます。 ML 実験の内容から生成されます。
- 49. 49 予測データセットに名前を付ける 名前を入力します。 ファイルの種類を CSV, QVD, Parquet から選択できます。 「確認」をクリックします。
- 50. 50 出力データセットの選択 出力するデータを選択し、名 前を設定します。 • 適用データセット：予測に利用されたデータセット • SHAP : SHAP 値が特徴量ごとに 1 つの列に分割されたデータセット • 座標 SHAP ：すべての SHAP 値が 2 つの列（特徴量と値）のみ含まれるように構造化されたデータセット • エラー：エラー情報を格納するデータセット • インデックス列：インデックス列を自動生成するか、適用データセット内の既存の列を使用するかを選択します。
- 53. 53 出力データセット一覧
- 54. 注意事項 54
- 55. Qlik AutoML を操作できるユーザー ユーザー資格 / ロールについて • Professional または Full User が必要です。（一部機能は Analyzer でも操作可能です） • Automl Experiment Contributor ロールおよび Automl Deployment Contributor ロール が必要です。 • Tenant Admin ロールのユーザは、 Qlik AutoML を実行可能です。 • 共有スペースまたは管理スペースで AutoML リソースを操作するには、該当する AutoML セ キュリティ ロールの他に、そのスペースでの十分な権限が必要です。 （スペースでの権限設定については、こちらを参照してください。 https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/Spaces/managing-shar ed-spaces.htm ） その他詳細は、こちらを参照してください。 https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/who-can-work-with- automl.htm 55
- 56. 56 必要なライセンス • 次のいずれかのサブスクリプションのご契約が必要です。 ⁃ Qlik Cloud Analytics Standard, Qlik Cloud Analytics Premium, Qlik Cloud Analytics Enterprise ⁃ Qlik Talend Cloud Standard, Qlik Talend Cloud Premium, Qlik Talend Cloud Enterprise. ⁃ Qlik Sense Enterprise SaaS ⁃ Qlik Sense Enterprise SaaS Add-On to Client-Managed
- 57. 57 ライセンスで管理される機能 項目 概要 included Start Up ( 有償 ) Scale Up ( 有償 ) Premier ( 有償 ) 展開モデル（ ML 展 開） Qlik Cloud サブスクリプションに応じて、テナントで作 成できる展開モデルの数。 一つのモデルから作成された複数の ML 展開は、一つの 展開されたモデルとしてカウントされます。 2 5 10 20 同時トレーニング テナントで、並行してトレーニングできるモデルの数で す。 1 5 10 15 データセット サイズ モデルをトレーニングするためのデータセット サイズ。 列 × 行の総数となります。 100K 1M 10M 100M スケジュールされた バッチ予測 予測を手動で開始するのではなく、スケジュールに従っ て実行するように構成します。 × ○ ○ ○ リアルタイム予測 この API を用いて、 ML 展開を使用してリアルタイム で予測を実行します。 × ○ ○ ○ Qlik Cloud Analytics の Qlik AutoML コネクタ この分析コネクタを使用すると、統合され た Qlik AutoML プラットフォームから Qlik Cloud に データをロードできます。 × ○ ○ ○ ハイパーパラメーター の最適化 ハイパーパラメーターの最適化により、 AutoML モデル を微調整して、学習プロセスの制御を強化できます。 × ○ ○ ○ New!
- 58. その他 制限 • Qlik Anonymous アクセスでは、 Qlik AutoML を利用できません。 • Qlik Sense Business または Qlik Cloud Analytics Starter では、 Qlik AutoML を利用できません。 • Qlik AutoML の API レートは 1 分あたり 300 リクエストに制限されています。 • データセットの最大列数は、 500 までです。（実験のトレーニングと予測の生成に適用されます） 58
- 60. ML 結果データを Qlik Sense で分析 Qlik AutoML の結果を Qlik Sense で分析に利用することができます。 予測適用データ 予測用データ 予測 SHAP データ 予測 SHAP データ 他のデータソースと予測結果を統合して分析を実施 インデックスによる テーブルの関連付 automl_row_index 60
- 61. Qlik AutoML Connector を使った予測の連携 Qlik Sense アプリケーションとの連携 Ⅱ 61
- 62. Qlik AutoML コネクタ Qlik AutoML 分析ソース • Qlik AutoML コネクタを利用して、 Qlik AutoML プラットフォームから Qlik Cloud へデータをロードできます。 62
- 63. 管理コンソール上での機械学習エンドポイントの有効化 管理コンソール上で [ 機械学習エンドポイント ] を有効化します。 「機械学習エンドポイント」をオンにします。 63
- 64. Qlik AutoML への接続定義の作成 (1/2) Qlik Sense アプリケーション : データロードエディタ 「接続の新規作成」をクリック します。 「 Qlik AutoML 」をクリックします。 64
- 65. Qlik AutoML への接続定義の作成 (2/2) 「追加」をクリックします。 予測値以外に、 SHAP, 適用データセット、エラーを含 みたい場合には、チェックボックスをオンにします。 「呼び出す ML 展開を選択します。 接続定義の名前を入力します。 この名前で予測結果のテーブルが作成されます。 ここで指定したキー列により、予測に使われたデータセットと、 予測結果を含むデータセットが関係付けられます。 65
- 68. 予測分析（例） 68
- 69. リアルタイム予測 69
- 70. ビジュアライゼーション数式で Qlik AutoML へ接続 モデルのエンドポイントへ送信、受信したデータをビジュアライズ チャート数式で、ユーザーからの入力に基づいて動的に変更される場合、ビジュアライゼーション数式 で処理することができます。 スライドして、不良品率の数値を変更します。 リアルタイムでの予測シミュレーションを行うことができます。 70 =endpoints.ScriptEvalEx(‘SSNNNNNNNSSNNNNNNSSN’,‘{“Requ estType”:“endpoint”, “endpoi ･････
- 71. 71 リアルタイム予測の書式 サーバーサイド拡張構文の利用 https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/LoadData/sse-syntax.htm スライドで変更した数値 ( この場合、変数 vInputValue1) 関数に渡す列のデータ型を指定 (S=String, N=Numeric) ここで指定するデータ型の数は、以下で指定する関数に渡す列 の数と一致する必要があります。 関数の返値の列名 機械学習へ渡すスクリプト 文字列入力と数値入力が混在する場合の確率 ( 数値 ) を推測するスクリプトの例 : ScriptEvalEx('SSNN','Script',str1, str2, num1, num2)
- 73. Q&A 73
- 74. ご質問 回答 特徴量を自動で判断して抜いてくれるという話があったかと思 います。 ということは、かなり多めの項目をトレーニングデータとして input すれば 自動的に取捨選択してくれる、というイメージで いいのでしょうか。 （不要な特徴量をはなから除いたトレーニングデータでの予測 と不要な特徴量を含んだまま実験の段階でチェックをはずして の予測では結果は同じになる、という認識でよろしいのでしょ うか） 基本的にそうですが、以下のようなことを考慮する必要はある でしょう。 [ インテリジェント モデル最適化 >> 考慮事項 ] https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/C ontent/Sense_Hub/AutoML/intelligent-model-optimization.ht m#anchor-5 上記、「その保証はない」と言うことでしょうか。 [TECHTALK 20230131 ビジネスユーザー向け機械学習入門 第 １回～機械学習の概要と、ビジネス課題と機械学習問題の定義 ] https://www.slideshare.net/slideshow/techtalk-20230131/25 5636090#46 の P46 のデータリーケージなどを参照してみてください。 用意するデータそのものの質は問われるでしょう。
- 75. その他の情報 75
- 77. 77 直近の Web セミナー 2024/11/19 14:00 ～ 15:00 Qlik Tips ～ Qlik を使いこなす！スキルアップ勉強会 「選択バーのブラッシュアップ」 「 URL によるチャート背景画像」 「 Talend Administration Center Meta Servlet API, Talend Management Console API の使い方」 2024/11/26 14:00 ～ 15:00 Qlik Talend Cloud しっかり学ぶ勉強会 #11 「 Microsoft Fabric への接続（ターゲット）」 「 Qlik Cloud への接続（ターゲット）」 2024/12/03 14:00 ～ 15:00 Qlik What's New - Nov 2024 リリースの新機能のご紹介 2024/12/17 14:00 ～ 15:00 Qlik Anonymous Access 匿名アクセスの紹介 ※ 予告なく時間配分・内容が変更になる可能性があります。
- 79. セミナー動画・事例紹介 ・デモ・新機能紹介 Qlik Japan Youtube Qlik Community Japan 製品・技術 Q&A 、製品関連資料 Qlik Showcase 日本語アプリの公開 Qlik Japan Blog 製品・技術情報の公開 その他の情報もご利用ください。
- 80. 「 Qlik Sense 参考書」好評発売中 Qlik Sense ユーザーのためのデータ分析実践バイブル ・判型： B5 変 ・総ページ数：～ 480 ページ程度 ・予価本体： 4,200 円 (+ 税 ) • QlikSpace の記事をベースに、書籍用に大幅 にカスタマイズ＆加筆 • 1 冊で Qlik Sense の基本をマスターし（＝基 本編）、ニーズの高い分析例（＝応用編）を できるだけ丁寧に紹介
- 81. Thank You! 81
- 82. Appendix 82
- 83. 83 83 83 83 83 83 採用されている Algorithms (1/2) 選択したターゲットに基づいて、 Qlik AutoML はデータを分析する際に以下のアルゴリズムを使用します。 分析に含めるアルゴリズムの選択 / 解除をクリックします。 アルゴリズム 概要 特徴 ユースケース CatBoost カテゴリカル特徴量を自動的に処理する勾 配ブースティングアルゴリズム • 使いやすさ : カテゴリカル変数を自動的に処理し、前処 理の手間を軽減。 • パフォーマンス : 他の先進的なアルゴリズムと競合する パフォーマンス。 • 解釈可能性 : モデル予測を理解するためのツールを提供。 • カテゴリカルデータ : 特にカテ ゴリカル特徴を扱う場合に有効。 • 顧客分析 : 様々な属性に基づく 顧客行動の予測。 Elastic Net Regression ( エラスティックネット 回帰 ) ラッソ回帰とリッジ回帰のペナルティを組 み合わせた線形回帰モデル • 柔軟性 : ラッソとリッジのバランスを取り、柔軟性を提 供。 • 特徴選択 : ラッソのように重要な特徴を選択。 • 高次元データ : 特徴数がサンプ ル数よりも多い場合に有効。 • 共線性 : 特徴が高度に相関して いる場合に有効。 Gaussian Naive Bayes ( ガウスナイーブベイ ズ） ベイズの定理に基づく確率的分類器で、特 徴がガウス分布に従うと仮定 • シンプル : 実装が容易で理解しやすい。 • 速度 : 大規模データセットでも非常に高速。 • 独立仮定 : 特徴が独立していると仮定するが、必ずしも 真ではない。 • テキスト分類 : スパムフィルタ リング、感情分析。 • 医療診断 : 症状に基づく患者の 分類。 • リアルタイム予測 : シンプルさ と速度によりリアルタイム予測 に適している。 LightGBM ツリーベースの学習アルゴリズムを使用す る勾配ブースティングフレームワークで、 効率と分散性に優れている • 速度 : 他の勾配ブースティング手法と比較して高速なト レーニング。 • メモリ効率 : メモリ使用量が少ない。 • 精度 : 高い精度とパフォーマンスを提供。 • 大規模データ : 大規模データ セットと高次元データに適して いる。 • リアルタイム予測 : 高速性によ りリアルタイムアプリケーショ ンに適している。 Lasso Regression ( ラッソ回帰 ) 回帰係数の絶対値にペナルティを課し、い くつかの係数をゼロにする線形回帰の一種 • シンプル : 不要な特徴を削除してモデルを簡素化。 • 過学習防止 : 正則化により過学習を減少させる。 • 特徴選択 : 重要な特徴を自動的 に選択し、不要なものを除去。 出典： ウィキペディア 等
- 84. 84 84 84 84 84 84 採用されている Algorithms (2/2) 選択したターゲットに基づいて、 Qlik AutoML はデータを分析する際に以下のアルゴリズムを使用します。 分析に含めるアルゴリズムの選択 / 解除をクリックします。 アルゴリズム 概要 特徴 ユースケース Logistic Regression ( ロジスティクス回帰） バイナリの結果（例：はい / いいえ、真 / 偽）の確率を予測する分類アルゴリズム • 解釈可能 : 各特徴量が結果に与える影響を理解しやすい。 • シンプル : 実装が容易で理解しやすい。 • 効率的 : 線形分離可能なデータに対して良好に動作する。 • スパム検出 : メールをスパムか どうか分類する。 • 医療診断 : 病気の有無を予測す る。 • 信用スコアリング : ローン申請 者が返済不能になるかを予測す る。 Random Forest Classification ( ランダムフォレスト ) 複数の決定木を構築し、それらを統合して 予測精度を向上させるアンサンブル学習手 法 • 堅牢性 : 個々の決定木よりも過学習に強い。 • 多用途 : 分類と回帰の両方に使用可能。 • 特徴重要度 : どの特徴が重要かを理解しやすい。 • 顧客セグメンテーション : 顧客 を行動に基づいてグループ分け する。 • 不正検出 : 不正取引を識別する。 • 特徴選択 : 結果の予測に重要な 特徴を特定する。 XGBoost – eXtrem Gradient Boosting ( 勾配ブースティング回 帰木） 勾配ブースティングフレームワークの効率 的かつスケーラブルな。前の木の誤りを修 正する新しい木を順次構築。 • パフォーマンス : 他のアルゴリズムよりも高い精度を達 成することが多い。 • 速度 : 高速で効率的に動作。 • カスタマイズ性 : 多くのハイパーパラメータを調整して パフォーマンスを向上可能。 • Kaggle コンペ : 高いパフォー マンスを誇り、データサイエン スコンペでよく使用される。 • 売上予測 : 過去のデータに基づ いて将来の売上を予測する。 • 解約予測 : サービスを離れる可 能性のある顧客を識別する。 SGD 回帰 確率的勾配降下法を用いて回帰モデルのパ ラメータを最適化する手法。 通常、単回帰 として使用されますが、複数の説明変数を 考慮する場合もある。 • 大規模なデータセットでも高速かつ効率的な学習が可能。 • 新しいデータが入力されるたびに、ミニバッチを使用し てパラメータを更新することが可能 • 大規模データのモデル構築 • E コマースの売上予測や金融分 野の市場価格予測など。 出典： ウィキペディア 等
- 85. 85 85 機械学習の実施 : 事前確認事項 ユースケース ビジネスにとって重要であること • 主要な KPI や指標に影響を与える価値提示であること • 解約率を 10% 減らす、製品の欠品を 5% 減らす、売上を 10% 増やす etc. 機械学習の質問に変換可能であること • バイナリ分類： Yes/No のイベントが発生するか？ • 複数クラス：どの製品を購入する可能性が高いか？どの部品が故障しそう か？ • 回帰 / 数値：来月の売上予想は？ データ要件 構造化され、ラベル付されたデータであること ターゲットとなる属性やビジネスオブジェクトが定義されていること 非構造化データ（フリーテキスト等）や画像は非サポート
- 86. トレーニングデータに必要な項目の例 (1/3) 機械 / 工具・建設資材・建設機械の在庫予測の例 目標変数（予測対象） • 次月の在庫レベル 入力変数（特徴量） • 製品情報（製品 ID 、カテゴリ、サプライヤー情報） • 過去の在庫レベル（時系列データ） • 過去の販売数、返品数 • 適正在庫数 • 発注データ（発注先、発注日、発注数量、納期） • リードタイム季節要因（季節的な需要変動） • プロモーション情報（プロモーション実施期間、内容） • 価格情報（現在の価格、過去の価格変更履歴） • 市場データ（市場の需要予測、競合他社の動向） • 経済指標（経済成長率、インフレ率） • 天候データ（建設関連事業の場合） • 特殊イベント情報（大規模プロジェクトの開始など） 86
- 87. トレーニングデータに必要な項目の例 (2/3) 製造業における製造設備の不具合発生予測の例 目標変数（予測対象） • 不具合発生有無（ 1: 発生、 0: なし） 入力変数（特徴量） • 設備 ID: 各設備の識別子 • 設備の種類：各設備のカテゴリー • 稼働時間 : 各設備の稼働時間 • 稼働率 : 稼働時間の割合 • センサデータ : 温度、振動、圧力、電流などのセンサ情報 • メンテナンス履歴 : 過去のメンテナンス日時と内容 • 交換部品履歴 : 過去の部品交換日時と交換内容 • エラーコード : 発生したエラーコードとその頻度 • エラーメッセージ : エラーメッセージの内容 • 生産量 : 各設備が生産した製品の数量 • 不良品率 : 生産した製品の不良品率 • 環境データ : 製造環境の温度、湿度 • 運用パラメータ : 各設備の運用設定パラメータ • 不具合履歴 : 過去の不具合発生日時と内容 87
- 88. トレーニングデータに必要な項目の例 (3/3) IT 企業における従業員の離職率予測の例 目標変数（予測対象） • 離職フラグ : 半年以内に離職したかどうか（ 0: 離 職していない、 1: 離職した） 入力変数（特徴量） • 従業員 ID: ユニークな識別子 • 年齢 : 年齢 • 性別 : 性別 • 学歴 : 最終学歴のレベル（高卒、専門学校卒、大卒、 大学院卒など） • 家族構成 : 配偶者や子供の有無 • 入社日 : 会社に入社した日 • 部署 : 所属している部署 • 役職 : 現在の役職 • 職務内容 : 職務の具体的な内容職務 • 変更履歴 : これまでの職務変更履歴 • 勤務地 : 勤務地 • 給与 : 現在の給与水準 • ボーナス : ボーナスの支給実績 • 昇進回数 : 昇進の回数 • 勤務時間 : 平均勤務時間（週単位、月単位など） • 残業時間 : 平均残業時間（週単位、月単位など） • 有給休暇取得率 : 有給休暇の取得状況 • 業績評価 : 定期的な業績評価のスコア • スキル評価 : スキルに関する評価 • 研修受講歴 : 受講した研修や教育プログラム • 職場満足度 : 従業員満足度調査の結果 • 上司との関係 : 上司との関係性（フィードバックの 質など） • チームワーク : チームの協力度合い • 職場の雰囲気 : 職場の雰囲気や文化 • 通勤時間 : 通勤にかかる時間 • 転職歴 : 過去の転職回数や履歴 88
- 89. チュートリアル - 予測データの生成と視覚化 Qlik AutoML を使用して、予測を実行するための機械学習モデルをトレーニング できます。また、 Qlik Sense アプリで予測データを可視化する方法について解 説しています。（オンラインヘルプを参照してください） https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/AutoML/tut orial-machine-learning.htm Qlik Help ⇒ 分析 ⇒ Qlik AutoML を使った機械学習 ⇒ チュートリアル - 予測データの生成と視覚化 89
- 90. Thank You! 90