TECHTALK 20230131 ビジネスユーザー向け機械学習入門 第１回～機械学習の概要と、ビジネス課題と機械学習問題の定義
- 1. Yuki Suzuki Senior Solution Architect ビジネスユーザー向け機械学習 入門 第１回 機械学習の概要と、 ビジネス課題と機械学習問題の定 義 2023/01/31
- 3. 3 3 Q&Aについて • 質問はZoom画面下のQAアイコンをクリックして入力してください。 • 質問に対してQlikパネラーが随時QAパネルで回答します。 • 質問と回答については、セミナーの最後に他の参加者に情報共有させ ていただきます。
- 4. 4 4 本日の動画と資料について • 本セッションの資料と動画は後日TechPlayのレポートで公開されます。 • 以前のセッションにつきましては、YouTubeのプレイリスト、 Slideshareをご覧ください。 • SlideShareからのPDF版のダウンロードはSlideShareへの登録が必 要となります。
- 5. 5 5 アジェン ダ • 機械学習とは何か • 機械学習の利用 • 機械学習の種類 • 機械学習の問題定義 • 学習用データの収集 • その他の情報
- 7. 7 機械学習とは何か
- 11. 11 機械学習の利用
- 12. 12 データサイエンスのライフサイクル 目的の定義 • 目的を明確にする • 戦略の明確化 • 機械学習問題の定 義 データパイプライ ン • データ収集 • データ探索 • データ準備 予測モデルの開発 • モデル構築 • キードライ バー分析 • モデルの洗練化 予測の展開 • 予測展開 • 予測統合 • 予測評価 意思決定・行動 • 処方的分析 • What-Ifシナリオ • 行動
- 13. 13 機械学習のステップ 学習用データの 準備 学習 目的の定義 意思決定・ 行動 KPIの設定 アクションの設定 機械学習の問題定 義 学習用データ収集 クリーニング、 キュレーション、 加工 特徴量の選択 特徴量の作成 検証用データ分割 アルゴリズムの 選択 アルゴリズムの 実行 モデルの作成 モデルの決定 予測用データの準 備 モデルの適用 予測結果の評価 共有 モデルの評価 クロスバリデー ション モデルの評価 ハイパーパラメー タの最適化 繰り返し 自動機械学習の範囲 知識・技術・作業が必要 知識・技術・作業が必要 予測モデルの開 発 データパイプラ イン 予測の展開
- 14. 14 機械学習のステップ 例えば、Qlik AutoMLを使おうと思うと… MLの実験 ML展開 カタログ トレーニン グ データセッ ト ML モデル カタログ 予測 データセッ ト カタログ 適用 データセッ ト Qlik Cloudのカタ ログデータと統合 AutoMLによる 反復実験 無制限にモデルを 作成し、最高のも のを展開 一度展開されたモ デルは、予測を行 うために利用 予測は分析利用の ために新しいデー タセットに保存 どんな データ？ なんで、い つまで繰り 返すの？ 最高のモデ ルって何？ 予測結果は どう使う の？ そもそも何で も予測できる の？
- 15. 15 自動機械学習を使用するための技術 機械学習の問題を定義する 学習用データを準備する モデルを評価する 第1回 機械学習の概要と、ビジネス課題と機械学習問題の定義 第2回 機械学習のための学習データの前処理 第3回 機械学習のモデルの評価と検証
- 16. 16 機械学習の種類
- 18. 18 機械学習の用語 特徴量 分析のためにそろえたデータセットの中から選定された、機械 学習に読み込ませるために必要なデータ コンピュータが読み込み可能な状態に数値化されている必要が ある Features 目的変数 予測により求めたい変数 Target 説明変数 目的変数を説明する変数 アルゴリズム 問題を解くための手順や計算方法
- 19. 19 教師あり学習 正解となる答えが含まれたデータをモデルに学習させる方法 学習により、未知のデータに対して正しい答えを推論することが目 的 顧客データ 顧客ID 住所 リードソー ス 契約月 契約金額 ログイン回 数 ユーザー数 解約状況 12 Utah Print Jun 70 3 2 Yes 22 New York Facebook May 15 9 2 Yes 23 New York Facebook May 39 3 1 Yes 32 Ohio Search Jun 83 5 4 Yes 45 California Search Aug 55 14 2 No 47 California Facebook Jul 92 12 4 No 顧客情報 （説明変数） 正解 （目的変数）
- 22. 22 教師あり学習のアルゴリズムの例 Qlik AutoMLのアルゴリズムの種類 種類 特長 アルゴリズム 適用する問題 回帰モデル 各変数の傾向を互いに独立して探す y = mx+bの各xとyの値に対して、平均的に最も適し たmとbを選択 分類に使用する場合は、出力は正の確率となる 外挿(学習データの範囲外の予測）に強い 同じ母集団からの大規模データに適している わかりやすい 変数間のパターン利用は苦手 非線形の傾向にあてはまりにくい 単純すぎる場合もある Linear Regression 線形回帰 回帰 Elastic Net Regression 弾性ネット回帰 (Elastic Net回帰) 分類 Lasso Regression 囲み選択回帰(Lasso回帰) 分類 Logistic Regression ロジスティック回帰 分類 SGD Regression SGD 回帰 回帰
- 23. 23 教師あり学習のアルゴリズムの例 Qlik AutoMLのアルゴリズムの種類 種類 特長 アルゴリズム 適用する問題 アンサンブル モ デル 複数のモデルを組み合わせて精度を高める 非線形関係を見つけたり、変数間の相互作用がター ゲットにどのように影響するかを見つけたりするの が得意 同じ母集団からの大規模データに適している 内挿(学習データの範囲内でパターンを学習)するのは 得意だが範囲外の予測には弱い 解釈が困難 Random Forest ランダムフォレスト 回帰 分類 XGBoost XGBoost 回帰 分類 その他 データの新しい空間表現を作成 変数間のパターンをうまく利用する 非線形傾向を見つけるのが得意 外挿が苦手 大規模なデータセットでは計算コストが高くなる Gaussian Naive Bayes ガウスナイーブベイズ 分類
- 24. 24 教師あり学習のアルゴリズムの例 線形回帰 i X Y 0 3 1 1 4 4 2 7 2 3 8 9 各データとの誤差が最小になる直線の数式 「y = mx + b」 の m と b を求める データの傾向にもっともフィットする線を求める方法 「見て試してわかる機械学習アルゴリズムの仕組み 機械学習図鑑」より -1.24 2.06 -2.06 1.24 -3.25 0.88 -0.75 3.38 誤差がプラスマイナスで打ち消されないよう二乗して平均を求める(最小二乗法） (-1.24)2 +2.062 +(-2.06)2+1.242 =2.89 (-3.25)2 +0.882 +(-0.75)2+3.382 =5.83 < こちらの線の方が適している y = 0.706x + 0.823 y = -0.125x + 4.5 説明変数が１つの場合は単回帰、複数の場合は重回帰、1つの説明変数のべき乗で表される場合は多項式 回帰
- 26. 26 機械学習の種類ー教師なし学習 正解データのないデータから、データの特徴によりグループを作ったり、次元削減を行う方法 成績データ 生徒ID 国語 英語 社会 数学 理化 111 89 77 79 91 97 121 90 83 88 95 91 132 87 91 94 81 76 145 85 75 63 55 64 201 68 58 67 61 59 218 69 78 66 81 87 特徴（説明変数のみのデー タ） 132 145 201 111 121 218 グループ 国語 英語 社会 数学 理化 文系 理系 グループ化 次元削減 ５次元 2次元 データや業務知 識に基づく結果 の解釈が必要 3次元以下にな るとグラフ化で きる
- 28. 28 教師なし学習のアルゴリズムの例 種類 アルゴリズム 特長 クラスタリング 階層的クラスタリング 似ている特徴のあるデータをクラスターに順に結合していき、その経過が 「デンドログラム」ととして視覚化できる 計算量が多く、大量データには不向き 非階層的クラスタリング いくつのクラスターに分けるかをあらかじめ決めておき、 決めた数にデー タを分割する手法 計算量が少なくビッグデータにも対応可能だが、クラスタ数を決める必要が ある K-meansが代表的 次元削減 主成分分析 (PCA: Principal Component Analysis) 多数の変数の情報（観測変数）をできるだけ少ない指標や次元（合成変数） で要約する手法 観測変数を要約した合成変数のことを「主成分」という 因子分析 多数の変数に存在する共通因子を仮定し、モデル化する
- 29. 29 教師なし学習のアルゴリズムの例 クラスタリング 階層的クラスタリング 非階層的クラスタリング 似ているクラスタをひとつになるまで結合させ ていく クラスタ数を設定し、その数でもっともよいクラス タに分ける A B C D E A B C D E Qlik AutoMLには教師なし学習の機能はありませんが、KMeans 関数とCentroid 関数を使用してクラスタリングを行うことができます。 計算量が多く、大量データには不向き 大量データにも対応可能だが、クラスタ数を決める必要 がある
- 30. 30 教師なし学習のアルゴリズムの例 主成分分析と因子分析 総務省統計局 統計学習指導のためにー先生向け補助教材 https://www.stat.go.jp/teacher/dl/pdf/c4learn/materials/fourth/dai4.pdf 主成分分析 因子分析 多くの変数を少ない変数に要約する 複数の因子に存在する潜在的な特長を求める データが最もばらついている方向に軸をとり、情報量の損 失を抑える 変数が原因で主成分が結果 複数の変数に共通する因子を求める 因子が原因で観測変数が結果
- 31. 31 強化学習 試行錯誤により成果が最大となる行動を学習する方法 -1 -1 START GOAL 機械がデータそのものを学習するのではなく、 迷路のようにより多くの報酬を獲得できる 最適な行動を、学習により探し出す。 正解データはなし。 囲碁や将棋を行うAI 自動運転の状況判断 など アルゴリズムの例 • DP法（動的計画法） • MC法（モンテカルロ法） • TD法（時間差分学習法） +3
- 33. 33 機械学習の問題定義
- 43. 43 学習用データの収集
- 44. 44 44 データの種類 構造化データ データベースやExcelデータなど表形式で表せるデータ 非構造化データ 音声・画像・テキスト・位置情報など、そのままでは表形式に変換できない データ データの取得 • 社内システムのデータ • アンケート • 公的機関や企業などによって公開されているデータ（オープンデータ ） • SNS などの WEB サービスに掲載されているデータ（APIを使って収集） データに偏りがないよう注意が必要 当セミナーの範 囲
- 45. 45 学習用にどのようなデータを収集するか 予測をする単位（イベントトリガーの単位）のデータ どの顧客が解約するか → 顧客単位のデータ 地域・月別の売上 → 地域・月別のデータ 教師あり学習の場合は、予測したい値（ターゲット）を含む過去のデータが必要 予測結果に影響を与える可能性のある特徴を持つデータ 予測したい内容と同じ条件のデータ 季節や前提条件が同等のデータ 予測ポイント時点で収集でき、予測に使用できる特徴のみを持つデータ
- 46. 46 データリーケージの防止 データリーケージ ＝ 機械学習トレーニングに使用されるデータに、予測しようとしている情報が含 まれていること これによりモデルの精度が実際より高く評価されてしまう 1. 学習用データの1つ以上の項目(特徴)を使用して、予測しようとしているターゲット変数を導出できる 下記の図のStageからStage(Binary)が導出できるため、Stageは含めてはいけない 2. トレーニング セット内の 1 つ以上の特徴に、予測ポイント時点では取得できない情報が含まれている 解約予測の例：予測ポイント以降の顧客のアクティビティや、解約日、解約理由などは含めては いけない データリーケージのパ ターン
- 47. 47 データリーケージとなる可能性のある例 ユースケース ターゲット データリーケージとなる可能性のある特徴 営業案件の受注を予測 受注または失注 営業段階、受注日付、請求明細情報、支払手数料 将来の取引金額を予測 次の取引金額 税金、注文明細情報 リードの案件化を予測 案件化するまたはしな い 案件明細情報、案件化日付 顧客の解約を予測 解約するまたはしない 解約理由、解約日付、顧客継続期間、顧客温度 従業員の退職を予測 退職するかしないか 退職面談詳細、退職日付、退職届情報
- 48. 48 学習用データの収集例 例：顧客の解約予想 110 60 イベントトリガー アカウント登録 顧客ごとに、新規アカウント登録から60日の時点で、110日までに解約の電話をかけてくるかど うかを予測する 顧客単位のデータを収集する。 アカウント登録から60日以前に解約した顧客は含めない。 60日以降に更新される情報は含めない。 60日以降110日までに解約したかしないかをターゲットとして含める。 ターゲットとして110日以降の解約は解約としない。 解約に関連すると思われる項目を含める。 解約と重複する情報は含めない。（解約日、解約理由等） データ蓄積期間
- 49. 49 学習用データの収集例 例：顧客の解約予想 学習用データの作成例 顧客マス タ アカウント登録60日の時点で解約していない顧客を 抽出 登録日により110日までに解約した場合は解約あり、 それ以外は解約なしと設定 データリーケージとなる可能性のある項目の削除 顧客ログ アカウント登録60日の時点で解約していない顧客を 抽出 アカウント登録から60日までのログを抽出 顧客別に集約 学習用デー タ Qlik データ統合や分析の機能で、上記のようなデータ加工を行うことが可能です。
- 50. 50 まとめ
- 51. 51 まとめ 機械学習とは、過去のデータからパターンとドライバーを認識し、未知のデータや結果を予測する 機能である 機械学習のステップは目的の定義、学習用データの準備、学習、モデルの評価、予測の展開であり、 意思決定や行動につなげる 自動機械学習ツールの使用には、機械学習の問題定義、学習用データの準備、モデルの評価につい て、技術・知識が必要である 機械学習には教師あり学習、教師なし学習、強化学習があり、教師あり学習には分類と回帰がある （Qlik AutoMLは教師あり学習に対応） 機械学習の問題定義は、ビジネス上の目的と現状確認の上、イベントトリガー、予測ポイント、予 測期間、ターゲットを具体化する 学習用データは、予測ポイント時点で収集でき、予測に使用できる特徴のみを持つデータを収集す る
- 52. 52 その他のお知らせ
- 53. 53 53 53 53 53 53 直近の無料Webセミナー 2月14日（火） 第2回 ビジネスユーザー向け機械学習入門～機械学習のための学習データの前処理 （構造化データの特徴量エンジニアリング） 2月28日（火） 第3回 ビジネスユーザー向け機械学習入門～機械学習のモデルの評価と検証 2月は隔週の開催となります。 ご注意ください。
- 54. 54 オンラインでの技術情報提供 Qlik Japanプリセールスチームではオンラインの技術情報提供を推進しています。 セミナー トレーニング LT形式のTips共有 技術イベント TECH PLAYのQlikコミュニティサイト: https://techplay.jp/community/qlik Tech Playのグループをフォローいただくと、イベント情
- 55. 55 55 #1 Qlik Japan User Group Meetup - キックオフ • 日時：2月21日(火曜) 15:00～18:00 (懇親会 最長19:00まで) • 会場：都内会場 (申込後に別途ご案内) • アジェンダ： - ユーザー様 アプリ紹介 (4社登壇決定！) - Qlik最新情報アップデート - Qlikルミナリー・Qlikアドボケイトプログラムの 紹介 - Qlik Happy Hour (懇親会) • 参加お申込み→ → → - https://techplay.jp/event/886253
- 57. 57 57 Webセミナー過去動画・資料 https://www.slideshare.net/QlikPresalesJapan/presentations https://youtube.com/playlist?list=PLTGfcjhh8Hh5aTTk-PDzg-dEhCtvh5IJ0 YouTube プレイリスト TECH TALK Slideshare QlikPresalesJapan
- 59. 59 59 59 59 59 59 「Qlik Sense 参考書」好評発売中 Qlik Sense ユーザーのためのデータ分析実践バイ ブル ・判型：B5 変 ・総ページ数：～480 ページ程度 ・予価本体：4,200円 (+税) • QlikSpaceの記事をベースに、書籍用に大幅 にカスタマイズ＆加筆 • 1 冊でQlik Sense の基本をマスターし（＝ 基本編）、ニーズの高い分析例（＝応用編） をできるだけ丁寧に紹介
- 60. 60 その他の情報 セミナー動画・事例紹介 ・デモ・新機能紹介 Qlik Japan Youtube Qlik Community Japan 製品・技術Q&A、製品関連資料 Qlik Showcase 日本語アプリの公開 Qlik Japan Blog 製品・技術情報の公 開
- 61. 来年もよろしくお願いします！
Editor's Notes
- #9: ML (Machine Learning) is a branch of AI and data science focused on recognizing patterns and drivers in historical data in order to predict future outcomes. It is used in all industries to predict outcomes and promote action in areas such as sales forecasting, churn reduction, customer acquisition, inventory optimization, spend analysis and more. And AutoML is the process of automating the time-consuming, iterative, and complicated steps performed by data scientists in the development these machine learning models. AutoML allows business analysts and analytics teams to apply data science in a simple and effective way to every-day problems.