Elasticsearchで教師あり機械学習
~ Data Frame Analytics まとめ ~
Acroquest Technology Co., Ltd.
樋口 慎
自己紹介
• 樋口 慎
- Elastic Certified Engineer
- Twitter:@shin0higuchi
• 日々の仕事
- データ分析(時系列データ・自然言語)
- 検索システム構築支援
- その他開発業務
• 好きなこと/もの
- 情報検索(特に検索品質の評価)
- サッカー/フットサル⚽
- ビール🍺/日本酒🍶
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
Data Frame とは
1. データを集計・集約した結果を別インデックスに保存し、
分析しやすい状態にするもの。
2. Machine Learningによる分析が可能。
外れ値検知 フィールド間の関係を分析 データを分類
Data Frame Analytics の利用例
◼ kibana_sample_data_ecommerceを利用する
- 購買履歴のデータ(氏名、商品名、商品カテゴリ、価格等を含む)
1. Kibana からジョブを作成
2. ジョブの種類を決める
3種類の分析
データの概要を把握
3. 学習の設定①
性別を予測するモデルを作る
3. 学習の設定②
データの80%を学習に使う
説明変数(性別に影響しそうなフィールド)を選択
3. 学習の設定③
3. 学習の設定③
ハイパーパラメータ
(空白で初期値になる)
分類クラス数
(今回は男女の2クラス)
説明変数の影響度を算出
するフィールドの数
4. ジョブ名などを入力し作成・実行
結果はここから確認
5. 結果を確認する①
予測結果の精度が確認できる
(モデルの精度)
影響度の大きい説明変数がわかる
(ここでは商品カテゴリー)
5. 結果を確認する②
予測結果
◼ Classification/Regressionの学習モデルは保存され、
APIで呼び出すことができる。
その他Tips
まとめ
1. Elasticsearchで簡単にできる教師あり機械学習を紹介しました。
2. 今回言及しなかったパラメータ設定などもあります。
是非一度触ってみてください。
3. もう少し踏み込んだ内容を、Elastic Stack Advent Calendar
に執筆予定です。
ご清聴ありがとうございました。
Evolve the Earth with Emotion of Technology
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
16

More Related Content

PPTX
Searchable Snapshot でコスト削減
PPTX
Elasticsearch workshop 23_sql
PPTX
第45回elasticsearch勉強会 BERTモデルを利用した文書分類
PDF
Elasticsaerch Runtime Field
PDF
[data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」~新プラグイン「Graph」...
PDF
超個体性をもったエッジコンピューティング実現に向けたElixir/Nerves環境の適合性評価
PPTX
はじめてのElasticsearchクラスタ
PDF
Elasticsearchを使うときの注意点 公開用スライド
Searchable Snapshot でコスト削減
Elasticsearch workshop 23_sql
第45回elasticsearch勉強会 BERTモデルを利用した文書分類
Elasticsaerch Runtime Field
[data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」~新プラグイン「Graph」...
超個体性をもったエッジコンピューティング実現に向けたElixir/Nerves環境の適合性評価
はじめてのElasticsearchクラスタ
Elasticsearchを使うときの注意点 公開用スライド

What's hot (20)

PDF
Elastic Cloudを活用!!ゼロトラストセキュリティの「はじめの一歩」
PDF
Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) - OpenStack最新情報セミナー 2016年5月
PDF
Integrating elasticsearch with asp dot net core
PDF
Elasticsearch at CrowdWorks
PDF
Elasticsearch勉強会#44 20210624
PDF
祝Elasticsearch 7.6、date, number 型での ソートがさらに高速に!? Magic WANDってなんですか?
PDF
Azureで時系列解析
PDF
Crystal Ball - Data analysis
PDF
ElasticsearchとTasteプラグインで作るレコメンドシステム
PDF
Elasticsearchプラグインの作り方
PPTX
データサイエンティストが力を発揮できるアジャイルデータ活用基盤
PDF
Azure Purview Linage for Dataflow/Spark
PDF
Elasticsearch Authプラグインでアクセスコントロール
PDF
[OLD/STALE] Redis cluster (japanese)
PPTX
20181117 azure ml_seminar_1
PDF
T3 pg sql_tuning_basic_20181122
PDF
Jeug 02 lt_tetsuyasodo_v01
PDF
Elasticsearchで作る形態素解析サーバ
PDF
20180217 hackertackle geode
PDF
elasticsearchソースコードを読みはじめてみた
Elastic Cloudを活用!!ゼロトラストセキュリティの「はじめの一歩」
Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) - OpenStack最新情報セミナー 2016年5月
Integrating elasticsearch with asp dot net core
Elasticsearch at CrowdWorks
Elasticsearch勉強会#44 20210624
祝Elasticsearch 7.6、date, number 型での ソートがさらに高速に!? Magic WANDってなんですか?
Azureで時系列解析
Crystal Ball - Data analysis
ElasticsearchとTasteプラグインで作るレコメンドシステム
Elasticsearchプラグインの作り方
データサイエンティストが力を発揮できるアジャイルデータ活用基盤
Azure Purview Linage for Dataflow/Spark
Elasticsearch Authプラグインでアクセスコントロール
[OLD/STALE] Redis cluster (japanese)
20181117 azure ml_seminar_1
T3 pg sql_tuning_basic_20181122
Jeug 02 lt_tetsuyasodo_v01
Elasticsearchで作る形態素解析サーバ
20180217 hackertackle geode
elasticsearchソースコードを読みはじめてみた
Ad

Similar to Elasticsearchで教師あり機械学習 (20)

PPT
Big data解析ビジネス
PDF
Autonomous選手権システムエグゼ社発表資料
PDF
Supervised Machine Learning of Elastic Stack
PDF
データ分析を支える技術 データ分析基盤再入門
PDF
Renewed using elasticsearchonaspnet-core5
PDF
[社内勉強会]サクっと業務でつくったログ/データ調査環境(re:dash ☓ AWS Athena ☓ embulk)
PDF
16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...
PDF
関西オープンデータExpo’15 ハンズオンB
PDF
20190723 mlp lt_bayes_pub
PDF
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
PPTX
How to organize data science project (データサイエンスプロジェクトの始め方101)
PPTX
データ分析基盤を支えるエンジニアリング
PDF
第2回 R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜相関分析による需要予測編〜
PDF
20180627 - DEEP LEARNING LAB / Cognitive Services 最新情報 30 分でズバリ!
PDF
Elasticsearchによるリモートワーク時代のセキュリティ対策
PDF
Elasticsearchと機械学習を実際に連携させる
PDF
PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020
PDF
Strem処理(Spark Streaming + Kinesis)とOffline処理(Hive)の統合
PDF
In-Database Analyticsの必要性と可能性
PDF
20180922 jazug8 cosmosdb_search
Big data解析ビジネス
Autonomous選手権システムエグゼ社発表資料
Supervised Machine Learning of Elastic Stack
データ分析を支える技術 データ分析基盤再入門
Renewed using elasticsearchonaspnet-core5
[社内勉強会]サクっと業務でつくったログ/データ調査環境(re:dash ☓ AWS Athena ☓ embulk)
16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...
関西オープンデータExpo’15 ハンズオンB
20190723 mlp lt_bayes_pub
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
How to organize data science project (データサイエンスプロジェクトの始め方101)
データ分析基盤を支えるエンジニアリング
第2回 R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜相関分析による需要予測編〜
20180627 - DEEP LEARNING LAB / Cognitive Services 最新情報 30 分でズバリ!
Elasticsearchによるリモートワーク時代のセキュリティ対策
Elasticsearchと機械学習を実際に連携させる
PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020
Strem処理(Spark Streaming + Kinesis)とOffline処理(Hive)の統合
In-Database Analyticsの必要性と可能性
20180922 jazug8 cosmosdb_search
Ad

Elasticsearchで教師あり機械学習