9
Most read
10
Most read
14
Most read
BigQuery ML を用いた
時系列データの解析
ARIMAモデルを用いて
2021/11/27 機械学習の社会実装勉強会 第5回
- UX企画関連のソフトウェア開発に従事
- 統計・MLを用いた解析機能の開発及び運用を担当
自己紹介
岩澤幸太朗
前回やったこと
- データ分析基盤の要件
- BigQuery MLの紹介
- ETLジョブとBigQueryMLの実演
【第4回】BigQueryを中心にした ML datapipelineの概要 - 2021/10/23
本日の内容
- 時系列データ、ARIMAモデルの概説
- BigQuery MLによる予測モデル作成
- ARIMAモデルによる予測結果の可視化
時系列データ
• 気温,気圧
• 株価
• GDP
• 血圧,脈拍, 体重
...
などの時間と共に変動するデータ{  } 時刻
体重
ARIMAモデル
時系列解析手法の一つ
AR  自己回帰

MA  移動平均

I   和分過程
ARモデル MAモデル
ARMAモデル
ARIMAモデル (ARMA + 和分過程)
ARモデル
◆ AR (Auto Regression: 自己回帰)
◆ AR(1) 1次の項のみ
時刻t の値 過去の値 ホワイトノイズ
過去の値を用いて予測
◆ 次数選択
時系列解析(6) − ARモデルの推定 − 東京⼤学 数理・情報教育研究センター 北川 源四郎
◆ パラメータ推定
● Yule-Walker法
● 最尤法
● 最小二乗法
● PARCOR法
係数  と分散  の推定
(AICが最小となる)次数 n の選択
ARモデルの決定
モデルの最大対数尤度 パラメータの数(n)
MAモデル
◆ MA (Moving Average: 移動平均)
-> 過去のノイズ値を用いて予測
◆ MA(1): 1次の項のみ
時刻t の値 過去のノイズ
◆ ARMA (Auto Regressive moving average: 自己回帰移動平均 )
ARMAモデル / ARIMAモデル
◆ ARIMA (Autoregessive integrated moving average: 自己回帰和分移動平均)
MAモデル ARモデル
ARMAモデル
-> AR + MA (それぞれの次数 p, q)
-> データの差分 (𝑦𝑡–𝑦𝑡–𝑑) に対してARMAを適用 (次数, p, d, q)
d個前の値との差分
https://cloud.google.com/bigquery-ml/docs/reference/standard-sql/bigqueryml-syntax-create-time-series
https://cloud.google.com/bigquery-ml/docs/reference/standard-sql/bigqueryml-syntax-create-time-series#time_series_modeling_pipeline
ARIMA model in BigQuery ML
データポータルによる可視化
Daily cases of COVID-19:
https://datastudio.google.com/reporting/394d315d-1775-492b-ad8c-8515d57ff874/page/1I6cC
各種サービスのデータを可視化
- Google SpreadSheet
- Google Analytics
- BigQuery
- ...
※日本では「データポータル」公式には「
Data Studio」と呼ばれている。
About COVID-19 Public Datasets:
https://console.cloud.google.com/marketplace/product/bigquery-public-datasets/covid19-public-data-program
まとめ
- ARIMAモデルはARモデル + MAモデルに和分過程を取り込んだ時系列データ解析モデル
- BigQueryの結果はDataPortalで容易に可視化できる
- BigQuery ML で時系列データ解析
- ARIMAモデルが使用可能
- 適切な次数を自動で選択(AICを最小とする)
- 多変量時系列データは非対応(2021/11現在)
※Vertex AI AutoML Forecastingなら可能(参考)
参考資料
使用したコード
- https://github.com/kootr/ml-study-session/tree/main/20211127_arimamodel
- 経済・ファイナンスデータの計量時系列分析
- ホワイトノイズ
- 4-4 時系列データ解析 東京大学 数理・情報教育研究センター
- AICによるARモデルのモデル選択
- auto.arima() in R

More Related Content

PPTX
え!? Power BI の画面からデータ更新なんてできるの!? ~PowerApps カスタムビジュアルの可能性~
PDF
【メタサーベイ】基盤モデル / Foundation Models
PDF
AWS Glueを使った Serverless ETL の実装パターン
PDF
協調フィルタリング入門
PDF
推薦アルゴリズムの今までとこれから
PDF
AWSではじめるMLOps
PDF
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
PDF
因果探索: 基本から最近の発展までを概説
え!? Power BI の画面からデータ更新なんてできるの!? ~PowerApps カスタムビジュアルの可能性~
【メタサーベイ】基盤モデル / Foundation Models
AWS Glueを使った Serverless ETL の実装パターン
協調フィルタリング入門
推薦アルゴリズムの今までとこれから
AWSではじめるMLOps
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
因果探索: 基本から最近の発展までを概説

What's hot (20)

PDF
MySQLで論理削除と正しく付き合う方法
PDF
情報推薦システム入門:講義スライド
PDF
協調フィルタリングを利用した推薦システム構築
PDF
新入社員のための大規模ゲーム開発入門 サーバサイド編
PPTX
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
PDF
研究室における研究・実装ノウハウの共有
PDF
モデルではなく、データセットを蒸留する
PDF
PlaySQLAlchemy: SQLAlchemy入門
PPTX
Elasticsearchインデクシングのパフォーマンスを測ってみた
PDF
WebAssembly向け多倍長演算の実装
PDF
テーブル・テキスト・画像の反実仮想説明
PDF
SQLアンチパターン - 開発者を待ち受ける25の落とし穴 (拡大版)
PDF
Active Learning 入門
PDF
Amazon SageMaker 推論エンドポイントを利用したアプリケーション開発
PDF
DSIRNLP#1 ランキング学習ことはじめ
PDF
不均衡データのクラス分類
PPTX
Tensor コアを使った PyTorch の高速化
PDF
CloudFormation/SAMのススメ
PDF
[DL輪読会]Disentangling by Factorising
PDF
開発速度が速い #とは(LayerX社内資料)
MySQLで論理削除と正しく付き合う方法
情報推薦システム入門:講義スライド
協調フィルタリングを利用した推薦システム構築
新入社員のための大規模ゲーム開発入門 サーバサイド編
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
研究室における研究・実装ノウハウの共有
モデルではなく、データセットを蒸留する
PlaySQLAlchemy: SQLAlchemy入門
Elasticsearchインデクシングのパフォーマンスを測ってみた
WebAssembly向け多倍長演算の実装
テーブル・テキスト・画像の反実仮想説明
SQLアンチパターン - 開発者を待ち受ける25の落とし穴 (拡大版)
Active Learning 入門
Amazon SageMaker 推論エンドポイントを利用したアプリケーション開発
DSIRNLP#1 ランキング学習ことはじめ
不均衡データのクラス分類
Tensor コアを使った PyTorch の高速化
CloudFormation/SAMのススメ
[DL輪読会]Disentangling by Factorising
開発速度が速い #とは(LayerX社内資料)
Ad

Similar to 2. BigQuery ML を用いた時系列データの解析 (ARIMA model) (20)

PDF
1. BigQueryを中心にした ML datapipelineの概要
PDF
Accelerating Machine Learning as a Service with Automated Feature Engineering
PDF
MLSEV Virtual. ML Platformization and AutoML in the Enterprise
PDF
Machine Learning Platformization & AutoML: Adopting ML at Scale in the Enterp...
PDF
Cloud based Machine Learning Platforms, a review - Sagar Khashu
PPTX
SESE 2021: Where Systems Engineering meets AI/ML
PPTX
Machine Learning and Analytics Breakout Session
PDF
Building the Ideal Stack for Machine Learning
PDF
DutchMLSchool. ML for Energy Trading and Automotive Sector
PPTX
Machine Learning and Analytics Breakout Session
PDF
MLOps – Applying DevOps to Competitive Advantage
PPTX
Splunk for Machine Learning and Analytics
PPTX
Splunk for Machine Learning and Analytics
PDF
Introducing MLOps.pdf
PPTX
Machine Learning and Analytics Breakout Session
PPTX
MLOps.pptx
PPTX
AzureML Welcome to the future of Predictive Analytics
PDF
Democratizing AI/ML with GCP - Abishay Rao (Google) at GoDataFest 2019
PPTX
Python for Machine Learning_ A Comprehensive Overview.pptx
PDF
AutoML - Heralding a New Era of Machine Learning - CASOUG Oct 2021
1. BigQueryを中心にした ML datapipelineの概要
Accelerating Machine Learning as a Service with Automated Feature Engineering
MLSEV Virtual. ML Platformization and AutoML in the Enterprise
Machine Learning Platformization & AutoML: Adopting ML at Scale in the Enterp...
Cloud based Machine Learning Platforms, a review - Sagar Khashu
SESE 2021: Where Systems Engineering meets AI/ML
Machine Learning and Analytics Breakout Session
Building the Ideal Stack for Machine Learning
DutchMLSchool. ML for Energy Trading and Automotive Sector
Machine Learning and Analytics Breakout Session
MLOps – Applying DevOps to Competitive Advantage
Splunk for Machine Learning and Analytics
Splunk for Machine Learning and Analytics
Introducing MLOps.pdf
Machine Learning and Analytics Breakout Session
MLOps.pptx
AzureML Welcome to the future of Predictive Analytics
Democratizing AI/ML with GCP - Abishay Rao (Google) at GoDataFest 2019
Python for Machine Learning_ A Comprehensive Overview.pptx
AutoML - Heralding a New Era of Machine Learning - CASOUG Oct 2021
Ad

More from 幸太朗 岩澤 (13)

PDF
15. Transformerを用いた言語処理技術の発展.pdf
PDF
14. BigQuery ML を用いた多変量時系列データの解析.pdf
PDF
BigQuery ML for unstructured data
PDF
12. Diffusion Model の数学的基礎.pdf
PDF
行列分解の数学的基礎.pdf
PDF
BigQuery MLの行列分解モデルを 用いた推薦システムの基礎
PDF
Vertex AI Pipelinesで BigQuery MLのワークフローを管理 (ETL ~ デプロイまで)
PDF
Vertex AI Pipelinesで BigQuery MLのワークフローを管理
PDF
7. Vertex AI Model Registryで BigQuery MLのモデルを管理する
PDF
6. Vertex AI Workbench による Notebook 環境.pdf
PDF
5. Big Query Explainable AIの紹介
PDF
4. CycleGANの画像変換と現代美術への応用
PDF
3. Vertex AIを用いた時系列データの解析
15. Transformerを用いた言語処理技術の発展.pdf
14. BigQuery ML を用いた多変量時系列データの解析.pdf
BigQuery ML for unstructured data
12. Diffusion Model の数学的基礎.pdf
行列分解の数学的基礎.pdf
BigQuery MLの行列分解モデルを 用いた推薦システムの基礎
Vertex AI Pipelinesで BigQuery MLのワークフローを管理 (ETL ~ デプロイまで)
Vertex AI Pipelinesで BigQuery MLのワークフローを管理
7. Vertex AI Model Registryで BigQuery MLのモデルを管理する
6. Vertex AI Workbench による Notebook 環境.pdf
5. Big Query Explainable AIの紹介
4. CycleGANの画像変換と現代美術への応用
3. Vertex AIを用いた時系列データの解析

Recently uploaded (20)

PPT
expt-design-lecture-12 hghhgfggjhjd (1).ppt
PDF
REAL ILLUMINATI AGENT IN KAMPALA UGANDA CALL ON+256765750853/0705037305
PDF
A biomechanical Functional analysis of the masitary muscles in man
PPT
statistic analysis for study - data collection
PPTX
ai agent creaction with langgraph_presentation_
PDF
Best Data Science Professional Certificates in the USA | IABAC
PPTX
Topic 5 Presentation 5 Lesson 5 Corporate Fin
PPTX
SET 1 Compulsory MNH machine learning intro
PDF
Global Data and Analytics Market Outlook Report
PPTX
1 hour to get there before the game is done so you don’t need a car seat for ...
PPTX
Phase1_final PPTuwhefoegfohwfoiehfoegg.pptx
PDF
Microsoft Core Cloud Services powerpoint
PPTX
Lesson-01intheselfoflifeofthekennyrogersoftheunderstandoftheunderstanded
PDF
Jean-Georges Perrin - Spark in Action, Second Edition (2020, Manning Publicat...
PDF
Microsoft 365 products and services descrption
PPTX
New ISO 27001_2022 standard and the changes
PPTX
FMIS 108 and AISlaudon_mis17_ppt_ch11.pptx
PPT
lectureusjsjdhdsjjshdshshddhdhddhhd1.ppt
PDF
Systems Analysis and Design, 12th Edition by Scott Tilley Test Bank.pdf
PPTX
Machine Learning and working of machine Learning
expt-design-lecture-12 hghhgfggjhjd (1).ppt
REAL ILLUMINATI AGENT IN KAMPALA UGANDA CALL ON+256765750853/0705037305
A biomechanical Functional analysis of the masitary muscles in man
statistic analysis for study - data collection
ai agent creaction with langgraph_presentation_
Best Data Science Professional Certificates in the USA | IABAC
Topic 5 Presentation 5 Lesson 5 Corporate Fin
SET 1 Compulsory MNH machine learning intro
Global Data and Analytics Market Outlook Report
1 hour to get there before the game is done so you don’t need a car seat for ...
Phase1_final PPTuwhefoegfohwfoiehfoegg.pptx
Microsoft Core Cloud Services powerpoint
Lesson-01intheselfoflifeofthekennyrogersoftheunderstandoftheunderstanded
Jean-Georges Perrin - Spark in Action, Second Edition (2020, Manning Publicat...
Microsoft 365 products and services descrption
New ISO 27001_2022 standard and the changes
FMIS 108 and AISlaudon_mis17_ppt_ch11.pptx
lectureusjsjdhdsjjshdshshddhdhddhhd1.ppt
Systems Analysis and Design, 12th Edition by Scott Tilley Test Bank.pdf
Machine Learning and working of machine Learning

2. BigQuery ML を用いた時系列データの解析 (ARIMA model)