SlideShare a Scribd company logo
Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方
page 2
Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方
Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方
Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方
page
Fluentd
6
rewrite-tag-filter
geoip
mysql-replicator
munin
twitter
anonymizer
mysql-query
gamobile
watch-process
twilio
sentry
feedly
page 7
page 8
2017 9
page 9


page
2017 9
10


page 11
page 12
page 13
Fluentd 328
Embulk 202
page 14
Amazon 1
page 15
page 16
Amazon
page




17
page 18
Fluentd Fluentd
No.1 Fluentd
Digdag Embulk
page 19
page 20
!
page 21
Web Fluentd
Fluentd
Fluentd Elasticsearch Kibana
Fluentd
page_type:
device_type: PC, SP, MB
utm_source : URL
page 22
1
page 23
SQL
ID ID ID
page 24
!
page 25
SQL
KPI


2 Fluentd 

Embulk&Digdag
page 26
Fluentd v0.12
Kibana
Digdag Embulk
Fluentd Embulk
Gihyo Digital Publishing PDF
page
Thanks!
27

More Related Content

PDF
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
PDF
Dockerからcontainerdへの移行
PPTX
Amazon SageMakerでカスタムコンテナを使った学習
PPTX
Dockerからcontainerdへの移行
PPTX
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
PDF
PostgreSQLをKubernetes上で活用するためのOperator紹介!(Cloud Native Database Meetup #3 発表資料)
PDF
Python 3.9からの新定番zoneinfoを使いこなそう
PDF
機械学習モデルのサービングとは?
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
Dockerからcontainerdへの移行
Amazon SageMakerでカスタムコンテナを使った学習
Dockerからcontainerdへの移行
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
PostgreSQLをKubernetes上で活用するためのOperator紹介!(Cloud Native Database Meetup #3 発表資料)
Python 3.9からの新定番zoneinfoを使いこなそう
機械学習モデルのサービングとは?

What's hot (20)

PDF
わかる!metadata.managedFields / Kubernetes Meetup Tokyo 48
PDF
ソフトウェアにおける 複雑さとは何なのか?
PDF
今なら間に合う分散型IDとEntra Verified ID
PPTX
MongoDBが遅いときの切り分け方法
PDF
[Cloud OnAir] BigQuery の仕組みからベストプラクティスまでのご紹介 2018年9月6日 放送
PDF
MonotaRO のデータ活用と基盤の過去、現在、未来
PDF
Developers-Summit-2022_Improving-Digital-Customer-Experience-with-Enterprise_...
PDF
ゼロから作るKubernetesによるJupyter as a Service ー Kubernetes Meetup Tokyo #43
PDF
Linux女子部 systemd徹底入門
PDF
Flutter移行の苦労と、乗り越えた先に得られたもの
PDF
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
PDF
あなたのチームの「いい人」は機能していますか?
PDF
ホットペッパービューティーにおけるモバイルアプリ向けAPIのBFF/Backend分割
ODP
Guide To AGPL
PDF
ユーザーストーリー駆動開発で行こう。
PDF
ビジネスパーソンのためのDX入門講座エッセンス版
PDF
JaSST Tokyo 2022 アジャイルソフトウェア開発への統計的品質管理の応用
PPTX
DX実践!~ビジネスアジリティ向上とマイクロサービス技術GraphQLの活用~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
PDF
より速く より運用しやすく 進化し続けるJVM(Java Developers Summit Online 2023 発表資料)
PDF
速習!論理レプリケーション ~基礎から最新動向まで~(PostgreSQL Conference Japan 2022 発表資料)
わかる!metadata.managedFields / Kubernetes Meetup Tokyo 48
ソフトウェアにおける 複雑さとは何なのか?
今なら間に合う分散型IDとEntra Verified ID
MongoDBが遅いときの切り分け方法
[Cloud OnAir] BigQuery の仕組みからベストプラクティスまでのご紹介 2018年9月6日 放送
MonotaRO のデータ活用と基盤の過去、現在、未来
Developers-Summit-2022_Improving-Digital-Customer-Experience-with-Enterprise_...
ゼロから作るKubernetesによるJupyter as a Service ー Kubernetes Meetup Tokyo #43
Linux女子部 systemd徹底入門
Flutter移行の苦労と、乗り越えた先に得られたもの
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
あなたのチームの「いい人」は機能していますか?
ホットペッパービューティーにおけるモバイルアプリ向けAPIのBFF/Backend分割
Guide To AGPL
ユーザーストーリー駆動開発で行こう。
ビジネスパーソンのためのDX入門講座エッセンス版
JaSST Tokyo 2022 アジャイルソフトウェア開発への統計的品質管理の応用
DX実践!~ビジネスアジリティ向上とマイクロサービス技術GraphQLの活用~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
より速く より運用しやすく 進化し続けるJVM(Java Developers Summit Online 2023 発表資料)
速習!論理レプリケーション ~基礎から最新動向まで~(PostgreSQL Conference Japan 2022 発表資料)
Ad

More from Kentaro Yoshida (13)

PDF
Improve data engineering work with Digdag and Presto UDF
PDF
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
PDF
トレジャーデータ 導入体験記 リブセンス編
PDF
Hivemallで始める不動産価格推定サービス
PDF
爆速クエリエンジン”Presto”を使いたくなる話
PDF
Fluentdのお勧めシステム構成パターン
PDF
MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"
PDF
MySQLユーザ視点での小さく始めるElasticsearch
PDF
Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual
PDF
MySQL 5.6への完全移行を実現したTritonnからMroongaへの移行体験記
PDF
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
PDF
Tritonn (MySQL5.0.87+Senna)からの mroonga (MySQL5.6) 移行体験記
PDF
MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS編〜」
Improve data engineering work with Digdag and Presto UDF
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
トレジャーデータ 導入体験記 リブセンス編
Hivemallで始める不動産価格推定サービス
爆速クエリエンジン”Presto”を使いたくなる話
Fluentdのお勧めシステム構成パターン
MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"
MySQLユーザ視点での小さく始めるElasticsearch
Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual
MySQL 5.6への完全移行を実現したTritonnからMroongaへの移行体験記
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
Tritonn (MySQL5.0.87+Senna)からの mroonga (MySQL5.6) 移行体験記
MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS編〜」
Ad

Recently uploaded (20)

PPTX
Cloud computing and distributed systems.
PDF
Approach and Philosophy of On baking technology
PDF
Building Integrated photovoltaic BIPV_UPV.pdf
PPTX
Understanding_Digital_Forensics_Presentation.pptx
PPTX
VMware vSphere Foundation How to Sell Presentation-Ver1.4-2-14-2024.pptx
PDF
KodekX | Application Modernization Development
PDF
Encapsulation theory and applications.pdf
PDF
Network Security Unit 5.pdf for BCA BBA.
PDF
Mobile App Security Testing_ A Comprehensive Guide.pdf
PDF
NewMind AI Weekly Chronicles - August'25 Week I
PDF
Machine learning based COVID-19 study performance prediction
PDF
TokAI - TikTok AI Agent : The First AI Application That Analyzes 10,000+ Vira...
PDF
CIFDAQ's Market Insight: SEC Turns Pro Crypto
PDF
Build a system with the filesystem maintained by OSTree @ COSCUP 2025
PPTX
20250228 LYD VKU AI Blended-Learning.pptx
PDF
Blue Purple Modern Animated Computer Science Presentation.pdf.pdf
PPTX
Digital-Transformation-Roadmap-for-Companies.pptx
PPTX
A Presentation on Artificial Intelligence
PDF
Agricultural_Statistics_at_a_Glance_2022_0.pdf
PDF
Spectral efficient network and resource selection model in 5G networks
Cloud computing and distributed systems.
Approach and Philosophy of On baking technology
Building Integrated photovoltaic BIPV_UPV.pdf
Understanding_Digital_Forensics_Presentation.pptx
VMware vSphere Foundation How to Sell Presentation-Ver1.4-2-14-2024.pptx
KodekX | Application Modernization Development
Encapsulation theory and applications.pdf
Network Security Unit 5.pdf for BCA BBA.
Mobile App Security Testing_ A Comprehensive Guide.pdf
NewMind AI Weekly Chronicles - August'25 Week I
Machine learning based COVID-19 study performance prediction
TokAI - TikTok AI Agent : The First AI Application That Analyzes 10,000+ Vira...
CIFDAQ's Market Insight: SEC Turns Pro Crypto
Build a system with the filesystem maintained by OSTree @ COSCUP 2025
20250228 LYD VKU AI Blended-Learning.pptx
Blue Purple Modern Animated Computer Science Presentation.pdf.pdf
Digital-Transformation-Roadmap-for-Companies.pptx
A Presentation on Artificial Intelligence
Agricultural_Statistics_at_a_Glance_2022_0.pdf
Spectral efficient network and resource selection model in 5G networks

Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方