Submit Search
マルチクラウドで分析基盤を構築してみた Supership201612
Download as PPTX, PDF
0 likes
1,996 views
S
Supership株式会社
Minami Aoyama Night Vol.1にて公開
Technology
Read more
1 of 87
Download now
Download to read offline
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
More Related Content
PPTX
検索サービス開発が絶対におもしろいと思う理由
Supership株式会社
PDF
位置データ活用 経済センサスのデータを使ってみよう
hide ogawa
PPTX
Ha llo dx
hide ogawa
PDF
Pythonインタラクティブ・データビジュアライゼーション入門という本を共著で書きました
hide ogawa
PDF
エンジニア勉強会資料_①ブレインパッドの中で僕たちは何を開発しているのか?
BrainPad Inc.
PPTX
中小企業のDXはオープンデータとPythonで!
hide ogawa
PDF
国勢調査をマーケティングに活かそう!
hide ogawa
PPTX
なぜデータをインタラクティブに可視化したいのか?
hide ogawa
検索サービス開発が絶対におもしろいと思う理由
Supership株式会社
位置データ活用 経済センサスのデータを使ってみよう
hide ogawa
Ha llo dx
hide ogawa
Pythonインタラクティブ・データビジュアライゼーション入門という本を共著で書きました
hide ogawa
エンジニア勉強会資料_①ブレインパッドの中で僕たちは何を開発しているのか?
BrainPad Inc.
中小企業のDXはオープンデータとPythonで!
hide ogawa
国勢調査をマーケティングに活かそう!
hide ogawa
なぜデータをインタラクティブに可視化したいのか?
hide ogawa
Similar to マルチクラウドで分析基盤を構築してみた Supership201612
(20)
PDF
クラウドマーケティングで良くつかわれている調査データとランキング
Shu Takeda
PDF
データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)
株式会社MonotaRO Tech Team
PDF
20160225 interspace system_summary
Smz Nbys
PDF
インターン研修 自己紹介スライド
ripper0217
PDF
サイトサーチアナリティクスとは
Makoto Shimizu
PDF
データ分析基盤について
Yuta Inamura
PDF
Io tビジネスモデルに関する考察20161119
Keiichiro Nabeno
PDF
実績リユースマーケットアールソーシング
Junichi Kawai
PDF
DataOps in Moneyforward
tetsuro ito
PDF
AI-OCR 導入最前線 (AI inside)
Shotaro Umeda
PDF
大切なお客様を、一生のお客様に ~自社・競合データから導く、結果につながるデータ分析の最新事例~
株式会社Consumer first
PPTX
シラサギ紹介20161119
Naokazu Nohara
PDF
Data × AI でどんな業務が改善できる? 製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
IoTビジネス共創ラボ
PDF
アドテクを支える基盤 〜10Tバイト/日のビッグデータを処理する〜
MicroAd, Inc.(Engineer)
PDF
クラウドで実現!!マーケティングにおけるIoT活用事例
Yasuhiro Kobayashi
PDF
Tableau Developers Club Season2 - 外部サービス連携デモ
Kenji Noguchi
PPTX
構造化データマークアップでステキな検索結果を手に入れる
basicinc_dev
PDF
自社データのAI活用支援サービス
munjapan
PPTX
シラサギ紹介20170525
Naokazu Nohara
PPTX
売上に効くデータ組織~データから売上や利益を作るために何をしているか~
Recruit Lifestyle Co., Ltd.
クラウドマーケティングで良くつかわれている調査データとランキング
Shu Takeda
データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)
株式会社MonotaRO Tech Team
20160225 interspace system_summary
Smz Nbys
インターン研修 自己紹介スライド
ripper0217
サイトサーチアナリティクスとは
Makoto Shimizu
データ分析基盤について
Yuta Inamura
Io tビジネスモデルに関する考察20161119
Keiichiro Nabeno
実績リユースマーケットアールソーシング
Junichi Kawai
DataOps in Moneyforward
tetsuro ito
AI-OCR 導入最前線 (AI inside)
Shotaro Umeda
大切なお客様を、一生のお客様に ~自社・競合データから導く、結果につながるデータ分析の最新事例~
株式会社Consumer first
シラサギ紹介20161119
Naokazu Nohara
Data × AI でどんな業務が改善できる? 製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
IoTビジネス共創ラボ
アドテクを支える基盤 〜10Tバイト/日のビッグデータを処理する〜
MicroAd, Inc.(Engineer)
クラウドで実現!!マーケティングにおけるIoT活用事例
Yasuhiro Kobayashi
Tableau Developers Club Season2 - 外部サービス連携デモ
Kenji Noguchi
構造化データマークアップでステキな検索結果を手に入れる
basicinc_dev
自社データのAI活用支援サービス
munjapan
シラサギ紹介20170525
Naokazu Nohara
売上に効くデータ組織~データから売上や利益を作るために何をしているか~
Recruit Lifestyle Co., Ltd.
Ad
マルチクラウドで分析基盤を構築してみた Supership201612
1.
マルチクラウドで 分析基盤を 構築してみた Syn. 事業部検索サービス部 宇都宮紀陽
2.
2 アジェンダ 1.自己紹介 2.検索事業の取組 3.分析基盤の勘所
3.
3 アジェンダ 4.今年度の遂行 5.今後の展望 6.総括
4.
4 自己紹介 検索一筋十年 検索サービス部部長 Search Maestro 宇都宮 紀陽
5.
5 Data を貯め Data を読み Data
を活かす
6.
6 実践してきた人生
7.
7 検索事業(2013〜)
8.
8 KDDI の子会社として Web、アプリに 検索技術サービス提供
9.
9 リアルタイム検索 D社、Y!社に続き 国内3つ目の事例
10.
10 FE情報設計 MWビジネスロジック BE外部提供
11.
11 検索 is not
全文検索.
12.
12 検索 is 情報検索.
13.
13 情報検索エンジンの構成要素
14.
14 検索エンジンには コンテンツ以外の 素性データが必要
15.
15 コンテンツ以外の素性データ ec における商品検索事例 ・時系列情報(春夏秋冬、朝昼晩夜) ・商品の評価(CTR, Rank,
etc) ・価格(安い、高い) ・在庫(あり、なし) ・SNS のストリーム情報 and more
16.
16 Data を貯め Data を読み Data
を活かす
17.
17 要件を満たす 分析基盤 必要
18.
18 要件 線形に増大するデータ 無停止状態維持 応答速度維持 コスト維持 リカバリ容易
19.
19 ROI 強く意識
20.
20 導入コスト vs 運用コスト
21.
21 導入コスト低
22.
22 OSS x オンプレミス
23.
23 構成柔軟 x 自由自在
24.
24 エンジニアリソース ファシリティマネジメント データ爆発対応困難
25.
25 終わらない 運用
26.
26 クラウドVM データ爆発 部分解決
27.
27 導入コスト低→中
28.
28 構成(2015 年3月〜 )
29.
29 終わらない 運用
30.
30 データ増大 レスポンス遅
31.
31 POC
32.
32 導入コスト中 Vertica
33.
33 大規模データ 分析実績
34.
34 1TBまで 無償利用
35.
35 on ec2 公式対応
36.
36 構成(2015 年8月〜 ) Vertica
37.
37 要件 線形に増大するデータ 無停止状態維持 応答速度維持 コスト維持 リカバリ容易
38.
38 要件 満たせました
39.
39 ただし on ec2 である限り
40.
40 終わらない 運用
41.
41 構成(2015 年8月〜 ) Vertica
42.
42 Vertica 運用維持
43.
43 さらに検証
44.
44 GCP BigQuery 不採用(2015
年6月時点) LegacySQL 占有リソースなし 大陸間回線帯域懸念
45.
45 機能洗練 注視継続
46.
46 さらに POC
47.
47 実証構成(2016 年6月〜 )
48.
48 Azure SQL DWH
実証のねらい (比較的低使用率による) 無停止稼動 MS 製品との親和性 誰でも気軽にアクセス
49.
49 実証 結果
50.
50 Azure 不採用 開発者向け情報が少ない アクセシビリティ不親切 Windows 優遇
51.
51 性能面 Redshift 遜色ない
52.
52 実証構成(2016 年7月〜 )
53.
53 AWS Redshift 実証のねらい 無停止稼動 AWS
製品との親和性 ETL ロジック開発低 負荷
54.
54 実証 結果
55.
55 Redshift 採用 時間的導入コスト低 技術情報入手容易 Vertica 並みの性能
56.
56 Vertica Redshift 平行運用
57.
57 Vertica 取り扱うデータ 既存業務 大規模 データ増大量一定
58.
58 Redshift 取り扱うデータ 新規業務 中規模 データ増大量可変
59.
59 Redshift 三ヶ月運用後
60.
60 課題発生
61.
61 Redshift 課題 データ増大と BI自動生成クエリによる レスポンス遅延
62.
62 Redshift 課題 CPU 処理能力頭打ち スケールアウトより スケールアップ要求
63.
63 Redshift 課題 ノードタイプ選択 自由度低い コスト見合い悪い
64.
64 BiqQuery 現状確認
65.
65 GCP BigQuery 不採用(2015
年6月時点) LegacySQLのみ 占有リソースなし アップロード回線帯域
66.
66 GCP BigQuery 現状(2016
年11月時点) StandardSQL サポート 占有リソース有料OP FASTER Cable System
67.
67 POC
68.
68 実証構成(2016 年11月〜 )
69.
69 BigQuery 取り扱うデータ Redshift 同等 新規業務 中規模 データ増大量可変
70.
70 実証 結果
71.
71 BigQuery 採用 時間的導入コスト低 SQL 翻訳コスト低 技術情報入手容易
72.
72 BigQuery 採用 BI自動生成クエリ 高速応答 運用コスト大幅減
73.
73 運用コスト 大幅減!
74.
74 Redshift 対運用コスト 1/5
75.
75 Redshift 運用終了👋
76.
76 今後の展望
77.
77 今後の展望 AWS ec2 ->
GCE VM Live Migration ダウンタイム発生なし
78.
78 今後の展望 中間処理は Cloud Pub/Sub ES on
GCE Cloud DataProc
79.
79 Hadoop 運用終了
80.
80 Vertica 運用終了
81.
81 運用業務 最低限
82.
82 情報検索エンジン 磨き上げ 専念
83.
83 まとめ マルチクラウドは適材適所 導入コストの障壁が低い サービスは見極めを POC 重要
84.
84 ご清聴 ありがとうござい ました
85.
85 宣伝
86.
86 Supership Search Solution 検索ソリューション ASP
提供中 検索エンジン サジェスト機能 スペラー機能 分析基盤提供
87.
87 人材募集中
Download