SlideShare a Scribd company logo
Copyright © NHN Techorus Corp.
NHNテコラス株式会社
データホテル事業本部 プロダクト開発室
松井 大輔
Ceilometer苦労話
Page 2
Ceilometerとは
• OpenStackのメータリングサービス
• Havanaから正式プロジェクト化
• リソース使用状況を確認
– 課金のための情報に使用
– オートスケールに使用(アラーム機能も使用)
Page 3
社内OpenStack環境
社内でのCeilometerの構成
Ceilometer
mongodb
mongodb
MongoDB misc
swift
データストアに
mongodbを利用
Dailyでdumpを取
得
dumpファイルを
圧縮してアップロー
ド
Page 4
Ceilometerでの苦労話
• MongoDBの容量が肥大化
– 2~3ヶ月分のデータでmongodumpの容量が100GB程度
– Dailyのdumpを行なうだけで容量不足のアラートが出る
– MongoDBサーバのディスクが溢れる
• object数は1.2億程
Page 5
MongoDBの
容量肥大化への対応
Page 6
MongoDBの容量肥大化への対応 その1
• アプローチ1: mongodumpの仕方を変更
dump -> 圧縮 -> 元ファイル削除
一時ファイルを作らず、dump結果を圧縮ファイルとして保存
Page 7
MongoDBの容量肥大化への対応 その1
• アプローチ1: mongodumpの仕方を変更
dump -> 圧縮 -> 元ファイル削除
一時ファイルを作らず、dump結果を圧縮ファイルとして保存
処理が1日で終わらなかった(ボツ)
Page 8
MongoDBの容量肥大化への対応 その2
• アプローチ2:古いデータを消す
– Daily dumpのスクリプトに削除処理を追加
1億件以上のデータがあるせいか
削除が終わらないまま処理がタイムアウトする
Page 9
Ceilometer側で対策
Page 10
Ceilometer側での対策案
• データ収集の間隔を調整
• 古いデータを削除する(ceilometer-expire)
• データストアをMongoDBからgnocchiに変更する
Page 11
Gnocchiとは?
• Metric as a Service
– ニョッキと発音
– http://gnocchi.xyz/
– https://wiki.openstack.org/wiki/Gnocchi
• Ceilometerのデータストアとして利用可能
• バックエンドを複数持つことで
速度向上 & スケールしやすくなる
– IndexをRDBに格納
– 時系列データをSwiftやCephに格納
Page 12
Mitakaアップグレード
後に
検証予定

More Related Content

PDF
Google bigquery導入記
PDF
[Cloud OnAir ] #03 No-ops で大量データ処理基盤を簡単に構築する
PPT
mongoDB: OSC Tokyo2010 spring
PDF
Google Cloud Dataflow を理解する - #bq_sushi
PDF
データ可視化とコスト管理
PPTX
Visualize terms network in Lucene index
PDF
[2018bcu30]1年半もかけてしまったビッグデータ環境のリプレイス
PPT
RubyとPost Gis
Google bigquery導入記
[Cloud OnAir ] #03 No-ops で大量データ処理基盤を簡単に構築する
mongoDB: OSC Tokyo2010 spring
Google Cloud Dataflow を理解する - #bq_sushi
データ可視化とコスト管理
Visualize terms network in Lucene index
[2018bcu30]1年半もかけてしまったビッグデータ環境のリプレイス
RubyとPost Gis

What's hot (19)

PDF
トレジャーデータ 導入体験記 リブセンス編
PDF
[Cloud OnAir] クラウド移行後の最適化方法を伝授。でも最適化ってなんですか? (LIVE) 2018年2月8日 放送
PDF
遺伝研 Rina Aizawa ユーザミーティング
PDF
[社内共有会]AWS NAT-GW導入と構成変化 2年運用して 同時接続数 秒間100->10万へ成長
PPTX
21.Raspberry Piを用いたIoTアプリの開発
PDF
No-Ops で大量データ処理基盤を簡単に実現する
PDF
PostgreSQLでpg_bigmを使って日本語全文検索 (MySQLとPostgreSQLの日本語全文検索勉強会 発表資料)
PDF
マッチングアプリの作り方
PPTX
8. ミニ・スーパコンピュータを自作しよう!
PDF
[Cloud OnAir] Google Cloud とつなぐ色々な方法 〜 つなぐ方法をゼロからご紹介します〜 2019年1月31日 放送
PDF
Google Cloud のネットワークとロードバランサ
PDF
[Cloud OnAir] BigQuery へデータを読み込む 2019年3月14日 放送
PDF
[Cloud OnAir] 安心して GCP を使うための処方箋 ~ 実際のインシデントをもとに ~ 2019年11月14日 放送
PDF
[serverlessconf2017]FaaSで簡単に実現する数十万RPSスパイク負荷試験
PDF
20151114 drupal温泉合宿 成果
PDF
女性限定! クラウド勉強会〜データベース、ぶっちゃけ”コレ”が良いってよ
PPTX
データを集めて貯めて分析する… 最先端のテクノロジーが詰まったIBMクラウドのご紹介
PDF
[Cloud OnAir] Config Connector の特徴と、 Anthos Config Management を 組み合わせた、 構成管理の...
PPTX
Foss4g Hokkaido 2019
トレジャーデータ 導入体験記 リブセンス編
[Cloud OnAir] クラウド移行後の最適化方法を伝授。でも最適化ってなんですか? (LIVE) 2018年2月8日 放送
遺伝研 Rina Aizawa ユーザミーティング
[社内共有会]AWS NAT-GW導入と構成変化 2年運用して 同時接続数 秒間100->10万へ成長
21.Raspberry Piを用いたIoTアプリの開発
No-Ops で大量データ処理基盤を簡単に実現する
PostgreSQLでpg_bigmを使って日本語全文検索 (MySQLとPostgreSQLの日本語全文検索勉強会 発表資料)
マッチングアプリの作り方
8. ミニ・スーパコンピュータを自作しよう!
[Cloud OnAir] Google Cloud とつなぐ色々な方法 〜 つなぐ方法をゼロからご紹介します〜 2019年1月31日 放送
Google Cloud のネットワークとロードバランサ
[Cloud OnAir] BigQuery へデータを読み込む 2019年3月14日 放送
[Cloud OnAir] 安心して GCP を使うための処方箋 ~ 実際のインシデントをもとに ~ 2019年11月14日 放送
[serverlessconf2017]FaaSで簡単に実現する数十万RPSスパイク負荷試験
20151114 drupal温泉合宿 成果
女性限定! クラウド勉強会〜データベース、ぶっちゃけ”コレ”が良いってよ
データを集めて貯めて分析する… 最先端のテクノロジーが詰まったIBMクラウドのご紹介
[Cloud OnAir] Config Connector の特徴と、 Anthos Config Management を 組み合わせた、 構成管理の...
Foss4g Hokkaido 2019
Ad

Viewers also liked (10)

PDF
Ceilometer to Gnocchi
PPTX
使ってわかった!現場担当者が語るOpenStack運用管理の課題 - OpenStack最新情報セミナー 2015年2月
PDF
OpenStack Ceilometer
PDF
Okinawa Open Days - OpenStack Overview
PDF
Interop2014 - OpenStackの概要と最新技術動向(Icehouse)
PDF
OpenStack Grizzly Release
PDF
Gnocchi v3
PDF
フルオープンソースでここまで出来る。OpenStackの構築と運用
PDF
いまさら聞けないOpen stack
PDF
今すぐ試せるブルーグリーンデプロイメント入門とその実装 - OpenStack最新情報セミナー(2017年3月)
Ceilometer to Gnocchi
使ってわかった!現場担当者が語るOpenStack運用管理の課題 - OpenStack最新情報セミナー 2015年2月
OpenStack Ceilometer
Okinawa Open Days - OpenStack Overview
Interop2014 - OpenStackの概要と最新技術動向(Icehouse)
OpenStack Grizzly Release
Gnocchi v3
フルオープンソースでここまで出来る。OpenStackの構築と運用
いまさら聞けないOpen stack
今すぐ試せるブルーグリーンデプロイメント入門とその実装 - OpenStack最新情報セミナー(2017年3月)
Ad

Ceilometer苦労話