HeatHash
- 1. HeatHash 地図 Twitter NoSQL JPEG
- 3. キーポイント • Tokyo Cabinetで地理情報を扱っ てみました。 • keyを工夫してます。GeoHashの 変形です • HornetQを使ってみました。 • Nettyを使ってみました。 • JPEGをバイトデータの結合だけ で作ってみました。
- 4. 目標にしたこと • 軽い • 速い • スケーラブルっぽい • NoSQL使ってみよう
- 5. 構成 クローラ TCストアPG タイル画像サーバ HornetQ TC
- 6. こんなサーバーで動かして ます • Dell Dimension9150 • メモリ4GB • PentiumD2.8GHz DualCore • CentOS5.4 64bit ! • の上のOpenVZ仮想マシン • 物理マシンの半分くらいのリソース を割当
- 7. クローラ部分 • Twitter Streaming APIを使ってます • tweet垂れ流しのAPI • Rubyのプログラムで受信して位置情報を持っ てるのだけHornetQに送信
- 8. HornetQ • Javaメッセージングシステム • RubyとはSTOMPを使って連携 • 疎結合を目指してみた • tweetを受け取るRubyプログラムとTCに格納 するJavaプログラムを結合
- 9. TCにストアする部分 • Javaで作成 • tweetに含まれるキーワードをAC法で分類 • TCの空間キーが一致するデータをインクリメ ント
- 11. キーの設計1 Lat 35.661913 1691547476 Lon 139.700943 3814180817 メルカトル投影して整数化 1101>01010001のように1bitづつ間をあけて、 Lonだけ1左シフトして論理和する。 空間インデックス -4892471399664340206 左から一致しているビットが多いほど 近いエリアにある点
- 13. Netty • JavaのNIOクライアントサーバーフレームワー ク • 非同期イベント駆動でハイパフォーマンスでハ イスケーラブル • これで画像だけ送出するHTTPサーバーを作成 した
- 14. JPEG生成 • データ構造 • 作る画像 256x256決めうち 8x8のグリッド • ヘッダはそのまま • MCUの大きさとRSTブロック
- 15. JPEGの構造 ヘッダ 画像データはMCU単位 でDCT、量子化、ハフ 量子化テーブル マン符号化される。 ハフマン符号化テーブル MCUは前のMCUと関連 MCU RST 繰り返し しており、RSTでリ セットされる。 EOI
- 16. JPEG生成の処理 • ヘッダと量子化テーブル、ハフマンテーブル は、あらかじめ用意する • RSTを必ずMCUの前につければ、用意したバ イト列の結合だけでJPEG作れちゃうね • 元になるデータはGimpで作成してバイナリエ ディタで加工したよ
- 17. この方法の利点 • 画像を展開するメモリがいらな い 256x256x4=262144 > 10000 ! • 画像を描画する処理がいらない • JPEG変換の処理がいらない • 決められたバイト列を使いまわ すわけだからキャッシュにも乗 りやすいよね
- 18. というわけで実演
- 20. 地理情報は何が面白い か？ • リアルに直結した情報 • スマフォなど端末が普及 • 便利、楽しいの可能性 ! • 位置ゲー作ろうぜ！