クラウド時代のスケールアウト型テレメトリングシステムの考察
7 likes2,193 views
クラウド時代のスケールアウト型テレメトリングシステムの考察 2015年8月6日 さくらインターネット株式会社/ さくらインターネット研究所 上級研究員松本直人
クラウド時代のスケールアウト型テレメトリングシステムの考察
- 3. ポリシーベースルーティングでの改善 IP閉域網/IP-VPN もしくは インターネット BGPルータ MQTT/HTTPS ブローカ プロセス MQTT/HTTPS サブスクライバ ポリシールータ BGPルータ ストレージ MQTT/HTTPS ブローカ プロセス MQTT/HTTPS ブローカ プロセス MQTT/HTTPS ブローカ プロセス VM VM VM VM VM 解析プロセス センサー群 (需要予測が困難) 送信元アドレスブロック単位で ポリシーベースルーティング BGP/ECMP負荷分散 メッセージバス・ホスト (2-128台) 冗長化済 ポート番号別QoS メッセージバス・ホスト IPアドレス/32をBGPで広報 ポリシールータ 新規増設機材 (事業者) デバイス・キッティング関係で MQTT/HTTPSブローカの IPアドレスが固定 (問題点) ※Intel DPDKもしくはH/W Ofllad機能あり10GbE NIC (高速・低遅延) 要件定義の必要性: サーバロードバランサ導入コストとの比較 お客様 プライベート/パブリック クラウド環境 (占有領域) さくらインターネット株式会社/さくらインターネット研究所 2015年8月作成
- 4. ポート番号識別でのプロセス高集積化 IP閉域網/IP-VPN もしくは インターネット BGPルータ MQTT/HTTPS ブローカ TCP22282 ポリシールータ BGPルータ MQTT/HTTPS ブローカ TCP22282 MQTT/HTTPS ブローカ TCP22282 MQTT/HTTPS ブローカ TCP22282 VM VM VM VM センサー群 (需要予測が困難) 送信元アドレスブロック単位で ポリシーベースルーティング BGP/ECMP負荷分散 メッセージバス・ホスト (2-128台) 冗長化済 メッセージバス・ホスト IPアドレス/32をBGPで広報 ポリシールータ 新規増設機材 (事業者) デバイス・キッティング関係で MQTT/HTTPSブローカの IPアドレスが固定 (問題点) ※Intel DPDKもしくはH/W Ofllad機能あり10GbE NIC (高速・低遅延) MQTT/HTTPS ブローカ TCP22283 MQTT/HTTPS ブローカ TCP22283 MQTT/HTTPS ブローカ TCP22283 MQTT/HTTPS ブローカ TCP22283 MQTT/HTTPS ブローカ TCP22284 MQTT/HTTPS ブローカ TCP22284 MQTT/HTTPS ブローカ TCP22284 MQTT/HTTPS ブローカ TCP22284 ←お客様別の占有プロセス群 ←お客様別の占有プロセス群 ←お客様別の占有プロセス群 ←お客様別の占有プロセス群 要件定義の必要性: サーバロードバランサ導入コストとの比較 さくらインターネット株式会社/さくらインターネット研究所 2015年8月作成
- 5. 送信元IPアドレスブロックの偏り是正 IP閉域網/IP-VPN もしくは インターネット BGPルータ MQTT/HTTPS ブローカ プロセス MQTT/HTTPS サブスクライバ ポリシールータ BGPルータ ストレージ MQTT/HTTPS ブローカ プロセス MQTT/HTTPS ブローカ プロセス VM VM VM VM 解析プロセス センサー群 (需要予測が困難) ポリシールータ 新規増設機材 (事業者) デバイス・キッティング関係で MQTT/HTTPSブローカの IPアドレスが固定 (問題点) ポリシールータ MQTT/HTTPS ブローカ プロセス VM 送信元アドレスブロック単位で ポリシーベースルーティング BGP/ECMP負荷分散 メッセージバス・ホスト IPアドレス/32をBGPで広報 再起型ポリシーベース ルーティング (遅延微増) お客様 プライベート/パブリック クラウド環境 (占有領域) さくらインターネット株式会社/さくらインターネット研究所 2015年8月作成
- 6. サブスクライバのスケールアップ対応 IP閉域網/IP-VPN もしくは インターネット BGPルータ MQTT/HTTPS ブローカ プロセス MQTT/HTTPS サブスクライバ ポリシールータ BGPルータ ストレージ MQTT/HTTPS ブローカ プロセス MQTT/HTTPS ブローカ プロセス MQTT/HTTPS ブローカ プロセス VM VM VM VM VM 解析プロセス センサー群 (需要予測が困難) 送信元アドレスブロック単位で ポリシーベースルーティング BGP/ECMP負荷分散 メッセージバス・ホスト (2-128台) 冗長化済 ポート番号別QoS メッセージバス・ホスト IPアドレス/32をBGPで広報 ポリシールータ 新規増設機材 (事業者) デバイス・キッティング関係で MQTT/HTTPSブローカの IPアドレスが固定 (問題点) ※Intel DPDKもしくはH/W Ofllad機能あり10GbE NIC (高速・低遅延) お客様 プライベート/パブリック クラウド環境 (占有領域) MQTT/HTTPS サブスクライバ 高速ストレージ VM 解析プロセス → スケール アップ 要件定義の必要性: サーバロードバランサ導入コストとの比較 さくらインターネット株式会社/さくらインターネット研究所 2015年8月作成