pmacct, kafka, presto, re:dash を使った高速なflow解析
- 1. Copyright © NTT Communications Corporation. All right reserved. pmacct->kafka->presto->re:dash を使った⾼速なflow解析 JANOG39 Day1⾒つけた！モダンなトラフィック可視化 BoF 2017年1⽉18⽇ ⻄塚要 @__kaname__ kaname@nttv6.jp
- 2. Copyright © NTT Communications Corporation. All right reserved. flow解析の構成 2 Ｆx R Markdown 蓄積 分析 可視化収集 機械学習処理（異常検知等） ホットデータ蓄積 時系列データ ①⾼度な解析結果 フロー収集 コールドデータ蓄積 分析処理(SQL) ③ニア・リアルタイム分析 Ｆ pmacct フロー収集 nfdump (nfcapd/nfdump) csv 傾向分析 csv ②傾向分析 ルータ/ スイッチ
- 3. flow収集部分 3 n nfdump • nfcapd: netflow(v1,v5/v7,v9,IPFIX)/sflow(v2/v4/v5)の 収集を⾏い、n分ごとにファイルに出⼒する • nfdump: nfcapdによって蓄積されたデータを読み出す→標 準出⼒やファイル(csv形式など)に出⼒ • 信頼と実績！ n pmacct • netflow(v5,v8,v9,IPFIX)/sflow(v2/v4/v5)の収集”も”⾏う ことができる • ファイル出⼒に加え、RDBMS, noSQL, Rabbit-MQ, kafka とのコネクタがある • paoloさんが頑張ってメンテしている！ ü JANOG36:オープンソースのネットフローツールの運⽤
- 4. 事例1: 機械学習を⽤いた⾼度な解析 n hadoop/hiveに蓄積された⽣フローデータをPrestoで時系列 データに集約(早い！) n 時系列データに対してRで機械学習処理 Ｆx R Markdown 蓄積 分析 可視化収集 機械学習処理（異常検知等） ホットデータ蓄積 時系列データ ①⾼度な解析結果 フロー収集 コールドデータ蓄積 分析処理(SQL) ③ニア・リアルタイム分析 pmacct フロー収集 nfdump (nfcapd/nfdump) csv 傾向分析 csv ②傾向分析 ルータ/ スイッチ 4
- 7. 事例2: ⾼速な⻑期傾向分析 n モチベーション: ⼤量のフローデータに対して1ヶ⽉以上時間範 囲で傾向分析をしたい n hadoop/hiveに蓄積された⽣フローデータをPresto経由の re:dashで⼿早く可視化(早い！) Ｆx R Markdown 蓄積 分析 可視化収集 機械学習処理（異常検知等） ホットデータ蓄積 時系列データ ①⾼度な解析結果 フロー収集 コールドデータ蓄積 分析処理(SQL) ③ニア・リアルタイム分析 pmacct フロー収集 nfdump (nfcapd/nfdump) csv 傾向分析 csv ②傾向分析 ルータ/ スイッチ 7
- 10. (参考) その他のデータとの連携 n re:dashには⾊々なデータを⼊れることができます • BGP解析の例: IRS25 DDoS対策あれこれ
- 11. 事例3: 即時の短期傾向分析 n モチベーション: kafkaの即時性を利⽤して、1分未満のフロー 解析を⽬指したい • 発⽣して1分未満でのDDoS攻撃検知など n pmacct->kafka->presto->re:dash を試した Ｆx R Markdown 蓄積 分析 可視化収集 機械学習処理（異常検知等） ホットデータ蓄積 時系列データ ①⾼度な解析結果 フロー収集 コールドデータ蓄積 分析処理(SQL) ③ニア・リアルタイム分析 pmacct フロー収集 nfdump (nfcapd/nfdump) csv 傾向分析 csv ②傾向分析 ルータ/ スイッチ 11
- 12. pmacct kafka-plugin n インストール n ハマりポイント • librdkafkaがインストールされたパスに注意 ü QUICKSTART IX. Running the Kafka plugin 参照 12 # 必要なパッケージのインストール apt-get install libpcap-dev libjansson-dev # 最新版の librdkafka のインストール git clone https://github.com/edenhill/librdkafka.git; cd librdkafka; ./configure; make; make install # kafka を利⽤するオプションをつけてpmacctのインストール git clone https://github.com/pmacct/pmacct.git; cd pmacct; ./autogen.sh; ./configure --enable-kafka -- enable-jansson --enable-ipv6; make; make install # 確認 container:/# pmacctd -V Promiscuous Mode Accounting Daemon, pmacctd 1.6.2-git (20170117-00) '--enable-kafka' '--enable-jansson' '--enable-ipv6' For suggestions, critics, bugs, contact me: Paolo Lucente <paolo@pmacct.net>.
- 13. pmacct kafka-plugin n pmacct 設定 n ハマりポイント • nfacctd のデフォルトのnetflow待ち受けは 2100/udp • kafkaのトピックに”.”(ドット)を使うと、ここではOKだが、 2ページ後のprestoの設定でハマりポイントあり 13 # nfacctd.conf aggregate: src_mac, dst_mac, vlan, cos, etype, src_as, dst_as, peer_src_ip, peer_dst_ip, in_iface, out_iface, src_host, src_net, dst_host, dst_net, src_mask, dst_mask, src_port, dst_port, tcpflags, proto, tos, sampling_rate, timestamp_start, timestamp_end, timestamp_arrival nfacctd_port: 2055 plugins: kafka kafka_output: json kafka_topic: pmacct-janog kafka_refresh_time: 60 kafka_history: 1m kafka_history_roundoff: m kafka_broker_host: <kafka IP address> kafka_broker_port: 9092 # 起動 nfacctd -f /etc/nfacctd.conf -dD
- 14. 14 kafka-topic n kafka-topic が⽣成される • Trifecta でデータが溜まり始めたことを確認
- 15. 15 presto n presto設定 n ハマりポイント • table名には”.”が使えない(topic名に”.”を使ってると、揃えよ うとしてやりがち) kafka.propertiesの中にあるkafka.table-namesの値に、追加したいtopic名を記述 #<presto>/etc/catalog/kafka.properties connector.name=kafka kafka.nodes=<IP>:<port>, <IP>:<port>, <IP>:<port> kafka.table-names=pmacct-janog kafka.hide-internal-columns=false テーブルの型定義をjsonファイルで記述 #<prestoL/etc/kafka/pmacct-janog.json { "tableName": "pmacct-janog", "topicName": "pmacct-janog", "dataFormat": "json", "message": { "dataFormat":"json", "fields": [ { "name": "event_type", "mapping": "event_type", "type": "VARCHAR" }, (snip)
- 16. 16 re:dash で接続 n data sources に type=presto, catalog=kafka で追加
- 17. 17 re:dash で接続 n 作成した data sources を指定して、select * from <table名> でデータが取れることを確認
- 18. 18 結果: 即時の短期傾向分析結果 n 直近2分以内での秒単位のグラフ化 • 最新の時刻は、1分前くらい…(惜しい！)