Submit Search
Node.jsStreamについて
1 like
2,702 views
Recruit Technologies
2016/01/27 リクルートテクノロジーズ社内勉強会での、伊藤の資料になります
Technology
Related topics:
Node.js Development
Read more
1 of 16
Download now
Download to read offline
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
More Related Content
PDF
リクルートのWebサービスを支える「RAFTEL」
Recruit Technologies
PDF
リクルートのWebサービスを支える共通インフラ「RAFTEL」
Recruit Technologies
PDF
リクルートの利用事例から考える AWSの各サービスとセキュリティ
Recruit Technologies
PDF
Struggle against cross-domain data complexity in Recruit group
Recruit Technologies
PDF
JJUG CCC リクルートの Java に対する取り組み
Recruit Technologies
PDF
[Developers Summit 2015 講演資料] リクルートテクノロジーズ 14,000件/秒の配信を実現した リクルートのモバイルアプリを支え...
Recruit Technologies
PDF
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
Recruit Technologies
PDF
RANCHERを使ったDev(Ops)
Recruit Technologies
リクルートのWebサービスを支える「RAFTEL」
Recruit Technologies
リクルートのWebサービスを支える共通インフラ「RAFTEL」
Recruit Technologies
リクルートの利用事例から考える AWSの各サービスとセキュリティ
Recruit Technologies
Struggle against cross-domain data complexity in Recruit group
Recruit Technologies
JJUG CCC リクルートの Java に対する取り組み
Recruit Technologies
[Developers Summit 2015 講演資料] リクルートテクノロジーズ 14,000件/秒の配信を実現した リクルートのモバイルアプリを支え...
Recruit Technologies
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
Recruit Technologies
RANCHERを使ったDev(Ops)
Recruit Technologies
What's hot
(20)
PDF
Rancherを活用した開発事例の紹介 ~Rancherのメリットと辛いところ~
Recruit Technologies
PDF
リクルートにおけるPaaS活用事例
Recruit Technologies
PDF
リクルート式AIの活用法
Recruit Technologies
PPTX
システム高速化フォーラム向け プッシュ通知基盤のアーキテクチャ
Recruit Technologies
PDF
ソフト高速化の専門家が教える!AI・IoTエッジデバイスの選び方
Fixstars Corporation
PPTX
何故DeNAがverticaを選んだか?
Kenshin Yamada
PDF
Spring “BigData”
Recruit Technologies
PDF
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~
Recruit Technologies
PDF
DeNAインフラの今とこれから - 今編 -
Tomoya Kabe
PPTX
DLLAB Engineer Days:AIチームが履歴やリソース管理で疲弊してたので開発基盤作ってOSS化した話
Kamonohashi
PDF
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Recruit Technologies
PDF
マルチレイヤコンパイラ基盤による、エッジ向けディープラーニングの実装と最適化について
Fixstars Corporation
PDF
変わる!? リクルートグループのデータ解析基盤
Recruit Technologies
PDF
AWSでのセキュリティ運用 ~IAM,VPCその他
Recruit Technologies
PPTX
DeNA private cloudのその後 #denatechcon
DeNA
PPTX
<インフラ管理者向け>チームでのAI開発を支援するAI開発プラットフォームKAMONOHASHI
Kamonohashi
PDF
MLflowによる機械学習モデルのライフサイクルの管理
Takeshi Yamamuro
PPTX
DeNA内製ゲームエンジンの現状と目指す未来 #denatechcon
DeNA
PDF
Docomo Cloud Package
Osaka University
PPTX
DLモデル開発中の雑務が嫌で支援プラットフォームを作った話
Kamonohashi
Rancherを活用した開発事例の紹介 ~Rancherのメリットと辛いところ~
Recruit Technologies
リクルートにおけるPaaS活用事例
Recruit Technologies
リクルート式AIの活用法
Recruit Technologies
システム高速化フォーラム向け プッシュ通知基盤のアーキテクチャ
Recruit Technologies
ソフト高速化の専門家が教える!AI・IoTエッジデバイスの選び方
Fixstars Corporation
何故DeNAがverticaを選んだか?
Kenshin Yamada
Spring “BigData”
Recruit Technologies
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~
Recruit Technologies
DeNAインフラの今とこれから - 今編 -
Tomoya Kabe
DLLAB Engineer Days:AIチームが履歴やリソース管理で疲弊してたので開発基盤作ってOSS化した話
Kamonohashi
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Recruit Technologies
マルチレイヤコンパイラ基盤による、エッジ向けディープラーニングの実装と最適化について
Fixstars Corporation
変わる!? リクルートグループのデータ解析基盤
Recruit Technologies
AWSでのセキュリティ運用 ~IAM,VPCその他
Recruit Technologies
DeNA private cloudのその後 #denatechcon
DeNA
<インフラ管理者向け>チームでのAI開発を支援するAI開発プラットフォームKAMONOHASHI
Kamonohashi
MLflowによる機械学習モデルのライフサイクルの管理
Takeshi Yamamuro
DeNA内製ゲームエンジンの現状と目指す未来 #denatechcon
DeNA
Docomo Cloud Package
Osaka University
DLモデル開発中の雑務が嫌で支援プラットフォームを作った話
Kamonohashi
Ad
Similar to Node.jsStreamについて
(20)
PDF
OpenStack Object Storage; Usage
irix_jp
PDF
クラウドと共に進むエンジニアの進化
Trainocate Japan, Ltd.
PDF
AWSの最新動向と事例から知る クラウド利用の進化と真価
Trainocate Japan, Ltd.
PPTX
[db tech showcase Tokyo 2017] A15: レプリケーションを使用したデータ分析基盤構築のキモ(事例)by 株式会社インサイトテ...
Insight Technology, Inc.
PDF
[DB tech showcase Tokyo 2015] B37 :オンプレミスからAWS上のSAP HANAまで高信頼DBシステム構築にHAクラスタリ...
Funada Yasunobu
PDF
[DB tech showcase Tokyo 2015] B37 :オンプレミスからAWS上のSAP HANAまで高信頼DBシステム構築にHAクラス...
Funada Yasunobu
PDF
20190925_DBTS_PGStrom
Kohei KaiGai
PDF
20191211_Apache_Arrow_Meetup_Tokyo
Kohei KaiGai
PDF
エンタープライズワークロードにおけるAmazon Auroraの活用
Amazon Web Services Japan
PDF
20190516_DLC10_PGStrom
Kohei KaiGai
PDF
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
hamaken
PDF
[de:code 2019 振り返り Night!] Data Platform
Naoki (Neo) SATO
PPTX
サーバーの脆弱性管理に関して(OpenStack + Vuls) - OpenStack最新情報セミナー(2016年12月)
VirtualTech Japan Inc.
PDF
ONIC2017 プログラマブル・データプレーン時代に向けた ネットワーク・オペレーションスタック
Kentaro Ebisawa
PPTX
Azure Datalake 大全
Daiyu Hatakeyama
PPTX
Japan elasticusergroup01 Acroquest
Hiroshi Yoshioka
PDF
災害対策セミナー 「検証プロジェクト報告と事例紹介」
Masaru Hiroki
PDF
IPv6 アプリケーション開発入門
v6app
PDF
ceph acceleration and storage architecture
Yuki Kitajima
PDF
Guide to Cassandra for Production Deployments
smdkk
OpenStack Object Storage; Usage
irix_jp
クラウドと共に進むエンジニアの進化
Trainocate Japan, Ltd.
AWSの最新動向と事例から知る クラウド利用の進化と真価
Trainocate Japan, Ltd.
[db tech showcase Tokyo 2017] A15: レプリケーションを使用したデータ分析基盤構築のキモ(事例)by 株式会社インサイトテ...
Insight Technology, Inc.
[DB tech showcase Tokyo 2015] B37 :オンプレミスからAWS上のSAP HANAまで高信頼DBシステム構築にHAクラスタリ...
Funada Yasunobu
[DB tech showcase Tokyo 2015] B37 :オンプレミスからAWS上のSAP HANAまで高信頼DBシステム構築にHAクラス...
Funada Yasunobu
20190925_DBTS_PGStrom
Kohei KaiGai
20191211_Apache_Arrow_Meetup_Tokyo
Kohei KaiGai
エンタープライズワークロードにおけるAmazon Auroraの活用
Amazon Web Services Japan
20190516_DLC10_PGStrom
Kohei KaiGai
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
hamaken
[de:code 2019 振り返り Night!] Data Platform
Naoki (Neo) SATO
サーバーの脆弱性管理に関して(OpenStack + Vuls) - OpenStack最新情報セミナー(2016年12月)
VirtualTech Japan Inc.
ONIC2017 プログラマブル・データプレーン時代に向けた ネットワーク・オペレーションスタック
Kentaro Ebisawa
Azure Datalake 大全
Daiyu Hatakeyama
Japan elasticusergroup01 Acroquest
Hiroshi Yoshioka
災害対策セミナー 「検証プロジェクト報告と事例紹介」
Masaru Hiroki
IPv6 アプリケーション開発入門
v6app
ceph acceleration and storage architecture
Yuki Kitajima
Guide to Cassandra for Production Deployments
smdkk
Ad
More from Recruit Technologies
(20)
PDF
新卒2年目が鍛えられたコードレビュー道場
Recruit Technologies
PDF
カーセンサーで深層学習を使ってUX改善を行った事例とそこからの学び
Recruit Technologies
PDF
Tableau活用4年の軌跡
Recruit Technologies
PDF
HadoopをBQにマイグレしようとしてる話
Recruit Technologies
PDF
LT(自由)
Recruit Technologies
PDF
リクルートグループの現場事例から見る AI/ディープラーニング ビジネス活用の勘所
Recruit Technologies
PDF
Company Recommendation for New Graduates via Implicit Feedback Multiple Matri...
Recruit Technologies
PDF
銀行ロビーアシスタント
Recruit Technologies
PDF
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
Recruit Technologies
PDF
ユーザー企業内製CSIRTにおける対応のポイント
Recruit Technologies
PDF
ユーザーからみたre:Inventのこれまでと今後
Recruit Technologies
PDF
EMRでスポットインスタンスの自動入札ツールを作成する
Recruit Technologies
PDF
リクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイント
Recruit Technologies
PDF
ユーザー企業内製CSIRTにおける対応のポイント
Recruit Technologies
PDF
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
Recruit Technologies
PDF
「リクルートデータセット」 ~公開までの道のりとこれから~
Recruit Technologies
PDF
運用で泣かないアーキテクチャで動く原稿作成支援システム ~リクルートにおけるDeepLearning活用事例~
Recruit Technologies
PDF
リクルートにおける画像解析事例紹介と周辺技術紹介
Recruit Technologies
PDF
Case study of DevOps for Hadoop in Recruit.
Recruit Technologies
PDF
A3RT -The details and actual use cases of“Analytics & Artificial intelligence...
Recruit Technologies
新卒2年目が鍛えられたコードレビュー道場
Recruit Technologies
カーセンサーで深層学習を使ってUX改善を行った事例とそこからの学び
Recruit Technologies
Tableau活用4年の軌跡
Recruit Technologies
HadoopをBQにマイグレしようとしてる話
Recruit Technologies
LT(自由)
Recruit Technologies
リクルートグループの現場事例から見る AI/ディープラーニング ビジネス活用の勘所
Recruit Technologies
Company Recommendation for New Graduates via Implicit Feedback Multiple Matri...
Recruit Technologies
銀行ロビーアシスタント
Recruit Technologies
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
Recruit Technologies
ユーザー企業内製CSIRTにおける対応のポイント
Recruit Technologies
ユーザーからみたre:Inventのこれまでと今後
Recruit Technologies
EMRでスポットインスタンスの自動入札ツールを作成する
Recruit Technologies
リクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイント
Recruit Technologies
ユーザー企業内製CSIRTにおける対応のポイント
Recruit Technologies
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
Recruit Technologies
「リクルートデータセット」 ~公開までの道のりとこれから~
Recruit Technologies
運用で泣かないアーキテクチャで動く原稿作成支援システム ~リクルートにおけるDeepLearning活用事例~
Recruit Technologies
リクルートにおける画像解析事例紹介と周辺技術紹介
Recruit Technologies
Case study of DevOps for Hadoop in Recruit.
Recruit Technologies
A3RT -The details and actual use cases of“Analytics & Artificial intelligence...
Recruit Technologies
Node.jsStreamについて
1.
Node.js Streamについて 2016/01/26 ASG勉強会 株式会社リクルートテクノロジーズ
APソリューショングループ 伊藤 瑛
2.
Page 2 自己紹介 ■名前 伊藤 瑛 ■所属 リクルートテクノロジーズ
アプリケーションソリューションG 2015年度新卒入社 / Node歴 6ヶ月 ■やっていること Node製の大規模Push基盤Pusna-RSの運用開発
3.
Page 3 Stream API
データの”流れ”を綺麗に扱うためのAPI データを一括で読み込むのではなく、破片ごとに読み 処理することができる 各Streamをpipe()で連結することができる Readable • I/Oなどからの 読み込み Readable / Writable (Transform) • データの整形 Writable • I/Oなどへの書 き出し
4.
Page 4 Node.jsのStream APIの変遷 実装Ver
安全性 後方互換性 Stream 1 - △ データの取りこぼしやStream のpause(), resume()が頻繁 に呼ばれ、パフォーマンスが 劣化する危険性 - Stream 2 v0.10 ◯ 内部バッファの実装により I/Oの不安定な流れに強く なった。 △ following mode (Stream1互 換モード)とpuase modeを交 互に行き交えない Stream 3 v0.12 ◯ ◯ Stream 3 = Stream 1 + Stream2
5.
Page 5 Node.jsのStream APIの変遷 実装Ver
安全性 後方互換性 Stream 1 - △ データの取りこぼしやStream のpause(), resume()が頻繁 に呼ばれ、パフォーマンスが 劣化する危険性 - Stream 2 v0.10 ◯ 内部バッファの実装により I/Oの不安定な流れに強く なった。 △ following mode (Stream1互 換モード)とpuase modeを交 互に行き交えない Stream 3 v0.12 ◯ ◯ Stream 3 = Stream 1 + Stream2 現行バージョン
6.
Page 6 Stream 3
7.
Page 7 Stream3 on
Node.js 4.x
8.
Page 8 Stream3 on
Node.js 4.x (Simple)
9.
Page 10 非同期処理をStreamでラップする callback
hell
10.
Page 11 非同期処理をStreamでラップする Streamで書く
11.
Page 12 StreamのちょっとしたTips1 リトライ処理
12.
Page 13 ブラウザにもStreamが実装された! Google
Chrome 43+で実装 fetch APIのresponse.bodyに対してgetReader()を呼 び出すとReadableStreamが返ってくる read()を呼び出すとPromiseが返ってくる仕様。 Promiseを解決してデータを取り出す Node.jsのStreamとは仕様が違う
13.
Page 14 サンプルコード
14.
Page 15 @domenicさんに聞いてみた Node学園祭の時にNodeのStreamとブラウザの Streamの仕様を合わせてほしいと言ってみた。
@domenicさん 「Nodeの時にStreamの仕様がいろいろぶれた反省が あるから、ブラウザのStreamについては慎重に動いて いる」
15.
Page 16 まとめ Node.jsのStream
APIの紹介と事例の共有 ブラウザにもStreamが実装された。
16.
Page 17 ありがとうございました!
Download