Submit Search
Lambda in java_20160121
1 like
945 views
Teruo Kawasaki
about AWS Lambda in Java
Software
Read more
1 of 9
Download now
Download to read offline
1
2
3
4
5
6
7
8
9
More Related Content
PDF
TokyoWebminig カジュアルなHadoop
Teruo Kawasaki
PPTX
re:Growth athena
淳 千葉
PDF
re:Growth 2016 in TOKYO発表「AWS Glueの紹介」
Yosuke Katsuki
PDF
elasticsearch-hadoopをつかってごにょごにょしてみる
Katsushi Yamashita
PPTX
サーバレスで分析基盤〜ブートキャンプに参加してみた〜
Y K
PPTX
2015 03-12 道玄坂LT祭り第2回 Spark DataFrame Introduction
Yu Ishikawa
PDF
Apache Sparkやってみたところ
Tatsunori Nishikori
PDF
20161214 re growth-sapporo
Satoru Ishikawa
TokyoWebminig カジュアルなHadoop
Teruo Kawasaki
re:Growth athena
淳 千葉
re:Growth 2016 in TOKYO発表「AWS Glueの紹介」
Yosuke Katsuki
elasticsearch-hadoopをつかってごにょごにょしてみる
Katsushi Yamashita
サーバレスで分析基盤〜ブートキャンプに参加してみた〜
Y K
2015 03-12 道玄坂LT祭り第2回 Spark DataFrame Introduction
Yu Ishikawa
Apache Sparkやってみたところ
Tatsunori Nishikori
20161214 re growth-sapporo
Satoru Ishikawa
What's hot
(20)
PDF
Kafka logをオブジェクトストレージに連携する方法まとめ
Keigo Suda
PDF
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習
Katsushi Yamashita
PDF
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Treasure Data, Inc.
PDF
第一回Web技術勉強会 efkスタック編
tzm_freedom
PDF
Elasticsearch at Makuake
Yoshiaki Yoshida
PDF
2019.03.19 Deep Dive into Spark SQL with Advanced Performance Tuning
Takuya UESHIN
PDF
Awsでつくるapache kafkaといろんな悩み
Keigo Suda
PDF
スキーマつきストリーム データ処理基盤、 Confluent Platformとは?
Sotaro Kimura
PDF
Kafkaを使った マイクロサービス基盤 part2 +運用して起きたトラブル集
matsu_chara
PPTX
Kafkaを活用するためのストリーム処理の基本
Sotaro Kimura
PPTX
RDB開発者のためのApache Cassandra データモデリング入門
Yuki Morishita
PDF
スマートニュースの世界展開を支えるログ解析基盤
Takumi Sakamoto
PPTX
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
Sotaro Kimura
PPTX
Apache Cassandra最新情報まとめ
Yuki Morishita
PDF
Presto As A Service - Treasure DataでのPresto運用事例
Taro L. Saito
PPTX
スキーマ 付き 分散ストリーム処理 を実行可能な FlinkSQLClient の紹介
Sotaro Kimura
PPTX
Introduction to DocumentDB
Takekazu Omi
PDF
Elasticsearch 2014/04/21 勉強会資料 「Couchbase と Elasticsearch が手を結んだら」
Masahiro Satake
PDF
FluentdとRedshiftの素敵な関係
moai kids
PDF
Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク #dbts2021
Kouhei Sutou
Kafka logをオブジェクトストレージに連携する方法まとめ
Keigo Suda
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習
Katsushi Yamashita
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Treasure Data, Inc.
第一回Web技術勉強会 efkスタック編
tzm_freedom
Elasticsearch at Makuake
Yoshiaki Yoshida
2019.03.19 Deep Dive into Spark SQL with Advanced Performance Tuning
Takuya UESHIN
Awsでつくるapache kafkaといろんな悩み
Keigo Suda
スキーマつきストリーム データ処理基盤、 Confluent Platformとは?
Sotaro Kimura
Kafkaを使った マイクロサービス基盤 part2 +運用して起きたトラブル集
matsu_chara
Kafkaを活用するためのストリーム処理の基本
Sotaro Kimura
RDB開発者のためのApache Cassandra データモデリング入門
Yuki Morishita
スマートニュースの世界展開を支えるログ解析基盤
Takumi Sakamoto
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
Sotaro Kimura
Apache Cassandra最新情報まとめ
Yuki Morishita
Presto As A Service - Treasure DataでのPresto運用事例
Taro L. Saito
スキーマ 付き 分散ストリーム処理 を実行可能な FlinkSQLClient の紹介
Sotaro Kimura
Introduction to DocumentDB
Takekazu Omi
Elasticsearch 2014/04/21 勉強会資料 「Couchbase と Elasticsearch が手を結んだら」
Masahiro Satake
FluentdとRedshiftの素敵な関係
moai kids
Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク #dbts2021
Kouhei Sutou
Ad
Viewers also liked
(17)
PDF
Pentaho ETL ハンズオン
Teruo Kawasaki
PDF
Pentaho 定型レポート ハンズオン
Teruo Kawasaki
PPTX
Pentaho
ヨウコ スズキ
PPTX
Pentaho CTools 20140902
Teruo Kawasaki
PDF
Pentaho Reporting Tutorial 20140729
Teruo Kawasaki
KEY
Phpで作るmovable typeプラグイン
Yuji Takayama
PPT
BI勉強会0729-1 PentahoCE5.1 on Amazon AWS
Hisashi Nakayama
PDF
Pdi tutorial 20140121
Teruo Kawasaki
PPT
オープンソースBI勉強会Mongo-Pentaho 20140422
Hisashi Nakayama
PDF
Diary of Support Engineer
Treasure Data, Inc.
PDF
MySQLトラブル解析入門
Mikiya Okuno
PDF
スペクトラル・クラスタリング
Akira Miyazawa
PDF
pentaho PDI(CE版)の運用
kumeee
PDF
Internals of Presto Service
Treasure Data, Inc.
PDF
2章グラフ理論スピード入門
Teruo Kawasaki
PDF
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
NTT DATA OSS Professional Services
PDF
BI勉強会20150624 LT-Tika
Hisashi Nakayama
Pentaho ETL ハンズオン
Teruo Kawasaki
Pentaho 定型レポート ハンズオン
Teruo Kawasaki
Pentaho
ヨウコ スズキ
Pentaho CTools 20140902
Teruo Kawasaki
Pentaho Reporting Tutorial 20140729
Teruo Kawasaki
Phpで作るmovable typeプラグイン
Yuji Takayama
BI勉強会0729-1 PentahoCE5.1 on Amazon AWS
Hisashi Nakayama
Pdi tutorial 20140121
Teruo Kawasaki
オープンソースBI勉強会Mongo-Pentaho 20140422
Hisashi Nakayama
Diary of Support Engineer
Treasure Data, Inc.
MySQLトラブル解析入門
Mikiya Okuno
スペクトラル・クラスタリング
Akira Miyazawa
pentaho PDI(CE版)の運用
kumeee
Internals of Presto Service
Treasure Data, Inc.
2章グラフ理論スピード入門
Teruo Kawasaki
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
NTT DATA OSS Professional Services
BI勉強会20150624 LT-Tika
Hisashi Nakayama
Ad
Lambda in java_20160121
1.
Lambda in Java 試してみた [2016/01/21] JAWS-UG
アーキテクチャ専門支部 クラウドネイティブ分科会 CDP議論会 #5 ! Teruo Kawasaki @teruu
2.
• Lambdaでデータ分析系のネタを探してみる
3.
Qiitaでネタ探し AWS Lambda縛り Advent
Calendar 2015 http://qiita.com/advent-calendar/2015/lambda
4.
データ分析系のトピック AWS Lambdaを使ってサーバレスでテキスト抽出するぞ!という気持ち http://blog.livedoor.jp/sasata299/archives/52204992.html • Apache
Tika • PDFやエクセル等のファイルから、テキストデータ やメタデータを抽出(Java製) • 記事ではNode.jsから扱うためのライブラリを併用 • Lambda in Javaで実現できないか
5.
GitHubでtika-lambdaを発見 tika-lambda https://github.com/DovetailSoftware/tika-lambda
6.
チュートリアルを探す [AWS Lambda]S3にテキストファイルが置かれたらイベントドリブンに 形態素解析(kuromoji) http://qiita.com/imura81gt/items/c487f6ff2528501a232b • 開発環境は
Maven and Eclipse IDE (Java) • 外部ライブラリを利用 • S3からオブジェクトをget • IAMロールの設定
7.
苦労した点 • とにかく、ClassNotFoundExceptionが出まくっ た • デバッグのやり方がわからない
8.
アーキテクチャの話題 今日から始めるサーバレスサーバレスアーキテクチャ http://dev.classmethod.jp/event/aws-mobile-iot-report-advanced-03/ • スライドの37枚目あたりにアーキテクチャのトピック • 制限時間の回避方法 •
カスケード:Function内でcontextから残り時間を見 てタスキ渡し • ファンアウト:複数のFunctionを起動するFunction • Javaでの実現方法
9.
長時間バッチ処理をサーバーレスでやりたい • Lambdaはどこまでフィットするか • 短時間、軽めの負荷、マイクロサービス •
制限時間と課金 • 制限時間は、Lambdaにとって、どこまで本質的 な問題か • 60分程度まで延長される可能性はあるか
Download