SlideShare a Scribd company logo
Lambda in Java
試してみた
[2016/01/21]
JAWS-UG アーキテクチャ専門支部
クラウドネイティブ分科会
CDP議論会 #5
!
Teruo Kawasaki
@teruu
• Lambdaでデータ分析系のネタを探してみる
Qiitaでネタ探し
AWS Lambda縛り Advent Calendar 2015
http://qiita.com/advent-calendar/2015/lambda
データ分析系のトピック
AWS Lambdaを使ってサーバレスでテキスト抽出するぞ!という気持ち
http://blog.livedoor.jp/sasata299/archives/52204992.html
• Apache Tika
• PDFやエクセル等のファイルから、テキストデータ
やメタデータを抽出(Java製)
• 記事ではNode.jsから扱うためのライブラリを併用
• Lambda in Javaで実現できないか
GitHubでtika-lambdaを発見
tika-lambda
https://github.com/DovetailSoftware/tika-lambda
チュートリアルを探す
[AWS Lambda]S3にテキストファイルが置かれたらイベントドリブンに
形態素解析(kuromoji)
http://qiita.com/imura81gt/items/c487f6ff2528501a232b
• 開発環境は Maven and Eclipse IDE (Java)
• 外部ライブラリを利用
• S3からオブジェクトをget
• IAMロールの設定
苦労した点
• とにかく、ClassNotFoundExceptionが出まくっ
た
• デバッグのやり方がわからない
アーキテクチャの話題
今日から始めるサーバレスサーバレスアーキテクチャ
http://dev.classmethod.jp/event/aws-mobile-iot-report-advanced-03/
• スライドの37枚目あたりにアーキテクチャのトピック
• 制限時間の回避方法
• カスケード:Function内でcontextから残り時間を見
てタスキ渡し
• ファンアウト:複数のFunctionを起動するFunction
• Javaでの実現方法
長時間バッチ処理をサーバーレスでやりたい
• Lambdaはどこまでフィットするか
• 短時間、軽めの負荷、マイクロサービス
• 制限時間と課金
• 制限時間は、Lambdaにとって、どこまで本質的
な問題か
• 60分程度まで延長される可能性はあるか

More Related Content

PDF
TokyoWebminig カジュアルなHadoop
PPTX
re:Growth athena
PDF
re:Growth 2016 in TOKYO発表「AWS Glueの紹介」
PDF
elasticsearch-hadoopをつかってごにょごにょしてみる
PPTX
サーバレスで分析基盤〜ブートキャンプに参加してみた〜
 
PPTX
2015 03-12 道玄坂LT祭り第2回 Spark DataFrame Introduction
PDF
Apache Sparkやってみたところ
PDF
20161214 re growth-sapporo
TokyoWebminig カジュアルなHadoop
re:Growth athena
re:Growth 2016 in TOKYO発表「AWS Glueの紹介」
elasticsearch-hadoopをつかってごにょごにょしてみる
サーバレスで分析基盤〜ブートキャンプに参加してみた〜
 
2015 03-12 道玄坂LT祭り第2回 Spark DataFrame Introduction
Apache Sparkやってみたところ
20161214 re growth-sapporo

What's hot (20)

PDF
Kafka logをオブジェクトストレージに連携する方法まとめ
PDF
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習
PDF
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
PDF
第一回Web技術勉強会 efkスタック編
PDF
Elasticsearch at Makuake
PDF
2019.03.19 Deep Dive into Spark SQL with Advanced Performance Tuning
PDF
Awsでつくるapache kafkaといろんな悩み
PDF
スキーマつきストリーム データ処理基盤、 Confluent Platformとは?
PDF
Kafkaを使った マイクロサービス基盤 part2 +運用して起きたトラブル集
PPTX
Kafkaを活用するためのストリーム処理の基本
PPTX
RDB開発者のためのApache Cassandra データモデリング入門
PDF
スマートニュースの世界展開を支えるログ解析基盤
PPTX
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
PPTX
Apache Cassandra最新情報まとめ
PDF
Presto As A Service - Treasure DataでのPresto運用事例
PPTX
スキーマ 付き 分散ストリーム処理 を実行可能な FlinkSQLClient の紹介
PPTX
Introduction to DocumentDB
PDF
Elasticsearch 2014/04/21 勉強会資料 「Couchbase と Elasticsearch が手を結んだら」
PDF
FluentdとRedshiftの素敵な関係
PDF
Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク #dbts2021
Kafka logをオブジェクトストレージに連携する方法まとめ
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
第一回Web技術勉強会 efkスタック編
Elasticsearch at Makuake
2019.03.19 Deep Dive into Spark SQL with Advanced Performance Tuning
Awsでつくるapache kafkaといろんな悩み
スキーマつきストリーム データ処理基盤、 Confluent Platformとは?
Kafkaを使った マイクロサービス基盤 part2 +運用して起きたトラブル集
Kafkaを活用するためのストリーム処理の基本
RDB開発者のためのApache Cassandra データモデリング入門
スマートニュースの世界展開を支えるログ解析基盤
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
Apache Cassandra最新情報まとめ
Presto As A Service - Treasure DataでのPresto運用事例
スキーマ 付き 分散ストリーム処理 を実行可能な FlinkSQLClient の紹介
Introduction to DocumentDB
Elasticsearch 2014/04/21 勉強会資料 「Couchbase と Elasticsearch が手を結んだら」
FluentdとRedshiftの素敵な関係
Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク #dbts2021
Ad

Viewers also liked (17)

PDF
Pentaho ETL ハンズオン
PDF
Pentaho 定型レポート ハンズオン
PPTX
PPTX
Pentaho CTools 20140902
PDF
Pentaho Reporting Tutorial 20140729
KEY
Phpで作るmovable typeプラグイン
PPT
BI勉強会0729-1 PentahoCE5.1 on Amazon AWS
PDF
Pdi tutorial 20140121
PPT
オープンソースBI勉強会Mongo-Pentaho 20140422
PDF
Diary of Support Engineer
PDF
MySQLトラブル解析入門
PDF
スペクトラル・クラスタリング
PDF
pentaho PDI(CE版)の運用
PDF
Internals of Presto Service
PDF
2章グラフ理論スピード入門
PDF
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
PDF
BI勉強会20150624 LT-Tika
Pentaho ETL ハンズオン
Pentaho 定型レポート ハンズオン
Pentaho CTools 20140902
Pentaho Reporting Tutorial 20140729
Phpで作るmovable typeプラグイン
BI勉強会0729-1 PentahoCE5.1 on Amazon AWS
Pdi tutorial 20140121
オープンソースBI勉強会Mongo-Pentaho 20140422
Diary of Support Engineer
MySQLトラブル解析入門
スペクトラル・クラスタリング
pentaho PDI(CE版)の運用
Internals of Presto Service
2章グラフ理論スピード入門
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
BI勉強会20150624 LT-Tika
Ad

Lambda in java_20160121