내 입맞에 맞는 프로그래밍 언어로 Lambda 함수 만들기 :: 정창훈 - AWS Community Day 2019
4 likes2,864 views
내 입맞에 맞는 프로그래밍 언어로 Lambda 함수 만들기 정창훈 - 당근마켓
![#!/bin/sh
set -euo pipefail
source $LAMBDA_TASK_ROOT/"$(echo $_HANDLER | cut -d. -f1).sh"
while true
do
HEADERS="$(mktemp)"
EVENT=$(curl -sS -LD "$HEADERS" -X GET "http://${AWS_LAMBDA_RUNTIME_API}/2018-06-01/
runtime/invocation/next")
REQ_ID=$(grep -Fi Lambda-Runtime-Aws-Request-Id "$HEADERS" | tr -d '[:space:]' | cut -d: -f2)
RESPONSE=$($(echo "$_HANDLER" | cut -d. -f2) "$EVENT")
curl -X POST "http://${AWS_LAMBDA_RUNTIME_API}/2018-06-01/runtime/invocation/$REQ_ID/
response" -d “$RESPONSE"
done
bootstrap 코드에 Runtime 구현](https://image.slidesharecdn.com/lambdacustomruntime-190125141200/85/Lambda-AWS-Community-Day-2019-13-320.jpg)
![#!/bin/sh
set -euo pipefail
source $LAMBDA_TASK_ROOT/"$(echo $_HANDLER | cut -d. -f1).sh"
while true
do
HEADERS="$(mktemp)"
EVENT=$(curl -sS -LD "$HEADERS" -X GET "http://${AWS_LAMBDA_RUNTIME_API}/2018-06-01/
runtime/invocation/next")
REQ_ID=$(grep -Fi Lambda-Runtime-Aws-Request-Id "$HEADERS" | tr -d '[:space:]' | cut -d: -f2)
RESPONSE=$($(echo "$_HANDLER" | cut -d. -f2) "$EVENT")
curl -X POST "http://${AWS_LAMBDA_RUNTIME_API}/2018-06-01/runtime/invocation/$REQ_ID/
response" -d “$RESPONSE"
done
이벤트 데이터 가져오기](https://image.slidesharecdn.com/lambdacustomruntime-190125141200/85/Lambda-AWS-Community-Day-2019-15-320.jpg)
![#!/bin/sh
set -euo pipefail
source $LAMBDA_TASK_ROOT/"$(echo $_HANDLER | cut -d. -f1).sh"
while true
do
HEADERS="$(mktemp)"
EVENT=$(curl -sS -LD "$HEADERS" -X GET "http://${AWS_LAMBDA_RUNTIME_API}/2018-06-01/
runtime/invocation/next")
REQ_ID=$(grep -Fi Lambda-Runtime-Aws-Request-Id "$HEADERS" | tr -d '[:space:]' | cut -d: -f2)
RESPONSE=$($(echo "$_HANDLER" | cut -d. -f2) "$EVENT")
curl -X POST "http://${AWS_LAMBDA_RUNTIME_API}/2018-06-01/runtime/invocation/$REQ_ID/
response" -d “$RESPONSE"
done
람다 함수 실행](https://image.slidesharecdn.com/lambdacustomruntime-190125141200/85/Lambda-AWS-Community-Day-2019-17-320.jpg)
![#!/bin/sh
set -euo pipefail
source $LAMBDA_TASK_ROOT/"$(echo $_HANDLER | cut -d. -f1).sh"
while true
do
HEADERS="$(mktemp)"
EVENT=$(curl -sS -LD "$HEADERS" -X GET "http://${AWS_LAMBDA_RUNTIME_API}/2018-06-01/
runtime/invocation/next")
REQ_ID=$(grep -Fi Lambda-Runtime-Aws-Request-Id "$HEADERS" | tr -d '[:space:]' | cut -d: -f2)
RESPONSE=$($(echo "$_HANDLER" | cut -d. -f2) "$EVENT")
curl -X POST "http://${AWS_LAMBDA_RUNTIME_API}/2018-06-01/runtime/invocation/$REQ_ID/
response" -d “$RESPONSE"
done
함수 실행 결과 전달](https://image.slidesharecdn.com/lambdacustomruntime-190125141200/85/Lambda-AWS-Community-Day-2019-18-320.jpg)
![require 'json'
def lambda_handler(event:, context:)
r = {
version: "Current lambda ruby versions is #{RUBY_VERSION}",
endless: [0, 1, 2][0..]
}
{ statusCode: 200, body: JSON.generate(r) }
end
lambda_function.rb](https://image.slidesharecdn.com/lambdacustomruntime-190125141200/85/Lambda-AWS-Community-Day-2019-35-320.jpg)
![$ aws lambda create-function
--function-name "aws-lambda-ruby-260"
--zip-file "fileb://ruby_260.zip"
--handler "lambda_function.lambda_handler"
--runtime provided
--role arn:aws:iam::xxxxxx:role/lambda_basic_execution
$ aws lambda invoke
--function-name "aws-lambda-ruby-260"
--payload '{"text":"Hello"}'
response.txt
$ cat response.txt
{"statusCode":200,"body":"{"version":"Current lambda ruby
versions is 2.6.0","endless":[0,1,2]}"}](https://image.slidesharecdn.com/lambdacustomruntime-190125141200/85/Lambda-AWS-Community-Day-2019-38-320.jpg)
내 입맞에 맞는 프로그래밍 언어로 Lambda 함수 만들기 :: 정창훈 - AWS Community Day 2019
- 1. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved. 내 입맛에 맞는 프로그래밍 언어로 Lambda 함수 만들기 정창훈 당근마켓
- 7. Fotran VB.net GraalVM Swift Pascal Common Lisp Haskell Vim Crystal AWS Lambda Custom Runtimes芸⼈ Advent Calendar 2018
- 9. • 커스텀 런타임은 bootstrap 파일을 실행 • bootstrap 을 만들어서 정해진 위치에 두면 끝 커스텀 런타임 실행 구조
- 10. bootstrap 에러 발생시 핸들링 이벤트 데이터 (SNS, S3, API GW ) 컨텍스트 (파일이름, 함수 이름…) 루비파일의 함수 실행 실행결과 Lambda Runtime API 커스텀 런타임에서 해야 할 일
- 11. bootstrap 만들기
- 13. #!/bin/sh set -euo pipefail source $LAMBDA_TASK_ROOT/"$(echo $_HANDLER | cut -d. -f1).sh" while true do HEADERS="$(mktemp)" EVENT=$(curl -sS -LD "$HEADERS" -X GET "http://${AWS_LAMBDA_RUNTIME_API}/2018-06-01/ runtime/invocation/next") REQ_ID=$(grep -Fi Lambda-Runtime-Aws-Request-Id "$HEADERS" | tr -d '[:space:]' | cut -d: -f2) RESPONSE=$($(echo "$_HANDLER" | cut -d. -f2) "$EVENT") curl -X POST "http://${AWS_LAMBDA_RUNTIME_API}/2018-06-01/runtime/invocation/$REQ_ID/ response" -d “$RESPONSE" done bootstrap 코드에 Runtime 구현
- 15. #!/bin/sh set -euo pipefail source $LAMBDA_TASK_ROOT/"$(echo $_HANDLER | cut -d. -f1).sh" while true do HEADERS="$(mktemp)" EVENT=$(curl -sS -LD "$HEADERS" -X GET "http://${AWS_LAMBDA_RUNTIME_API}/2018-06-01/ runtime/invocation/next") REQ_ID=$(grep -Fi Lambda-Runtime-Aws-Request-Id "$HEADERS" | tr -d '[:space:]' | cut -d: -f2) RESPONSE=$($(echo "$_HANDLER" | cut -d. -f2) "$EVENT") curl -X POST "http://${AWS_LAMBDA_RUNTIME_API}/2018-06-01/runtime/invocation/$REQ_ID/ response" -d “$RESPONSE" done 이벤트 데이터 가져오기
- 16. • /runtime/invocation/next • 람다 실행과 함께 전달된 이벤트 데이터 조회 • Request ID • Client Context • X-Ray Trace ID • Lambda Function ARN • Deadline ms • Cognito Identity API : Next Invocation
- 17. #!/bin/sh set -euo pipefail source $LAMBDA_TASK_ROOT/"$(echo $_HANDLER | cut -d. -f1).sh" while true do HEADERS="$(mktemp)" EVENT=$(curl -sS -LD "$HEADERS" -X GET "http://${AWS_LAMBDA_RUNTIME_API}/2018-06-01/ runtime/invocation/next") REQ_ID=$(grep -Fi Lambda-Runtime-Aws-Request-Id "$HEADERS" | tr -d '[:space:]' | cut -d: -f2) RESPONSE=$($(echo "$_HANDLER" | cut -d. -f2) "$EVENT") curl -X POST "http://${AWS_LAMBDA_RUNTIME_API}/2018-06-01/runtime/invocation/$REQ_ID/ response" -d “$RESPONSE" done 람다 함수 실행
- 18. #!/bin/sh set -euo pipefail source $LAMBDA_TASK_ROOT/"$(echo $_HANDLER | cut -d. -f1).sh" while true do HEADERS="$(mktemp)" EVENT=$(curl -sS -LD "$HEADERS" -X GET "http://${AWS_LAMBDA_RUNTIME_API}/2018-06-01/ runtime/invocation/next") REQ_ID=$(grep -Fi Lambda-Runtime-Aws-Request-Id "$HEADERS" | tr -d '[:space:]' | cut -d: -f2) RESPONSE=$($(echo "$_HANDLER" | cut -d. -f2) "$EVENT") curl -X POST "http://${AWS_LAMBDA_RUNTIME_API}/2018-06-01/runtime/invocation/$REQ_ID/ response" -d “$RESPONSE" done 함수 실행 결과 전달
- 19. • /runtime/invocation/{RequestId}/response • 람다 함수 실행 결과를 전달 API : Invocation Response
- 20. • Invocation Error • /runtime/invocation/{RequestId}/error • Initialization Error • /runtime/init/error 해야되는데 안한것
- 21. 귀찮다…
- 22. 귀찮음을 극복한 이야기
- 23. AWS Lambda 루비 버전 2.5
- 24. 매년 크리스마스 새로운 루비 버전 릴리즈 • 2.6.0 - 2018-12-25 • 2.5.0 - 2017-12-25 • 2.4.0 - 2016-12-25 • 2.3.0 - 2015-12-25 • 2.2.0 - 2014-12-25 • 2.1.0 - 2013-12-25
- 25. 2.6.0이 나왔는데 2.5.0을 사용하기는 찝찝하다. 혹은 내가 좋아하는 언어를 지원 안해준다 (ex. Fortran)
- 27. 루비 2.5 람다 어딘가 bootstrap이 있겠네!
- 28. def lambda_handler(event:, context:) `tar -cvf /tmp/runtime.tar /var/runtime` result = `curl -F "file=@/tmp/runtime.tar" https://file.io` { statusCode: 200, body: result } end 루비 2.5 람다 런타임에 있는 bootstrap 및 관련 파일 다운로드 압축을 풀면 bootstrap 파일 및 관련된 lib 폴더가 같이 있음
- 29. def lambda_handler(event:, context:) `tar -cvf /tmp/runtime.tar /var/runtime` result = `curl -F "file=@/tmp/runtime.tar" https://file.io` { statusCode: 200, body: result } end 루비 2.5 람다 런타임에 있는 bootstrap 및 관련 파일 다운로드 압축을 풀면 bootstrap 파일 및 관련된 lib 폴더가 같이 있음
- 30. def lambda_handler(event:, context:) `tar -cvf /tmp/runtime.tar /var/runtime` result = `curl -F "file=@/tmp/runtime.tar" https://file.io` { statusCode: 200, body: result } end 루비 2.5 람다 런타임에 있는 bootstrap 및 관련 파일 다운로드 압축을 풀면 bootstrap 파일 및 관련된 lib 폴더가 같이 있음
- 31. • /var/runtime 을 /var/task/ruby 로 변경(Lambda Layer 라면 /opt/ruby) bootstrap 파일 수정 # 주요 변경 예시 export GEM_HOME=/var/task/vendor/bundle/ruby/2.6.0 export GEM_PATH=/var/task/vendor/bundle/ruby/2.6.0:/var/task/ruby/gems/ 2.6.0:/var/task/ruby/lib/ruby/gems/2.6.0 export RUBYLIB=/var/task:/var/task/ruby/lib:$RUBYLIB export PATH=/var/task/ruby/bin:$PATH /var/task/lib/runtime.rb
- 32. • Lambda 가 실행되는 환경에서 빌드 • Operating system ‒ Amazon Linux • AMI ‒ amzn-ami-hvm-2017.03.1.20170812-x86_64-gp2 • Linux kernel ‒ 4.14.77-70.59.amzn1.x86_64 • EC2에서 빌드하기 번거로우니까 lambci/lambda-base:build 도커 이미지 사용 루비 2.6.0 빌드
- 33. $ docker run -it --rm -v $(pwd):/var/task lambci/lambda-base:build /bin/bash bash# yum install -y git bzip2 openssl-devel libyaml-devel libffi-devel readline-devel zlib-devel gdbm-devel ncurses-devel gcc gcc-c++ autoconf automake libtool bison bash# git clone https://github.com/rbenv/ruby-build.git bash# PREFIX=/usr/local ./ruby-build/install.sh bash# ruby-build 2.6.0 /var/task/ruby 루비 2.6.0 빌드
- 34. /var/task/ruby Lambda 실행시 루비 2.6.0이 설치될 경로 /opt/ruby Lambda Layer 사용시
- 35. require 'json' def lambda_handler(event:, context:) r = { version: "Current lambda ruby versions is #{RUBY_VERSION}", endless: [0, 1, 2][0..] } { statusCode: 200, body: JSON.generate(r) } end lambda_function.rb
- 36. 준비된 파일들을 zip . ├─ bootstrap 기존 람다에서 받은 파일. 루비 경로 변경 ├─ lib 기존 람다에서 받은 파일 ├─ ruby 빌드한 루비 2.6.0 폴더 └─ lambda_function.rb 실행될 람다 함수 $ zip -r ruby_260.zip bootstrap lib ruby lambda_function.rb
- 37. 실행!
- 38. $ aws lambda create-function --function-name "aws-lambda-ruby-260" --zip-file "fileb://ruby_260.zip" --handler "lambda_function.lambda_handler" --runtime provided --role arn:aws:iam::xxxxxx:role/lambda_basic_execution $ aws lambda invoke --function-name "aws-lambda-ruby-260" --payload '{"text":"Hello"}' response.txt $ cat response.txt {"statusCode":200,"body":"{"version":"Current lambda ruby versions is 2.6.0","endless":[0,1,2]}"}
- 39. 이것도 귀찮다!
- 40. 루비 2.6.0을 쉽게 사용하는 방법
- 41. arn:aws:lambda:<region>:350831304703:layer:ruby-260:1 Ex) Seoul Region arn:aws:lambda:ap-northeast-2:350831304703:layer:ruby-260:1 미리 만들어둔 람다 레이어 사용
- 42. 루비 2.6 버전 커스텀 런타임에 대한 자세한 내용은 블로그 참고 AWS 람다(AWS Lambda) 커스텀 런타임 만들기 (feat. 루비 2.6.0) | 44bits.io
- 43. 루비 2.6.0 빌드 및 람다 레이어 배포 소스 코드 https://github.com/seapy/aws-lambda-custom- runtime-builder-for-ruby
- 44. 내가 만들어서 다른사람을 이롭게 하자
- 45. 루비처럼 람다에 루비 지원해달라고 청원 사이트 만들 필요 없다! https://www.serverless-ruby.org/
- 46. AWS가 언어의 새로운 버전 적용 해주기를 기다릴 필요가 없다. 루비 1.0 버전을 실행하고 싶을때 AWS가 해줄리가 없음.
- 47. Fotran VB.net GraalVM Swift Pascal Common Lisp Haskell Vim Crystal AWS Lambda Custom Runtimes芸⼈ Advent Calendar 2018