AWS Lambda + Python資料 ver0.94 20160825
Download as PPTX, PDF13 likes4,137 views
JAWS-UG沖縄 真夏の熱すぎるサーバレス祭り！ 2016年08月 および、PythonBeginners 2ndの発表資料です。 えーっと、AWS LambdaでPython使ってみたいけど、LambdaでPythonってどっから手つけたら良いのかわからんので、とりあえずフレームワーク使っておけば型ができるからServerlessFramework(ver.0.56)とPyCharm使って手軽に構築してみたよ、って内容です。ついでにCORSの設定もしてみています。 学生などの初心者も意識して作成した資料のため「なぜPython？」や「AWS アカウント作成」「Git作成」などの記載もありますが、スキルに合わせて読み飛ばしてくださいませ〜(`･ω･´)ノシ
![@Yasuharu Suzuki35
Serverless Frameworkのインストール
http://qiita.com/susieyy/items/1c2af0ef7b88b742c37a
nodeのバージョンを確認します。v4系ならOKです。
> node --version
v4.3.2
node無いときは入れます(nodebrewでのインストール方法 http://mae.chab.in/archives/2880)
> brew install nodebrew
> export PATH=$HOME/.nodebrew/current/bin:$PATH
> source ~/.bashrc
> nodebrew install-binary stable
use v6.2.2
Serverless Frameworkのインストール
> npm install serverless -g
> sls version
1.0.0-beta.1.1
な、なんだってー!!!! (ちょっと前までv0.5.6だった)
AWS CLIをインストールします。
> pip install awscli
AWSのcredentials確認。defaultを見に行くので確認しておく。
> cat ~/.aws/credentials
[default]
aws_access_key_id = <<アクセスキー>>
aws_secret_access_key = <<シークレットアクセスキー>>
[suzuki_yasuharu-private]
aws_access_key_id = <<アクセスキー>>
aws_secret_access_key = <<シークレットアクセスキー>>
無いときは書く
> mkdir ~/.aws/
> vi ~/.aws/credentials
参考サイト
Defaultでver1.0.0-beta.1.1が
インストールされる。](https://image.slidesharecdn.com/pythononlambdaver0-160824231731/85/AWS-Lambda-Python-ver0-94-20160825-35-320.jpg)
![@Yasuharu Suzuki46
unittest設定＠PyCharm
ここから
[Python tests] → [unittest]
を選択
unittestに使用する.pyを指定
使用するPythonを指定
複数入れている場合は適切なパスを指
定してあげてください。](https://image.slidesharecdn.com/pythononlambdaver0-160824231731/85/AWS-Lambda-Python-ver0-94-20160825-46-320.jpg)
AWS Lambda + Python資料 ver0.94 20160825
- 1. @Yasuharu Suzuki 2016.08.27 鈴木康元 twitter @yasuharutwi facebook yasuharu.suzuki.50 AWS Lambda + Python with Serverless Framework、PyCharm、CORS ” “ 1 Ver.0.94
- 2. @Yasuharu Suzuki2 鈴木 康元 出身 茨城 → 東京 → 北海道 → 沖縄 趣味 勉強会、嫁、半導体情報収集 経歴 ゲーム開発(15年)、教育系アプリ開発、 SIer(1年)、レキサス２年目 担当 ハロペアプリ開発リーダー(SPL) コトバンバン開発リーダー(SPL) ADOC-H開発リーダー(SPL) など 得意技 地味プログラム 肩書 LIT(Lexues Innovation Team) R&D担当システムエンジニア
- 8. @Yasuharu Suzuki8 機械学習 ＝ Python？ 機械学習やDeepLeaningするのに Python以外の言語ではだめなのか？ 聞いてみた！
- 18. @Yasuharu Suzuki LambdaとEC2の比較(3) 18 EC2 Lambda 言語 通常のサーバと同様に使える。 OSや言語を自由に選択可能。 言語を自由に選択できない。Java8、 Python 2.7、Javascript(node4.3)のみ。 オート スケール オートスケールに構築も可能。ただし、イ ンスタンスの起動/停止に２〜３分以上か かるため、間に合わないことも。 オートスケールで自動的に1000台まで起 動する。 運用 コスト 最大負荷にあわせてスペックを上げておく 必要がある。 稼働中は常に課金され、その価格が安くは ない。 プログラムが実行されていない間は課金さ れない。 Amazon側もハードウェアを有効活用でき るため価格が安い。 開発 しやすさ 従来通りの開発が可能。 豊富なライブラリ、フレームワークを選択 できる。 フレームワークは発展途上のものが多く、 開発コストがかかる。 ステートレスに組む必要がある。
- 20. @Yasuharu Suzuki20 Lambdaのフレームワークを探す ・Python Serverless Microframework for AWS ・Serverless Framework (Chalice) (旧：JAWS Framework)
- 21. @Yasuharu Suzuki21 Python Serverless Microframework for AWS (Chalice) ・Python専用のため学習コストが低く 、すぐに試せる。 ・最近まで1ソースファイルしかサポ ートしていなかった → 7/22対応 ・複数のソースディレクトリは非対応 ・APIGatewayが毎回更新されてしま う。 すごく簡単で便利なのですが、マイクロ過ぎて使えない！ 今後のバージョンアップに期待！
- 23. @Yasuharu Suzuki23 Pythonの開発環境を探す ・Atom ・Xcode ・Visual Studio Code ・Jupyter Lab ・PyCharm
- 24. @Yasuharu Suzuki24 エディタ 使用した印象 Atom 普段良く使うフリーのテキストエディタ。 保存するとダブルコーテーションが文字化けし、コンパイ ルに失敗。使えない。 Xcode 文字化けは起きないが、使用感が重い。 Python特有の解析ツール（pip8など）も適用されていな い。 Visual Studio Code 文字化けは起きない。バージョンアップを重ねてだいぶ 使いやすくなった。Python特有の解析ツール（pip8など ）は適用されていない。 コンソール Pythonはコンソール上でデバッガも出来るため、慣れれ ば使いやすいらしい。 Pythonの開発環境
- 25. @Yasuharu Suzuki25 Jupiter Lab まだ発表されたばかりで機能も少ないが、今後化けるかも？ IPython Notebookの開発者 (Fernando Perez氏)が開発した、 ブラウザベースの統合環境。 .pyファイルと.ipynbを１つのフレ ームワーク内で使える。こんなの が欲しかった！(*´Д｀*)
- 28. @Yasuharu Suzuki28 S3Lambda CORS- TEST1.0 静的HTMLの ダウンロード 静的HTMLからの Ajax通信 CORS-TEST VER1.0 - CLOUD DIAGRAMS
- 29. @Yasuharu Suzuki29 CORS (Cross-Origin Resource Sharing) http://dev.classmethod.jp/cloud/cors-cross-origin-resource-sharing-cross-domain/ （抜粋） ブラウザがオリジン（HTMLを読 み込んだサーバのこと）以外のサ ーバからデータを取得する仕組み です。 ↓ ※抜け道（JSONP）を使わずに通 信可能とするには、サーバ側から 許可する必要があります。
- 30. @Yasuharu Suzuki30 Gitリポジトリ作成 https://gitlab.com/へ移動 「New Project」をクリック Project名「CORS-Test01」としま した。 「Create Project」をクリック。
- 31. @Yasuharu Suzuki31 Gitリポジトリ作成 https://gitlab.com/ で作成したProject をSource URLに指定して 「Clone」をクリック 適当にファイルを追加して Commit ＆ Push。
- 33. @Yasuharu Suzuki33 PyCharmプロジェクト作成 PyCharmを起動 「Create New Project」をクリック フォルダを割り当てるだけで Projectが作成されます。 Project名は「CORS-Test01」とし ました。
- 35. @Yasuharu Suzuki35 Serverless Frameworkのインストール http://qiita.com/susieyy/items/1c2af0ef7b88b742c37a nodeのバージョンを確認します。v4系ならOKです。 > node --version v4.3.2 node無いときは入れます(nodebrewでのインストール方法 http://mae.chab.in/archives/2880) > brew install nodebrew > export PATH=$HOME/.nodebrew/current/bin:$PATH > source ~/.bashrc > nodebrew install-binary stable use v6.2.2 Serverless Frameworkのインストール > npm install serverless -g > sls version 1.0.0-beta.1.1 な、なんだってー!!!! (ちょっと前までv0.5.6だった) AWS CLIをインストールします。 > pip install awscli AWSのcredentials確認。defaultを見に行くので確認しておく。 > cat ~/.aws/credentials [default] aws_access_key_id = <<アクセスキー>> aws_secret_access_key = <<シークレットアクセスキー>> [suzuki_yasuharu-private] aws_access_key_id = <<アクセスキー>> aws_secret_access_key = <<シークレットアクセスキー>> 無いときは書く > mkdir ~/.aws/ > vi ~/.aws/credentials 参考サイト Defaultでver1.0.0-beta.1.1が インストールされる。
- 36. @Yasuharu Suzuki36 Serverless Frameworkのdeploy serverless project作成 > sls create -t aws-python severless.ymlを変更 > vi serverless.yml service: corstest01 defaults: stage: dev region: ap-northeast-1 <---- 変更してみた functions: <---- 変更してみた show: handler: handler.hello events: - http: GET users/show > vi serverless.env.yml regions: ap-northeast-1: <---- 変更してみた デプロイしてみる > sls deploy 数分待たされる Service Information service: cors-test01 stage: dev region: ap-northeast-1 <---- 反映されてた。 endpoints: GET - https://aaa.execute-api.ap-northeast-1.amazonaws.com/dev/users/show functions: cors-test01-dev-hello: arn:aws:lambda:ap-northeast-1:bbb:function:cors-test01-dev-hello テスト実行 > curl https://aaa.execute-api.ap-northeast-1.amazonaws.com/dev/users/show ローカルテスト実行 > sls invoke --function hello https://github.com/serverless/serverless/blob/master/docs/ guide/overview-of-event-sources.md#http-endpoint 参考サイト （公式のみ。まだ情報が少ない！） ver0.5.6と比較して 破壊的なバージョンアップ orz
- 39. @Yasuharu Suzuki39 Serverless Framework@0.5.6の再インストール http://qiita.com/mamo/items/6f1cf71ccd82216fe25b npmのuninstallコマンドを忘れがちなのでメモ アンインストール前に念のためバージョン確認 > sls -v 1.0.0-beta.1.1アンインストール実行 > npm uninstall serverless --save -g http://qiita.com/448jp/items/58c5cbd5576c07177b8d npmでパッケージの特定バージョンをインストールする Serverless Framework@0.5.6 のインストール > npm install serverless@0.5.6 -g バージョンの確認 > sls -v 0.5.6 参考サイト
- 40. @Yasuharu Suzuki40 Serverless Framework@0.5.6のProject作成 参考サイト http://tech.pero.li/entry/2016/04/08/142649 node.jsの例ですがseverlessフレームワークの情報多め Serverlessフレームワークで Amazon API Gateway + Lambda のAPIを作った プロジェクト作成（v1.00とかなり異なる） > sls project create _______ __ | _ .-----.----.--.--.-----.----| .-----.-----.-----. | |___| -__| _| | | -__| _| | -__|__ --|__ --| |____ |_____|__| ___/|_____|__| |__|_____|_____|_____| | | | The Serverless Application Framework | | serverless.com, v0.5.6 `-------' Serverless: Initializing Serverless Project... Serverless: Enter a name for this project: (serverless-s15t8i) sls-cors-test02 Serverless: Enter a new stage name for this project: (dev) Serverless: For the "dev" stage, do you want to use an existing Amazon Web Services profile or create a new one? > Existing Profile Create A New Profile Serverless: Select a profile for your project: > default suzuki_yasuharu-private Serverless: Creating stage "dev"... Serverless: Select a new region for your stage: us-east-1 us-west-2 eu-west-1 eu-central-1 > ap-northeast-1 Serverless: Creating region "ap-northeast-1" in stage "dev"... Serverless: Deploying resources to stage "dev" in region "ap-northeast-1" via Cloudformation (~3 minutes)... Serverless: Successfully deployed "dev" resources to "ap-northeast-1" Serverless: Successfully created region "ap-northeast-1" within stage "dev" Serverless: Successfully created stage "dev" Serverless: Successfully initialized project "sls-cors-test02" Project名 ステージ AWS Profileの選択 regionの選択
- 41. @Yasuharu Suzuki 作成したproject内にディレクトリを移動して、endpoint作成 > cd sls-cors-test02 > sls function create functions/hello/world Serverless: Please, select a runtime for this new Function nodejs4.3 > python2.7 nodejs (v0.10, soon to be deprecated) Serverless: For this new Function, would you like to create an Endpoint, Event, or just the Function? > Create Endpoint Create Event Just the Function... Serverless: Successfully created function: "functions/hello/world" デフォルトで出力されたソースファイルを表示 > cd functions/hello/world > cat handler.py from __future__ import print_function import json import logging log = logging.getLogger() log.setLevel(logging.DEBUG) def handler(event, context): log.debug("Received event {}".format(json.dumps(event))) return {} functions/hello/world/handler.handlerのソースを修正。戻り値をちょっと変えただけ。 return {"message":"cors test !"} 41 Serverless Framework@0.5.6のendpoint作成 参考サイト http://tech.pero.li/entry/2016/04/08/142649
- 42. @Yasuharu Suzuki42 Serverless Framework@0.5.6のdeploy ソースを書き換えてローカルで実行。 ローカルで軽く動作確認できるのは便利！ ただしどうやらpythonではコンソール出力がされない様子。 > sls function run Serverless: Running world... Serverless: ----------------- Serverless: Success! - This Response Was Returned: Serverless: {"message":"cors test !"} 参考サイト http://tech.pero.li/entry/2016/04/08/142649 デプロイ！ > sls dash deploy -- (途中略) -- Serverless: Select the assets you wish to deploy: world function - world endpoint - world - GET - - - - - > Deploy Cancel Serverless: Successfully deployed endpoints in "dev" to the following regions: Serverless: ap-northeast-1 ------------------------ Serverless: GET - world - https://aaa.execute-api.ap-northeast-1.amazonaws.com/dev/world curlで叩いてみる とても簡単ですね！ > curl https://aaa.execute-api.ap-northeast-1.amazonaws.com/dev/world {"message": "cors test !"}
- 43. @Yasuharu Suzuki43 Serverless Framework@0.5.6のCORS設定 参考サイト http://davidcai.github.io/blog/posts/serverless-and-cors/ Serverless Framework & AWS API Gateway CORS s-function.jsonを開く。 GETメソッドのResponseパラメータを追加 OPTIONSメソッド追加 "responseParameters": { "method.response.header.Access-Control-Allow-Headers": "'Content-Type,X-Amz- Date,Authorization,X-Api-Key,Cache-Control'", "method.response.header.Access-Control-Allow-Methods": "'*'", "method.response.header.Access-Control-Allow-Origin": "'*'" }, { "path": "hello/world", "method": "OPTIONS", "type": "AWS", "authorizationType": "none", "authorizerFunction": false, "apiKeyRequired": false, "requestParameters": {}, "requestTemplates": { "application/json": ""statusCode": 200" }, "responses": { "default": { "statusCode": "200", "responseParameters": { "method.response.header.Access-Control-Allow-Headers": "'Content-Type,X-Amz- Date,Authorization,X-Api-Key,Cache-Control'", "method.response.header.Access-Control-Allow-Methods": "'*'", "method.response.header.Access-Control-Allow-Origin": "'*'" }, "responseModels": {}, "responseTemplates": { "application/json": "" } } }
- 46. @Yasuharu Suzuki46 unittest設定＠PyCharm ここから [Python tests] → [unittest] を選択 unittestに使用する.pyを指定 使用するPythonを指定 複数入れている場合は適切なパスを指 定してあげてください。