Jawsdays2016 田舎とAWS Lambdaと私

Editor's Notes

• #2: では始めさせていただきます。よろしくお願いします。まずはじめに「部屋とワイシャツと私」に関する話は出てきませんのでご了承ください。あとlambdaに関するテクニカルな内容も特にないのでご了承ください。 まず告知！
• #3: 今日いろんなセッションで見ているとは思いますが、一応。 AWSサミットが6月1日から3日間開催されます。場所はグランドプリンスホテル新高輪で、いつものところですね。ぜひみなさん来てください！
• #4: で、twitter連動企画やってます。顔抜き写真をtwitterへ投稿して景品をゲットしよう。
• #5: 公式アカウントをフォローして写真ブースで写真撮影してハッシュタグをつけて投稿！そしてそのツイートがたくさんリツイートされた方には豪華賞品がもらえます。 16:30までなのでもう時間的に厳しくなってきましたが是非みなさんやってみてください。優勝者は懇親会で発表になります。
• #6: AWS公式フェイスブックをフォローして25ドルクーポンをゲットしよう。 よくわかってないのですがとりあえずフォローしていいねしとけばいいんだと思います。
• #7: で、こちら応募用URLは懇親会で発表ということなので、みなさんぜひ懇親会も出てください。
• #8: ということで告知は以上で、まず自己紹介から始めさせていただきます。私、石澤直人と申します。twitterアカウントyouyo_というのでやっております。青森出身の仙台在住です。普段青森にいないのですが一応jawsug青森のコアメンバーをやっております。で、一応ブログも書いてて、このブログがcloudfrontとs3とGAE、グーグルアップエンジンなんですけども、それらを組み合わせて作ってます。cloudfrontをL7バランサーとして使用しててマルチオリジンでs3とgaeに振り分けています。詳細は雑ですけどブログに書いてあるので興味ある方はぜひみてください。最近はterraformとcircleciにハマっています。git pushでデプロイされてaws環境作れちゃうーとかいうのかっこいい！やってみたい！で完全に手段が目的になってる状態なんですけども、この辺に詳しい、自信あるという方は是非、教えて欲しいので声かけてください。
• #9: 会社紹介の方も少し。株式会社ヘプタゴンという会社で今回のjawsdaysのスポンサーもやっています。本社は青森県三沢市にあって、東北初のAPNコンサルティングパートナーを取得しています。青森と仙台を中心に東北で活動してて、業務内容としては設計/構築/運用/保守まで行うフルマネージドサービスや、クラウド導入支援/教育みたいなものもやっております。 社員は今インターン含めて4名で、今日は3人で来ています。4人とも普段いる場所はバラバラでリモートワークしています。何かのイベントのついでに4人集まって久しぶりーみたいな感じになります。 現在一緒に働いてくれる仲間を募集しています。興味がある方はこの3人までお声がけください！
• #10: 今回出張jaws-ugということで、jaws-ug青森についてもちょっと触れます。2013年の第0回から第4回まで5回やっております。全部三沢市という米軍基地があるところでやってます。 右上のロゴですけども、その米軍基地を意識してアメリカ人風というか、そういう感じに仕上がっています。たぶん非公式なロゴです。 2015年はjaws-ug青森単体では開催していないですが、他の県内コミュニティグループと合同で勉強会を開催していました。一番大きなものとしては夏に行った東北IT物産展があります。これは東北六県のIT系のコミュニティを集めて、特にawsに限らずな感じで開催したものになります。その第1回を青森で開催したんですが、100人を超える人が来てくれて大盛況な感じでした。今年の開催地は秋田の予定なので、興味ある方はとか秋田出身だーとかいう方は是非来てください。
• #11: で、その行ってきた勉強会の内容なんですけども、基本的にはawsとはなんぞや？クラウドとは？、各サービスの説明というような基礎的なものから、たまにはディープラーニング/マシンラーニングのようなハイレベルなものまでいろいろやっております。んで徐々に参加者のレベルも高くなってきたような感じはあります。ただし田舎なので集客はそれなりに大変です。だいたい10人15人とかそれくらいですね。あと交通手段も車必須になるので県外からの参加者は移動に苦労するかもしれないです。でも来てくれるのであれば僕が駅から車で送迎するので、もし参加したいけど交通手段がないーという方も安心してください。 んでまぁ写真は田舎感が一番伝わりそうな写真です。これ本社の裏側がもう畑です。だいたい青森ってこんなところですっていうと怒られそうですけど、まぁこんな感じです。で、
• #12: そんな田舎での仕事/案件ってどういうものがあるかというと、予算が少ない、サーバへのアクセスも少ない、でもサーバは落としちゃいけない、もちろんバックアップも冗長化もやってくれ、と。でも安くね？みたいなのがあるわけです。もしかしたら田舎限らずどこでもそうなおかもしれないですが。。で、お客様のこういう要望に対してどうやったら実現可能かを考えて提案するのがうちの仕事なわけでして、まぁ考えた結果サーバーレスでイベントドリブンなアーキテクチャーにすればいいんじゃないかと。いうことでLambda使ってみました。ちょっと注意点があって、下の方に書いてある通り、上記の流れと今回紹介する会社様は関係ございません。無茶な要求はなかったということを言っておきます。
• #13: ということで AWS Lambda使ってみました。
• #14: 事例紹介ということで一般社団法人MAKOTOさまの事例を今回紹介させていただきます。MAKOTOさまは田舎のお客様というわけではなく仙台の都会のイケてる会社様になります。で、お客様の方でいくつか抱えていた課題があって、それまで手作業で統計処理を行っていたプロジェクトがあったのですが、その統計処理対象のデータ量が増えるにつれて統計処理にかかる作業時間が長くなり、人的リソースの確保も困難になっている状態だと。で、業務の効率化のために一連の作業をシステム化したいというご要望をいただきました。そしてうちで提案したのが次の構成になります。
• #15: 使用しているサービスはS3とLambda、SNSとSESになります。
• #16: 処理の流れとしては、まずユーザーが統計処理対象のマスターデータをs3にアップロードします。ここは割り切ってマネジメントコンソールからやってもらいます。で、s3のevent notificationを使いLambda functionを実行します。ここで一度マスターデータの細分化を行い、再度s3にputします。またs3のevent notificationでlambda functionを実行します。この流れで細分化/解析/統計処理を繰り返しながら最終的な結果のファイルをs3にまたputします。最後にs3のevent notificationからSNS、SESを使用しユーザーに通知を行います。そしてユーザーがs3からファイルをダウンロードして終了となります。で、この構成にしてどうなったかというと、
• #17: awsのクラウドサービスを利用したシステムなので、とにかく運用のコストを下げられたというのが大きいです。また、ec2のような常時コストが発生するサービスは使用していないので、完全に使った分だけの従量課金を実現できました。そのおかげであまり使用しない時期などのランニングコストを大幅に削減できました。 マスターデータが大きくなった場合でもデータの細分化を行うことで、その後実行されるlambda functionを並列に実行でき、処理速度の低下を抑えることができました。 で、お客様にも大変満足していただけるシステムが無事完成しました。お客様の方から、「インフラの維持コストがほとんどかからない構成を提案していただき非常に助かりました。他社提案とは全く異なるサーバレスの構成と聞いて心配していましたが、処理件数が非常に多い場合でも、ほとんど数秒で結果が返ってきて非常に満足しています。」というありがたいお言葉を頂いています。この他者提案とは全く異なるサーバーレスな構成を出せるというのも、awsまたlambdaの魅力の一つかと思います。 で、今回の事例紹介は以上になるんですが、もうちょっとだけLambda使ってみた話をします。
• #19: cloudwatchからデータを取得してzabbixに投げるということで、弊社ではサーバの監視業務も行っています。zabbixを言うソフトを使用していて、そこからcloudwatchのデータを取得/保存しています。で、このcloudwatchからデータを取得する部分なんですが、rubyでスクリプト書いて行っていたんですけども、どうも重いと。監視対象、取得データ数の増加に伴って、zabbix-serverの負荷が厳しくなってきました。で、とりあえずcloudwatchからのデータ取得用にzabbix-proxyを使って分離してスケールアウトできるようにしたのですが、監視対象が増えて重くなるたびにインスタンス増やすのイマイチだなーと思っていました。そこでこのcloudwatchのデータ取得の部分をlambdaに置き換えられないかと考えました。
• #20: で、できたのがこの構成になります。ぱっと見でわかるようなシンプルなものです。今まではzabbix-serverの部分でスクリプトを実行し直接cloudwatchのデータを取得していました。この構成では、まずzabbix-serverからcurlコマンドでhttpリクエストをapi-gatewayに投げます。そこでlambda functionを実行し、cloudwatchからデータ取得してレスポンスを返す、と。綺麗にスクリプト実行部分だけをlambdaに移植出来たと思っています。
• #21: で、結果どうなったかというと、切り替え後からcpu負荷がガクッと下がりました。
• #22: で、この構成にすることによりcpu負荷を大きく下げられたというのもありますが、lambdaを利用することにより、今後監視対象が増えてzabbix-serverからのリクエスト数が多くなった場合でも自動でスケールアウトしてくれる、というのもポイントかと思います。
• #23: はい、では今回のまとめです。田舎には田舎なりのaws/クラウドの使い方がある。必要な時に必要な分だけ処理を実行できるlambdaは、コスト面でも、田舎の強い味方です。lambdaの特徴をよく理解して適材適所で使用し、より良いawsライフを送ろう！以上になります。ありがとうございました！