AI & Deep Learning on AWS at CTO Night&Day 2016 Winter
0 likes1,147 views
AI & Deep Learning on AWS at CTO Night&Day 2016 Winter
- 1. 1 AWSとAI & Machine Learning 2016年12月6日 アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクト 松尾康博
- 2. 2 Who am I ? • 名前 – 松尾康博 • 所属 – アマゾンウェブサービスジャパン株式会社 – ソリューションアーキテクト – 製造業のHPC、CAE、ビッグデータ解析等を主に担当 • 経歴 – 九州大学でスパコンの効率化研究 – SIerで 分散キューの開発・導入、分散処理研究 – Web系スタートアップCTO – SIerで仮想化基盤の研究・導入・運用 – 現職
- 5. 5 Amazon 画像検索 & 音声検索 http://www.gizmodo.jp/2015/07/_amazon_1.html
- 6. 6 クラウド上で音声認識能力を継続的に改善し、インター フェースとして活用 Alexa, play Bruno Mars from Prime Music （ブルーノ・マーズの曲をかけてく ださい) Alexa, turn on the lights (ライトをつけてください)
- 8. 8 Amazon Rekognitionを発表 • 深層学習の技術を利用した画像認識のマ ネージドサービス • 学習済みモデルを利用して、画像の「状 況」「人物の顔」「物体」を検出 • S3に格納した画像に対して解析を行うこと で、マッチする状況や物体名を受け取れる • バージニア、オレゴン、アイルランドの リージョンで利用可能。月5,000回の認識 と年間1,000個の顔ベクトル情報まで無料 利用枠の対象となり、以後従量課金制 ※動作イメージ Apple!! https://aws.amazon.com/rekognition/ https://aws.amazon.com/jp/blogs/news/amazon-rekognition-image-detection-and-recognition-powered-by-deep-learning/
- 10. 10 Amazon Lexを発表 • 音声またはテキストメッセージに応答するチャッ トボット開発を容易にするサービス。Amazon Alexaと同等の自然言語エージェントを開発可能に • 自然言語の入力を解析しその意味合いに応じたア プリケーションコードを実行することにより、 ユーザとのインタラクションを実現 • バージニアリージョンでプレビュー中。10,000テ キストと5,000音声の入力まで利用開始から1年間 は無料。以後1,000テキストあたり$0.75、1,000 音声あたり$4.00となる • https://aws.amazon.com/lex/ https://aws.amazon.com/jp/blogs/news/amazon-lex-build-conversational-voice-text-interfaces/
- 11. 11 Amazon Lexを発表
- 12. 12 Amazon Pollyを発表 • フルマネージド型の”Text-to-speech”機能を提供 する新サービス。APIを利用して文章をPollyに渡す と音声ストリームまたはファイルの形式で音声化 • 24の言語、47種類のボイス（男性、女性）に対応。 日本語もサポートしている • プロ声優による音声。Pollyで出力された音声デー タは自由に利用できる • バージニアとオレゴン、アイルランド、オハイオ のリージョンでプレビュー提供を開始 Open the pod bay door please, HAL. Open the pod bay door please, HAL. https://aws.amazon.com/polly/ https://aws.amazon.com/jp/blogs/news/polly-text-to-speech-in-47-voices-and-24-languages/
- 13. 13 Amazon Pollyを発表 • 料金体系は従量課金 – 5,000,000文字までは無料 – 以後、1文字あたり$0.000004 • 英語の場合、一般的に1分の音声出力で概ね $0.004くらいの課金になる
- 14. 14 AWSと機械学習
- 15. 15 • NVIDIA K80を最大16GPU搭載 • 計192GBのGPUメモリと 約40,000 CUDAコアを搭載 • 1台で70TFlops(単精度浮動小数点演算)を実現 • 1台で23TFlops(倍精度浮動小数点演算)を実現 • GPUDirect™によるpeer-to-peer 接続をサポート Instance Name GPU Count vCPU Count Memory Parallel Processing Cores GPU Memory Network Performance P2.xlarge 1 4 61GiB 2,496 12 GiB High P2.8xlarge 8 32 488GiB 19,968 96 GiB 10 Gigabit P2.16xlarge 16 64 732GiB 39,936 192 GiB 20 Gigabit ＜インスタンスサイズ＞ GPU搭載：P2インスタンス https://aws.amazon.com/jp/blogs/news/new-p2-instance-type-for-amazon-ec2-up-to-16-gpus/ バージニア・オレゴン・アイルランド の3リージョンで提供中
- 19. 19 GPUインスタンスでGPUを使うには 通常のAMIに、NVIDIA DriverやCUDAをインストールすればOK AMI NVIDIA Driver NVIDIA CUDA GPUフレームワーク GPUアプリケーション
- 22. 22 NVIDIA製AMI https://aws.amazon.com/marketplace/seller-profile?id=c568fe05-e33b-411c-b0ab-047218431da9 • Windows Server + Driver • CUDA7.5 + Amazon Linux • DIGITS4 + Ubuntu 14.04 • etc.
- 23. 23 AWS製AMIも https://aws.amazon.com/marketplace/pp/B01M0AXXQB?qid=1475211685369&sr=0-1&ref_=srh_res_product_title プリインストール済み • MXNet • Caffe • Tensorflow • Theano • Torch ※要CUDAインストールCUDA込みAMI出ました
- 24. 24 Deep Learning AMIは随時更新中 ※Oregon Region ※2016/12/6時点
- 25. 25 http://www.nvidia.co.jp/object/docker-container-jp.html Dockerも利用可能 • GPUアプリケーションを仮想化 • オンプレ、クラウドを問わず同 一イメージが動作可能 • AWSでも動作 • Docker Hubにも https://hub.docker.com/u/nvidia/
- 26. 26 MXNet at AWS
- 28. 28 MXNetとは • オープンソース – Apache-2 ライセンス • 発祥 – ワシントン大学、カーネギーメロン大学 • サポートモデル – Convolutional Neural Networks (CNN) – Long Short-Term Memory (LSTM) • スケーラブル – 線形にスケールし、学習モデルを高速に作成 • 多くの言語に対応 – Scala, Python, R等。 Sparkとの連携も容易 • エコシステム – 産学に多くのコミュニテイ http://mxnet.io/ https://github.com/dmlc/mxnet
- 29. 29 MXNet への AWSの投資 • 開発ツール – AMIやCloudFormationテンプレートにより、モデル学習の開発・可視化を早く • ドキュメント – 多くのユースケース、ハウツー等に対応するドキュメント • 移行ツール – Caffeやその他フレームワークからの移行ツール、Kerasとの連携ツール • エコシステム – ワークショップ、パートナー、ブログ、AWSサービスと連携したアーキテク チャの公開
- 33. 33 Deep Learning on AWSのパターンと事例
- 34. 34 • 大規模データの収集・分析基盤としては以下の 4つの要素が必要と考えられます データ分析・学習に必要な基盤 収集 保存 分析・学習 可視化推論 収集したデー タをリアルタイ ムに基盤に転 送 データを長期 的に保存、検 索 大規模データ を高速に分析 （解析）、学習 モデル作成 分析結果の 考察（BI）や学 習モデルによ る推論
- 35. 35 Amazon.com での事例 • リコメンデーションモデルの生成に AWS上でDeep Learningを実行 • 前処理(データ生成)はSparkで実行 • 学習タスクと推論タスクはGPUインス タンス上のDockerで実行
- 36. 36 Amazon.com での事例 • 学習タスク: モデル並列処理 – N個のGPUで並列処理 – パラメータサーバで重みを共有 • 推論タスク: データ並列処理 – お客様毎のレコメンデーションを生成 – 大規模並列のGrid処理 学習タスク 推論タスク
- 37. 37 最後に イベント予告
- 38. 38
- 39. 39 Machine Learning Session at re:Invent 2016 https://www.portal.reinvent.awsevents.com/connect/search.ww#loadSearch- searchPhrase=MAC3+MAC2+MAC4&searchType=session&tc=0&sortBy=abbreviationSort&p=
- 41. 41
Editor's Notes
- #5: アマゾンでも、宅配の自動化でのDrone、エージェント機能をもつecho、気軽に買い物ができるDashというもをだしており、IoTを使った様々なチャレンジを行っており、また、IoTプラットフォームを提供している2lemetryという会社を買収しております。
- #7: “ Alexa play Bruno Mars from Prime Music” “Alexa, turn on the lights” “ Alexa, order an Echo dot” Echoの根本はクラウド上の音声認識エンジンであるAlexa クラウド上にあるが故に、 a)音声認識自体が向上する b)様々なデバイスに展開できる c)3rd partyのデベロッパーが機能を追加できる デバイスの広がりもあるし、更にSkillの広がりもある
- #9: アップルじゃなくても、元の画像に入っている物体をパイナップルでもペンでも認識するというイメージです。
- #11: Alexa あlexあ てきな
- #12: 左の絵はコンソールの画面。旅行の予約や命令応答といったプリセットからボットを作れる。 上側の絵で会話からピックアップするキーワード等を設定して、右下の画面でボットの動作詳細を設定します。