Amazon SageMaker の紹介 + デモ

Editor's Notes

• #3: re:Inventで機械学習関連のサービスがたくさん登場したのを目の当たりにして、機械学習に興味を抱くようになり、 色々と調べてみました (超初心者)
• #4: まずそもそも機械学習とはなにかがわからなかったので、ド素人ながら調べてみました。 機械学習とは 人工知能(人間の知能の一部(計算する・予測する・識別する・分類する)を実現する)の領域の一つ
• #5: もう少し掘り下げてみますと、 たくさんデータをモデルに反復的に学習させることで、未知のデータが来ても予測・識別・分類する そこに潜むパターン（特徴）を見つけ出すもの 例えば 人間はふだん目でみた視覚的な情報を脳で瞬時に処理をしています。 例えば、猫を見たらすぐに猫と分かりますし、犬を見たら犬と分かります。 同じ4本足の似ている動物ですが、姿、形、大きさ、色、鳴き声などの特徴（パターン）から判断できます。 しかし、デジタルな情報しか扱えないコンピューターにとって、特徴を見つけ出すことはとても難しいです。 どうしても数字で表す必要があるので、「猫は体長が◯◯cm~◯◯cm程度で、足の長さは◯◯cm~◯◯cm程度で…」などと定義しないといけないからです。 でも、数字には個体差が大きいため、どうしてもあいまいな定義しかできません。 そこで大量のデータから分析や解析をして、ある一定の特徴を見つけ出す技術や手法が必要になってきます。  データ -(学習)-> 機械学習モデル -> 分類・予測などデータをもとに学習し、予測モデルを作りあげていく。 分析したいデータを食わせて分類や判断を行う
• #6: 教師あり学習は訓練させるデータを例題とみなすやりかたです、あらかじめこれは犬これは猫と正解を与えておいたデータを学習させ、未知のデータが来てもこれは犬だ！と識別できるような手法です。 被写体の判別やスパムメールの判定にも使われていたりもします。 (画像はわかりやすくするためのイメージで、 実際は眼と眼の距離や体長、耳の長さなどの数値パラメータの集まりだと思ってください)
• #7: 対して教師なし学習はデータに正解すら与えずに学習させ、 未知のデータに対しても だいたいこれとこれは同じだろうとグループ分けをするやりかたです。 グーグルの類似画像の検索とかまさにこれじゃないでしょうか
• #8: 他にもゲームAIに用いられる強化学習やニューラルネットワーク、 そして最近話題のディープラーニングなどありますが、 これらは機械学習の中の手法の一つとなっております。 要は機械学習は人工知能の一種で、その中にも色々やり方があるんだということですね、
• #9: 一昔まえだと難解な数学を理解し、ハイスペックなPCを持っていないと扱えなかった機械学習ですが、 機械学習にはデータサイエンティストのような専門家と推論学習用のPCが必要 興味はあるんだけどなかなかとっつきづらく 敷居が高いものでありました
• #10: 今やクラウドにより膨大な計算を手軽に扱えるようになったり CaffeやTensolFlowなどの便利なフレームワークが登場したことで 機械学習は専門家でない私達でも身近な存在になりました。 AWSに限っても機械学習をベースとしたたくさんのサービスやプラットフォームが存在し、 今回の発表でも、Amazon Rekognition Videoや Amazon Comprehendなど 機械学習ベースの新サービスが怒涛の如く登場してきました。 今回はその中の一つ、機械学習プラットフォームAmazon SageMakerについて調べました その前に、元々存在していていたプラットフォームAmazon MLについてどういうものかも触っていなかったので、使ってみながら少し調べてみました。
• #11: 二項分類 このメールはスパムかどうか？ 明日は雨が降るか？ 多項分類 イヌかネコかネズミかその他か？ 今なっている和音は何か？ 回帰分析 売上予測 気温予測 バッチ予測 S3にアップされた予測対象データ群に対してまとめて予測を実施 リアルタイム予測 このデータはこういう予測だ！というのをAPIを用いて実施 まとめると 一行もコードを書かずにお手軽には扱える本当にスゴイツールであるものの、 対象が教師あり学習に限定される・入力はCSVファイルに限られるところ のは機械学習の全体感からすると柔軟性としては高くない印象でした。 このことを踏まえてAmazon SageMakerを触ってみました
• #12: 環境を構築してモデルをトレーニングし、訓練済みのモデルを利用するためのエンドポイント作成までをクラウド上で行うことができるというもの 基本的にGUIで全てのことを行うことができますが、 一環の流れをジュパイターというノートブックをつかってブラウザ上でパイソンを書くことで、S3上のデータを取り込んだり、好きなフレームワークを選んだりといった凝ったこともできます。 個人的にAMLと比べてこれはでかいと思ったことは、教師なし学習にも対応しているというところでしたりCSV以外の画像などのデータも学習データとして扱うことができるところが大きいと思いました。 データ処理・学習・エンドポイント作成をAWS上のJupyter Notebookを用いて行うことができる Jupyter このJupyter Notebookというのは ブラウザで動くプログラムの対話型実行環境らしく 、ノートブックと呼ばれるドキュメントを作成し、プログラムを書いて実行するだけでなく、その中にメモを挿入したり、保存と共有などをブラウザ上で行うことができるものだそうです。 そのなかにサンプルコードがたくさんあり、Teonsol FlowにしようかCaffeにしようかといった どのようなフレームワークやアルゴリズムを使うかを選ぶことができる (ブラウザ上からSageMaker APIを用いて) ただ必ずしもJupyterを使う必要もなく、JobからでもGUIをポチポチすることで学習を行うことができる 個人的に大きいと思ったことは、教師なし学習にも対応しているので、画像分類とか規則性発見とかAmazon MLよりもイロイロできる ↓↓どう話そうか？ ただ必ずしもJupyter NoteBook Jobというもの オーサリング：いわゆるデータセットの前処理の工程のことです。機械学習の9割はデータセットの前処理だ、と言われているほど重要な工程ですよね。すでに多くの機械学習エンジニアの方が、iPythonやJupyter Notebookなど、セルコーディングを利用されているかと思います。AWS SageMakerでは、Jupyter NotebookをCPUベースやGPUベースなど、クラウド上で利用状況に合わせて簡単にセットアップ＆利用が可能です。（これは既存のAWS Machine Learningでは無いサービスでした） モデルトレーニング：モデル構築や学習、さらには評価もクラウドで行えます。すでに多数の学習アルゴリズムが組み込まれているのも大きな特徴の一つですが、加えて、多数のフレームワークやDockerコンテナなどを利用して独自の学習環境を構築もできます。また、大きなメリットとして、学習データなどのをAWS S3が簡単に使えます。（これは既存のAWS Machine Learningでも同様です） モデルホスティング：構築したモデルをリアルタイムで使えるように、HTTPSエンドポイントが提供されます。さらにスケールをすることも容易にできて、複数モデルでのA/Bテストも行うことが可能のようです（これは使って見たいですね！）。 
• #13: 今回のデモではジュパイターのサンプルコードをつかってK平均法と呼ばれる教師なし学習を使って手書きの0〜9の数字を分類するというところまでやってみたいと思います。
• #17: インスタンスが立ち上がるまで少し時間がかかる https://sagemaker-sample.notebook.us-east-1.sagemaker.aws/notebooks/sample-notebooks/sagemaker-python-sdk/1P_kmeans_highlevel/kmeans_mnist.ipynb
• #20: メモ付のソースコードが チュートリアル形式で実行できる
• #21: 1とか6は優秀
• #22: 他にもできること Dockerコンテナを使用して独自にトレーニングデータを作成することも可能。 ワンクリックでトレーニングデータを作成し実行がすることが出来ます。 機械学習モデルをコピーして、並列処理でパラメータ実行させることも可能。 Amazon S3に保存されたトレーニングデータを視覚化することもできます。 S3に直接接続することも、AWS Glueを使ってAmazon RDS、Amazon DynamoDB、Amazon Redshiftから S3にデータを格納し解析することもできます。 値段: 稼働時間と通信料、ストレージサイズで計算される Googleの機械学習API やAzure Machine LearningはAPIを呼んだ回数や処理時間で課金されるので通信量が少なく軽い処理であればSageMakerの方が安くなりそう