.NETラボ勉強会 2021年1月「C#で機械学習」

.NETラボ勉強会 2021年1月
23th January 2021
Fujio Kojima
『C#で機械学習』

自己紹介
• 小島富治雄
• @Fujiwo
• 福井コンピュータグループ
• Microsoft MVP (2005-2021)

•BuriKaigi 2021
• オンライン開催!
• 2021/01/30 13:30 - 17:30
• オンライン懇親会!
with ぶりしゃぶ!
大事な話は最初に!
https://toyama-eng.connpass.com/event/198500/

Agenda
1. 機械学習 (ML: Machine Learning)
2. フルスクラッチニューラルネットワーク (C#)
3. ML.NET (C#)
• ML.NET Model Builder → ML.NET (C#)
4. Azure Machine Learning → C#
4.1. デザイナーで機械学習 → API 作成 → API コール (C#)
4.2. Jupyter Notebook (Python) で機械学習 → ONNX モデル作成 → ML.NET (C#)
4.3. AutoMLでディープラーニング → API 作成 → API コール (C#)

本日のソースコード
• .NET Lab Study Meeging Jan. 2021 「Machine Learning with C#」 | Fujiwo | GitHub
• https://github.com/Fujiwo/DotNetLabNeuralNetworkSample202101

人工知能 (AI)
機械学習 (ML)
ニューラルネットワーク
6
Deep Learning

ニューラルネットワークとは
7

神経細胞のネットワーク
8

神経細胞のネットワークを模倣
入力
入力
・
・
・
出力
出力
・
・
・
・
・
・
・
・
・・
・
・
ニューロン
入力層中間層出力層
9

個々のニューロン
ニューロン
出力
入力
入力
・
・
・
入力
バイアス
10

入力
入力
出力
ニューロン
バイアス
重み
11

ニューラルネットワークの訓練
正解
ー
1. 重みの修正
2. 重みの修正
入力
入力
ニューロン
バイアス
重み
出力
12

13
実際にニューラルネットワークを
プログラミング言語（C#) で
フルスクラッチで書いて理解しよう

ニューラルネットワークによる分類 (classification)
14

「その座標は福井県か否か?」
•学習データ
1. 郵便局の郵便番号データ
• 地名の一覧を取得
2. Google Maps の API で
緯度・経度に変換
CSV 形式で保存

2値による分類 (Classification)
16
Longitude 136
Latitude 36
Longitude
Latitude
➢ 一般的なアルゴリズムで
解くことはむつかしい
➢ 二次元だとこんな感じ
➢ 二次元の線で分けられる
➢ N次元に一般化すると?
➢ N次元空間の面で分ける
➢ 数学的には、テンソル
(N次元の値の集まり)
の流れ (tensor flow)
で考えることができる

public class Neuron // ニューロン
{
double sum;
public double Value { get; private set; } = 0.0;
public void Input(IEnumerable<Input> inputData)
{
inputData.ForEach(input => Input(input.WeightingValue));
Value = Math.Sigmoid(sum);
}
void Input(double value) => sum += value;
}
C# によるニューロンの実装
17

C# によるニューラルネットワークの実装
public class NeuralNetwork // ニューラルネットワーク
{
// 各層
double[] inputLayer;
Neuron[] middleLayer;
Neuron outputLayer;
// バイアス
double inputLayerBias = 1.0;
double middleLayerBias = 1.0;
// 各層の重み
// 入力層 → 中間層の重み
double[,] inputWeight = new double[,] { { RandomWeight, RandomWeight },
{ RandomWeight, RandomWeight }, { RandomWeight, RandomWeight } };
// 中間層 → 出力層の重み
double[] middleWeight = new[] { RandomWeight, RandomWeight, RandomWeight };
18

C# によるニューラルネットワークの実装 (続き)
// 実行
public double Commit((double, double) data)
{
// 各層
inputLayer = new[] { data.Item1, data.Item2, inputLayerBias };
middleLayer = new[] { new Neuron(), new Neuron() };
outputLayer = new Neuron();
// 入力層→中間層
middleLayer.For((index, neuron)
=> middleLayer[index].Input(ToInputData(inputLayer, inputWeight.GetColumn(index).ToArray())));
// 中間層→出力層
outputLayer.Input(new[] { new Input { Value = middleLayer[0].Value, Weight = middleWeight[0] },
new Input { Value = middleLayer[1].Value, Weight = middleWeight[1] },
new Input { Value = middleLayerBias , Weight = middleWeight[2] } });
return outputLayer.Value;
}
19

// 学習 void Learn((double, double, double) data)
{
var outputData = Commit((data.Item1, data.Item2));
var correctValue = data.Item3;
var learningRate = 0.3; // 学習係数
// 出力層→中間層
// δmo = (出力値 - 正解値) × 出力の微分
var daltaMO = (correctValue - outputData) * outputData * (1.0 - outputData);
var oldMiddleWeight = middleWeight.Clone() as double[];
// 修正量 = δmo × 中間層の値 × 学習係数
middleLayer.For((index, neuron) => middleWeight[index] += neuron.Value * daltaMO * learningRate);
middleWeight[2] += middleLayerBias * daltaMO * learningRate;
// 中間層→入力層
// δim = δmo × 中間出力の重み × 中間層の微分
var deltaIM = middleLayer.IndexSelect(index =>
daltaMO * oldMiddleWeight[index] * middleLayer[index].Value * (1.0 - middleLayer[index].Value)).ToArray();
// 修正量 = δim × 入力層の値 × 学習係数
inputWeight.For((row, column, _) =>
inputWeight[row, column] += inputLayer[row] * deltaIM[column] * learningRate);
}
20

// 学習
public void Learn(IEnumerable<(double, double, double)> dataCollection, int times)
=> times.Times(() => dataCollection.ForEach(data => Learn(data)));
static IEnumerable<Input> ToInputData(double[] inputLayer, double[] inputWeight)
=> inputLayer.IndexSelect(index =>
new Input { Value = inputLayer[index], Weight = inputWeight[index] });
readonly static Random random = new Random();
const double weightRange = 10.0;
static double RandomWeight => (random.NextDouble() - 0.5) * weightRange;
}
21

実行結果 (座標データと訓練前)
22

実行結果 (教師データと訓練後)
23

3. ML.NET (C#)
•ML.NET Model Builder → ML.NET (C#)
27

.NETラボ勉強会 2021年1月「C#で機械学習」

•よくあるシナリオ
1. クラウド (Azure) でトレーニングし、機械学習済みのモデルを作成
• ハイコスト
• ハイパフォーマンスのコンピューター
• 低頻度
2. エッジデバイスで、そのモデルを利用
• ローコスト
• 非力なマシン
• 高頻度
40

Azure Machine Learning → C# の3つのシナリオ
• 4.1. デザイナーで機械学習
→ API 作成
→ API コール (C#)
• 4.2. Jupyter Notebook (Python) で機械学習/ディープラーニング
→ ONNX モデル作成
→ ML.NET (C#)
• 4.3. AutoML で機械学習/ディープラーニング
→ API 作成

4.1. デザイナーで機械学習
•デザイナーで機械学習
→ API 作成

4.2. Jupyter Notebook (Python) で機械学習
•Jupyter Notebook (Python) で機械学習
→ ONNX モデル作成
→ ML.NET (C#)

4.2. Jupyter Notebook (Python) で機械学習
•Fujiwo/decode2020: 【de:code 2020】 Azure
Machine Learning Studio と Python と C#/.NET に
よるディープラーニングのサンプル/チュートリアル
https://github.com/Fujiwo/decode2020

4.3. AutoMLでディープラーニング
•AutoMLでディープラーニング
→ API 作成

本日やったこと
3. ML.NET (C#)
• ML.NET Model Builder → ML.NET (C#)
4.1. デザイナーで機械学習 → API 作成 → API コール (C#)
4.2. Jupyter Notebook (Python) で機械学習 → ONNX モデル作成 → ML.NET (C#)
4.3. AutoMLでディープラーニング → API 作成 → API コール (C#)

参考資料
• .NET で AutoML ONNX モデルを使用して予測を行う - Azure Machine Learning | Microsoft Docs
• 自動 ML とは AutoML - Azure Machine Learning | Microsoft Docs
• ONNX: 高パフォーマンスなクロスプラットフォームの推論 - Azure Machine Learning | Microsoft Docs
• 自動 ML 分類モデルを作成する - Azure Machine Learning | Microsoft Docs
• AutoML を使用して、モデルとデプロイを作成する - Azure Machine Learning | Microsoft Docs
• Web サービスとしてデプロイされるモデル用のクライアントを作成する - Azure Machine Learning | Microsoft Docs

.NETラボ勉強会 2021年1月「C#で機械学習」

More Related Content

What's hot (20)

Similar to .NETラボ勉強会 2021年1月「C#で機械学習」 (20)

More from Fujio Kojima (20)