[DL輪読会]Regularization with stochastic transformations and perturbations for deep semi supervised learning
0 likes1,195 views
![+
Experiments and Results
n MNIST
n 100サンプルではstate of the art
n 全ラベルでは、誤差0.24が最高精度[40]
17/02/09
10](https://image.slidesharecdn.com/regularizationwithstochastictransformationsandperturbationsfordeepsemi-supervisedlearning-170215034444/85/DL-Regularization-with-stochastic-transformations-and-perturbations-for-deep-semi-supervised-learning-11-320.jpg)
[DL輪読会]Regularization with stochastic transformations and perturbations for deep semi supervised learning
- 1. + Regularization With Stochastic Transformations and Perturbations for Deep Semi-Supervised Learning 工学系研究科 システム創成学専攻 加藤・中村研 M1? 岡本 弘野 17/02/09
- 2. + Introduction n ラベルなしデータの適用 n convnetは大量のパラメタがあり、大量の学習データがないと過学 習する n しかし、大量のデータセットをつくるのはコストがかかる n 一方で、ラベルなしデータは集めやすく、convnetの性能をあげる ために利用したい n ランダム化 n 確率的勾配降下法、ドロップアウト、データのランダムな変形 n 同じデータから、ランダム化によって、違う出力を生み出すことを 利用する 17/02/09 1
- 3. + Related Work n 古典的なアプローチ n データとラベルの結合分布のモデル化 n GMM n HMM n ラベルありデータとなしデータのマージン最大化 n TSVM n S3VM n これらの半教師学習はサンプル間の類似度を利用 n あるラベルなしデータがAのラベルデータに似ていれば、そのデー タはAとみなす 17/02/09 2
- 4. + Related Work n 半教師deep learning n ConvNetの性能をあげるためにラベルなしデータをつかう n convnetのフィルターをpretrainするなど n ほかの論文でのアプローチ n predictive sparse decomposition n resion embedding n ladder networks 17/02/09 3
- 5. + Method n 教師なしloss関数を定義 n Transformation/stability loss function n 変化/安定損失関数 n 同じデータによる違う出力のペアの差の二乗和を最小化する n 勾配降下法で最適化 17/02/09 4
- 8. + Method n もう一つ、教師なし学習のloss関数を定義 n Mutual Exclusivity loss function n 相互排他的損失関数 n 決定境界をどんなサンプルからもできるだけ遠い所に置こうとす る。結果的に、密度の低いところに決定境界が置かれる 17/02/09 7
- 10. + Experiments and Results n MNIST n 100サンプルでstate of the art n SVHN and NORB n CIFAR10 n state of the art n CIFAR100 n state of the art n ImageNet 17/02/09 9
- 11. + Experiments and Results n MNIST n 100サンプルではstate of the art n 全ラベルでは、誤差0.24が最高精度[40] 17/02/09 10
- 12. + Experiments and Results n SVHN and NORB 17/02/09 11
- 13. + 実際に実装してみた(ができなかっ た) n MNISTでやってみた n データオーグメンテーションによるlossTS関数の最小化 n lossME関数の最小化 n クロスエントロピーによるラベルあり損失関数の最小化 n tensorflowをつかった n 一部kerasを使っている n できなかったが、誰かアドバイスをくれることを願ってgithub にあげた n https://github.com/HironoOkamoto/hoge/blob/master/semi %20supervised%20mnist%20tensorflow-12.ipynb 17/02/09 12
- 14. + ConvNet n 簡単のため、Lenetをつかった n batch normalizationも 17/02/09 13
- 16. + Fractional Max-Pooling n ランダムにプーリングする部分 n tf.nn.fractional_max_pool n ここは時間の関係上実装していなかったが、おそらく一番重要 n jの部分 n https://arxiv.org/abs/1412.6071 n ドロップアウト 17/02/09 15
- 18. + 損失関数 n ラベルありデータに関しては、クロスエントロピー n loss_label = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=outp ut, labels=y)) n loss = loss_label + lam1 * loss_unlabel_TS + lam2 * loss_unlabel_ME 17/02/09 17