[Expert Fridays] Python MeetUp - Леонид Блохин: "Нейросети на питоне: пфф easy"
Download as PPTX, PDF0 likes107 views
Документ представляет собой презентацию услуг компании Provectus в области нейросетей и машинного обучения с использованием Apache Spark. В нем обсуждаются основные концепции нейросетей, инструменты для их применения и примеры реализации, включая предсказание погоды с помощью обученной модели. Также предоставлены технические детали и возможность работы с API для получения предсказаний.
![[Expert Fridays] Python MeetUp - Леонид Блохин: "Нейросети на питоне: пфф easy"](https://image.slidesharecdn.com/python-161206105218/85/Expert-Fridays-Python-MeetUp-easy-2-320.jpg)
![[Expert Fridays] Python MeetUp - Леонид Блохин: "Нейросети на питоне: пфф easy"](https://image.slidesharecdn.com/python-161206105218/85/Expert-Fridays-Python-MeetUp-easy-22-320.jpg)
[Expert Fridays] Python MeetUp - Леонид Блохин: "Нейросети на питоне: пфф easy"
- 1. www.provectus.com A presentation of expertise we boast and services we render for partners across the board, around the globe. © Provectus, Inc.
- 4. О чем пойдет речь • Немного вспомним нейросети • Поговорим о хорошем инструменте для машинного обучения • Поговорим о сервисе для хорошего инструмента для машинного обучения • Посмотрим, как используя эти радости, на питоне, в несколько строчек запилить годный машинлернинг с предоставлением на фронтенд простенького интерфейса для использования. www.provectus.com
- 5. Немного о нейросетях • Один персептрон, или не один • Функция активации • Может быть немного математики х(у) = @#$% www.provectus.com
- 6. Сферический персептрон в вакууме www.provectus.com
- 7. Мозг здорового Крэнга один нейрон много нейронов www.provectus.com
- 11. и почему же ИИ еще не захватил мир? www.provectus.com
- 12. Инструмент для машин лёнинга • Apache Spark • MLlib www.provectus.com
- 13. Apache Spark™ is a fast and general engine for large-scale data processing. www.provectus.com
- 14. Spark MLlib ● Classification: logistic regression, naive Bayes,... ● Regression: generalized linear regression, isotonic regression,... ● Decision trees, random forests, and gradient-boosted trees ● Recommendation: alternating least squares (ALS) ● Clustering: K-means, Gaussian mixtures (GMMs),... ● Topic modeling: latent Dirichlet allocation (LDA) ● Feature transformations: standardization, normalization, hashing,... ● Model evaluation and hyper-parameter tuning ● ML Pipeline construction ● ML persistence: saving and loading models and Pipelines ● Survival analysis: accelerated failure time model ● Frequent itemset and sequential pattern mining: FP-growth, association rules, PrefixSpan ● Distributed linear algebra: singular value decomposition (SVD), principal component analysis (PCA),... ● Statistics: summary statistics, hypothesis testing,... www.provectus.com
- 15. Сервис для хорошего инструмента для машинного обучения Mist Прелестные возможности для работы со спарком ● Spark 2.0.0 support! ● Spark Contexts orchestration ● Super parallel mode: multiple Spark contexts in separate JVMs ● HTTP & Messaging (MQTT) API ● Scala & Python Spark jobs support ● Support for Spark SQL and Hive ● High Availability and Fault Tolerance ● Self Healing after driver program failure ● Powerful logging ● Clear end-user API https://github.com/Hydrospheredata/mist www.provectus.com
- 16. Предсказываем погоду • Данные сохраняем в паркет • Обучаем модельки нейросети по станциям • Предсказываем www.provectus.com
- 17. у нас есть план, будем его придерживаться фронтенд мист спарк хадуп данные о погоде тренер данные весов предсказатель www.provectus.com
- 18. сохраняем в паркет https://github.com/leonid133/python-spark-savetoparquet noaa data parquet вытаскиваем нужные поля фильтруем плохие данные группируем по станциям … >>подготавливаем www.provectus.com
- 19. тренируем модельку from pyspark.ml.classification import MultilayerPerceptronClassifier # Load training data training = spark.read.parquet("parquet_data") mp = MultilayerPerceptronClassifier(blockSize=42, maxIter=300) # Fit the model model = pm.fit(training) model.save("model_name") www.provectus.com
- 20. пишем джобу предсказатель from mist.mist_job import MistJob class SimpleContext(MistJob): def do_stuff(self, params): points_dist = params.values() data = getdata_by_point(points_dist) model = MultilayerPerceptronClassificationModel.load(data.modelel_path) prediction = model.transform(data.df) answer_obj = answer_df_to_map(prediction) #делаем красивый мап с предсказанием result = answer_obj return result www.provectus.com
- 21. спрашиваем результат HTTP или MQTT POST http://localhost:2003/api/forecast { “points”:{"lat": 56.1241, “lng”: 42.3457,...} “distance”: 254 }' {"success":true,"payload": { “point”:{“lat”:56.1241, “lng”:42.3457} “sun”:30, “cloud”:75, “temperature”:-25} ... }, … } www.provectus.com