TDC2016SP - Trilha BigData
1 gostou215 visualizações
A apresentação discute a migração de modelos de classificação do Scikit-Learn para o MLlib do Apache Spark, incluindo uma demonstração de KMeans em um conjunto de dados pequeno, o uso de DataFrames e pipelines para classificação de spam em produção, e as vantagens do MLlib em relação ao Scikit-Learn para análise em larga escala.
1 de 20
Baixado 15 vezes
![● Clustering [KMeans, LDA]
● Classificação [SVM, Naïve Bayes, Random Forests]
● Regressão
● Extração de características
● Recomendação, timização de parâmetros, avaliação de
modelos...
Algoritmos](https://image.slidesharecdn.com/tdc-mllib-160720151630/85/TDC2016SP-Trilha-BigData-8-320.jpg)
TDC2016SP - Trilha BigData
- 1. De Scikit-Learn para MLLib CLASSIFICAÇÃO EM LARGA ESCALA
- 2. Agenda ● O quê: Spark ● O quê: MLlib ● Exemplo KMeans em "Toy Dataset" ● DataFrames ● Classificação de Spam em Produção ● Por quê?
- 3. Quem Somos
- 4. ● Computação genérica distribuída ● Até 10 a 100x mais rápido que Hadoop MapReduce O Quê: Spark
- 5. O Quê: Spark
- 6. O Quê: Spark
- 7. ● Machine Learning escalável ● Construído em cima do Spark O Quê: MLLib
- 8. ● Clustering [KMeans, LDA] ● Classificação [SVM, Naïve Bayes, Random Forests] ● Regressão ● Extração de características ● Recomendação, timização de parâmetros, avaliação de modelos... Algoritmos
- 10. DataFrames ● Schema definido ● Formato tabular ● Operações, queries otimizadas ● Pipelines
- 11. Pipelines ● Transformer ○ Gera um DF a partir de outro DF ● Estimator ○ Abstrai o conceito de um algoritmo que é treinado sob um conjunto
- 12. Classificação de Spam em Produção
- 13. Classificação de Spam em Produção
- 14. Classificação de Spam em Produção
- 15. Por que MLlib?
- 16. Por que MLlib?
- 17. Por que MLlib?
- 18. Por que MLlib?
- 19. Desenvolvimento ~== Produção Por que MLlib?