Machine Learning Efetivo com AWS: Da extração dos dados ao deploy em produção
Transferir como PPTX, PDF0 gostou267 visualizações
O documento apresenta uma palestra sobre machine learning utilizando AWS, abordando desde a extração de dados até o deploy em produção, com foco na utilização do SageMaker. Discute também pipelines serverless, armazenamento no S3, tuning de hiperparâmetros, e dicas práticas para otimização do uso de recursos. Além disso, destaca a importância da integração com outros serviços da AWS para um fluxo de trabalho mais eficaz.
Machine Learning Efetivo com AWS: Da extração dos dados ao deploy em produção
- 1. 1 #TheDevConf 2019 Machine Learning Efetivo com AWS: Da extração dos dados ao deploy em produção BRUNO BITENCOURT Software Architect
- 2. 2 #TheDevConf 2019 Agenda • Machine Learning e AWS • SageMaker • Dicas • Links úteis
- 3. 3 #TheDevConf 2019 @brunowdev • Arquiteto de Software - P&D da Betha Sistemas • +5 anos experiencia • Aluno de Engenharia da Computação na FASATC e Machine Learning Engineer na Udacity • brunowdev@gmail.com
- 4. 4 #TheDevConf 2019 Machine Learning e AWS
- 6. 6 #TheDevConf 2019 Quanta coisa, não é mesmo?
- 8. 8 #TheDevConf 2019 Treinamento Factorization Machines Linear Regression PCA K-Means XGBoost E vários outros! Algoritmos Built-in Traga a sua Impl. Traga seu container
- 9. 9 #TheDevConf 2019 Interagindo com o SageMaker Python SDK • Notebooks • Algoritmos • Treinamento • Deploy • Tuning • AWS CLI: ‘aws sagemaker’ • AWS SDK: boto3, entre outros. • Interface WEB
- 10. 10 #TheDevConf 2019 Mas antes disso...
- 11. 11 #TheDevConf 2019 Etapa 0: Dados • SQL • NoSQL • Aquele dataset do Governo com 500GB • Outros sistemas • Data Lake?
- 12. 12 #TheDevConf 2019 Pipeline de Machine Learning Serverless
- 14. 14 #TheDevConf 2019 S3 • Buckets para armazenamento • Big Data • Velocidade na escrita/acesso • Também armazenamos nossos modelos de ML
- 15. 15 #TheDevConf 2019 Glue • Catalogo de dados (S3, SQL, NoSQL) • Serverless ETL • Jobs de extração ○ Python (Spark ou Shell) ○ Scala • Segurança e parametrização • Storage no S3
- 18. 18 #TheDevConf 2019 Particionamento no S3 Eventos: Sucesso, Falha, etc. Data Cleaning
- 20. 20 #TheDevConf 2019 Etapa 1: Usando o Dataset
- 21. 21 #TheDevConf 2019 Infos • Standard - Sem GPU • Compute Optimized - Sem GPU • GPU Instances - Com GPU - inicia $ 1.26 hora • O disco varia de 5GB SSD ate 16TB • Não é obrigatório • Scripts de Setup e Integração com o Git (não é git friendly)
- 22. 22 #TheDevConf 2019 GPU Tensorflow e MxNet
- 23. 23 #TheDevConf 2019 Etapa 2: SageMaker
- 24. 24 #TheDevConf 2019 Infos • Imagens Docker - Train mode e Invocations (HTTP) • Serverless ou Endpoint • Qualquer linguagem ou framework • Lê os dados do S3 • Escreve os modelos no S3
- 25. 25 #TheDevConf 2019 Devo fazer o meu container? • Os modelos da AWS são mais otimizados • Podem ser uma caixa “preta” • Vendor lock-in
- 26. 26 #TheDevConf 2019 Levando o SciKit Learn para o SageMaker
- 27. 27 #TheDevConf 2019 Exemplo - Treinamento
- 28. 28 #TheDevConf 2019 Exemplo - Treinamento
- 29. 29 #TheDevConf 2019 Exemplo - Treinamento
- 30. 30 #TheDevConf 2019 Exemplo - Predictor
- 31. 31 #TheDevConf 2019 Exemplo - Predictor
- 32. 32 #TheDevConf 2019 Exemplo - Predictor
- 33. 33 #TheDevConf 2019 Treinando o modelo • Manual • Baseado em eventos
- 34. 34 #TheDevConf 2019 Treinando o modelo
- 35. 35 #TheDevConf 2019 AWS Lambda ● Funções Serverless ● Várias linguagens disponíveis ● Integração com eventos ● Baixo custo ● Comunicação direta com os demais serviços
- 38. 38 #TheDevConf 2019 Hyperparameter Tuning • Semelhante a job de treinamento • Qualquer modelo • Warmup (incremental iterativo ou outra versão)
- 40. 40 #TheDevConf 2019 Deploy • Endpoint Configuration - Middleman ○ Roteia com base em headers (id de usuário, região, etc.) • Sem Downtime • Auto Scaling • Canary Deployment • Teste A/B ○ Monitoramento/Scoring é manual
- 41. 41 #TheDevConf 2019 Inferência • Endpoint SageMaker - Requer uma instância rodando • Batch Transform Jobs
- 43. 43 #TheDevConf 2019 Consumindo as Predições
- 44. 44 #TheDevConf 2019 Considerações • Para gerenciar os componentes: Terraform, Cloudformation: ○ Todas se integram com facilidade com CI (Jenkins, Gitlab, etc.)
- 45. 45 #TheDevConf 2019 Dicas • Use só as peças que você precisa • Desligue os seus notebooks (pode ser automatizado) • Ajuste as instâncias de treino/predição de acordo com a sua necessidade • Use as imagens/algoritmos disponíveis, sempre que possível • Use RecordIO / TFRecord
- 46. 46 #TheDevConf 2019 Outros recursos GroundTruth • Automatizar o processo de labelling Marketplace • Publique e venda seus modelos
- 47. 47 #TheDevConf 2019 Outras informações SageMaker • Possue free-tier • Ainda não está disponível na sa-east-1 ○ Latência pode ser um problema
- 48. 48 #TheDevConf 2019 Por onde começar? AWS • Getting Started • Playlist - This is my Architecture SageMaker • Julien Simon • Exemplos GitHub
- 49. 49 #TheDevConf 2019 Nosso Case