Palestra SQLSAT 2025 AZURE ML NVIDIA CUDA
Transferir como PPT, PDF0 gostou52 visualizações
SQLSAT 2025 AZURE ML NVIDIA CUDA
![Azure Machine Learning
• NCv3 sizes series
• NVIDIA Tesla V100 GPUs
Part Quantity
Count Units
Specs
SKU ID, Performance Units, etc.
Processor 6 - 24 vCPUs Intel Xeon E5-2690 v4
(Broadwell) [x86-64]
Memory 112 - 448 GiB
Local Storage 1 Disk 736 - 2948 GiB
IOPS (RR)
MBps (RR)
Remote Storage 12 - 32 Disks 20000 - 80000 IOPS
200 - 800 MBps
Network 4 - 8 NICs Mbps
Accelerators 1 - 4 Nvidia Tesla V100 GPU
(16GB)](https://image.slidesharecdn.com/sqlsat2025azuremlnvidiacudav2-250331181601-ad5c93ef/85/Palestra-SQLSAT-2025-AZURE-ML-NVIDIA-CUDA-15-320.jpg)
Palestra SQLSAT 2025 AZURE ML NVIDIA CUDA
- 2. Como construir uma rede neural no Azure Machine Learning com a tecnologia CUDA da NVIDIA Walter Coan
- 3. by Comunidado Joinville 05 de abril 2025 10 anos
- 4. Walter Silvestre Coan www.linkedin.com/in/waltercoan/ • Microsoft MVP na categoria Internet das Coisas • Mestre em Sistemas Distribuídos e Redes de sensores sem fio PUCPR • Instrutor autorizado Microsoft, AWS, NVIDIA na Ka Solution • Professor universitário a 19 anos
- 5. Agenda • NVIDIA CUDA • Azure Machine Learning • GPU Kernels • Rede Neural Profunda (Deep Neural Network)
- 6. CUDA • Compute Unified Device Architecture (2006) • Plataforma de computação por paralelização • Permite acelerar o processamento de dados utilizando GPU (Graphics Processing Units) • API (Application Program Interface) • Camada de Software (drivers, bibliotecas, compiladores) que permite a execução de instruções pela GPU de forma paralela (kernels)
- 7. CPU x GPU • Central Processing Unit x Graphical Processing Unit DRAM L3 Cache L2 Cache L2 Cache Core L1 Cache Con trol Core L1 Cache Con trol Core L1 Cache Con trol Core L1 Cache Con trol DRAM L1 Cache Fonte: https://developer.nvidia.com/blog/nvidia-hopper-architecture-in-depth/
- 10. NVIDIA Hopper H100 • 8 GPC Graphics Processing Clusters Fonte: https://developer.nvidia.com/blog/nvidia-hopper-architecture-in-depth/
- 11. NVIDIA Hopper H100 • 8 GPC Graphics Processing Clusters • 18 SM Stream Multiprocessor por GPC • 144 SMs por GPU • 128 FP32 CUDA Cores por SM, • 18432 FP32 CUDA por GPU • 4 fourth-generation Tensor Cores por SM • 576 por GPU • 6 HBM3 or HBM2e stacks, 12 512-bit memory controllers • 60 MB L2 cache • Fourth-generation NVLink and PCIe Gen 5 Fonte: https://developer.nvidia.com/blog/nvidia-hopper-architecture-in-depth/
- 12. NVIDIA Hopper H100 • SIMT – Single Instruction Multiple Threads • Cada instrução e feita por uma Thread • Cada thread possui seu próprio Program Counter • Cada Thread é executada um core CUDA • Theads são agrupadas em grupos de 32 chamadas de Warps • Warps são agrupados em Thread Blocks • Thread Blocks são executados pelos SM Streaming Multiprocessors • Gigathread Engine coordena o scheduling dos SM • Compartilham a memória L1 Cache Fonte: https://developer.nvidia.com/blog/nvidia-hopper-architecture-in-depth/
- 13. CPU x GPU • CPU - Central Processing Unit • Conjunto de instruções complexa • Capaz de executar Sistemas Operacionais • Conexão com periféricos • GPU - Graphical Processing Unit • Capaz de realizar instruções simples (somas e multiplicações) em grandes quantidades • Multiplicação de matrizes (dot product)
- 14. Azure Machine Learning Fonte: https://learn.microsoft.com/en-gb/azure/machine-learning/concept-azure-machine-learning-architecture?view=azureml-api-1 Azure Machine Learning is a cloud service for accelerating and managing the machine learning (ML) project lifecycle. ML professionals, data scientists, and engineers can use it in their day-to-day workflows to train and deploy models and manage machine learning operations (MLOps).
- 15. Azure Machine Learning • NCv3 sizes series • NVIDIA Tesla V100 GPUs Part Quantity Count Units Specs SKU ID, Performance Units, etc. Processor 6 - 24 vCPUs Intel Xeon E5-2690 v4 (Broadwell) [x86-64] Memory 112 - 448 GiB Local Storage 1 Disk 736 - 2948 GiB IOPS (RR) MBps (RR) Remote Storage 12 - 32 Disks 20000 - 80000 IOPS 200 - 800 MBps Network 4 - 8 NICs Mbps Accelerators 1 - 4 Nvidia Tesla V100 GPU (16GB)
- 16. Azure Machine Learning • NCv3 sizes series • NVIDIA Tesla V100 GPUs Fonte: https://www.nvidia.com/en-gb/data-center/tesla-v100/
- 17. Programa na CPU 1 2 3 4 2 4 2 4 3 6 5 8
- 18. GPU Kernels • Programa que é executado pela GPU 1 2 3 4 2 4 2 4 3 6 5 8
- 19. Rede Neural Profunda • Tipo de Machine Learning que simula a forma como o cérebro humano aprende • Humanos • Rede de neurônios que passam sinais elétricos quando ativados (sinapses), que aprendemos durante toda a nossa vida. • Máquinas • Rede de neurônios artificias (perceptrons) que utilizam funções matemáticas baseadas na regressão linear para aprender características com base em uma base de dados de treinamento. Fonte: https://learn.microsoft.com/en-us/training/modules/train-evaluate-deep-learn-models/1-introduction
- 20. Rede Neural Profunda Fonte: https://learn.microsoft.com/en-us/training/modules/train-evaluate-deep-learn-models/1-introduction Dados de Entrada Input Layer Hidden Layer Output Layer Classificação
- 21. Rede Neural Profunda • MNIST – Modified National Institute os Standards and Technology • Dataset 70.000 imagens em escala de cinza de números escritos a mão (0 a 9)
- 22. Rede Neural Profunda - Def Treinamento (valores 0-255) Teste (valores 0-255) Transform •ToTensor() (28Hx28Wx1C) •Nomalize(mean=(0.5), std=(0,5)) (centro ZERO, escala -1 ate 1) 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 -1 -1 -1 -1 -1 -1 -1 -1 -1 1 1 1 -1 -1 -1 -1 -1 -1 1 -1 -1 -1 -1 -1 1 -1 -1 -1 -1 -1 1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1
- 23. Rede Neural Profunda - Def fc1(28 * 28,128) 784 fc1(128, 64) 128 64 10 fc1(64, 10) Dados de Entrada Classificação
- 24. Rede Neural Profunda - Def x1 x2 x3 x4 w1 w2 w3 w4 Activation Function Y
- 25. Rede Neural Profunda - Def • Activation Function – RELU - Rectified Linear Unit
- 26. Rede Neural Profunda - Def • Activation Function LogSoftmax
- 27. Rede Neural Profunda - Training • Loss Function • Calcula a distância entre os valores de treinamento e os valores previstos pelo modelo • NLLLoss • The negative log likelihood loss Certo, Walter! Vamos imaginar que você está brincando de adivinhar qual brinquedo está escondido dentro de uma caixa. Você tem várias opções: carrinho, bola, boneca ou urso de pelúcia. Alguém dá dicas para você adivinhar, mas você tem que usar essas dicas para escolher o brinquedo certo. Agora, o "negative log likelihood loss" é como um jogo que avalia quão bem você está adivinhando. Se você faz uma boa escolha (perto da resposta certa), o "castigo" do jogo é pequeno. Mas, se você escolhe algo muito errado, o "castigo" fica maior. Esse "castigo" (ou perda) ajuda você a aprender a adivinhar melhor na próxima vez. É assim que os computadores aprendem a tomar boas decisões quando estão "treinando". Eles jogam o jogo muitas vezes, erram, aprendem com o erro e melhoram! 😊
- 28. Rede Neural Profunda - Training • Adam Adaptive Moment Estimation • “Adam: A Method for Stochastic Optimization“. x1 x2 x3 x4 w1 w2 w3 w4 Activation Function Y Fonte: https://learn.microsoft.com/en-us/training/modules/train-evaluate-deep-learn-models/2-deep-neural-network-concepts
- 30. by Comunidado Joinville 05 de abril 2025 10 anos