Esegui GPU nei pool di nodi GKE Standard

Questa pagina mostra come eseguire e ottimizzare i carichi di lavoro a elevato utilizzo di risorse di calcolo, come l'intelligenza artificiale (AI) e l'elaborazione grafica, collegando e utilizzando gli acceleratori hardware delle unità di elaborazione grafica (GPU) NVIDIA® nei nodi dei cluster Google Kubernetes Engine (GKE) Standard. Se invece utilizzi i pod Autopilot, consulta Esegui il deployment dei carichi di lavoro GPU in Autopilot.

Se vuoi eseguire il deployment di cluster con GPU NVIDIA B200 o NVIDIA H200 da 141 GB, consulta le seguenti risorse:

• Per creare cluster GKE, consulta Crea un cluster Google Kubernetes Engine ottimizzato per l'AI con la configurazione predefinita.
• Per creare cluster Slurm, consulta Crea un cluster Slurm ottimizzato per l'AI.

Panoramica

Con GKE, puoi creare node pool dotati di GPU. Le GPU forniscono potenza di calcolo per eseguire attività di deep learning come il riconoscimento delle immagini, l'elaborazione del linguaggio naturale, nonché altre attività ad alta intensità di calcolo come la transcodifica video e l'elaborazione delle immagini. In modalità GKE Standard, puoi collegare hardware GPU ai nodi dei cluster e poi allocare risorse GPU ai carichi di lavoro containerizzati in esecuzione su questi nodi.

Per saperne di più sui casi d'uso delle GPU, consulta la pagina GPU di Google Cloud. Per saperne di più sulle GPU in GKE e sulle differenze tra la modalità Standard e la modalità Autopilot, consulta la sezione Informazioni sulle GPU in GKE.

Puoi utilizzare le GPU anche con le VM spot se i tuoi workload possono tollerare interruzioni frequenti dei nodi. L'utilizzo di VM spot riduce il prezzo di esecuzione delle GPU. Per saperne di più, consulta Utilizzare le VM spot con i pool di nodi GPU.

A partire dalla versione 1.29.2-gke.1108000, ora puoi creare node pool GPU su GKE Sandbox. Per maggiori informazioni, consulta GKE Sandbox e Configurazione di GKE Sandbox.

Prima di iniziare

Prima di iniziare, assicurati di aver eseguito le seguenti operazioni:

• Attiva l'API Google Kubernetes Engine.
Attiva l'API Google Kubernetes Engine
• Se vuoi utilizzare Google Cloud CLI per questa attività, installala e poi inizializza gcloud CLI. Se hai già installato gcloud CLI, scarica l'ultima versione eseguendo gcloud components update.

Requisiti per le GPU su GKE

Le GPU su GKE hanno i seguenti requisiti:

• Versione di Kubernetes: le versioni disponibili dipendono dall'immagine del nodo utilizzata dalle GPU:

  • Container-Optimized OS: GKE versione 1.9 o successiva.
  • Ubuntu: GKE 1.11.3 o versioni successive.

• Quota GPU: devi disporre della quota GPU di Compute Engine nella zona selezionata prima di poter creare nodi GPU. Per assicurarti di disporre di una quota GPU sufficiente nel progetto, consulta la sezione Quote nella console Google Cloud .

  Se hai bisogno di una quota GPU aggiuntiva, devi richiedere una quota GPU nella console Google Cloud . Se hai un account di fatturazione stabilito, il tuo progetto riceve automaticamente la quota dopo l'invio della richiesta.

  Per impostazione predefinita, gli account di prova gratuita non ricevono una quota di GPU.

• Driver GPU NVIDIA: quando crei un cluster o un pool di nodi, puoi indicare a GKE di installare automaticamente una versione del driver in base alla tua versione di GKE. Se non indichi a GKE di installare automaticamente i driver GPU, devi installarli manualmente.

• GPU A100: le GPU A100 sono supportate solo sui tipi di macchine A2. Devi assicurarti di disporre di una quota sufficiente per il tipo di macchina A2 sottostante per utilizzare la GPU A100.

• GPU sui nodi Ubuntu: se utilizzi GPU con nodi Ubuntu, si applicano i seguenti requisiti dei driver:

  • GPU L4 e GPU H100: versione 535 o successive del driver NVIDIA.

  • GPU H200: driver NVIDIA versione 550 o successive.

  • GPU B200: driver NVIDIA versione 570 o successive.

  Se una versione del driver richiesta o una versione successiva non è la versione predefinita nella tua versione di GKE, devi installare manualmente un driver supportato sui tuoi nodi.

Limitazioni dell'utilizzo delle GPU su GKE

Prima di utilizzare le GPU su GKE, tieni presente le seguenti limitazioni:

• Non puoi aggiungere GPU ai pool di nodi esistenti.
• Non è possibile eseguire la migrazione live dei nodi GPU durante gli eventi di manutenzione.

• Il tipo di GPU che puoi utilizzare dipende dalla serie di macchine, come segue:

  • Serie di macchine A4X: GPU GB200.
  • Serie di macchine A4: GPU B200.
  • Serie di macchine A3: GPU H200 (A3 Ultra) e GPU H100 (A3 Mega, High, Edge).
  • Serie di macchine A2: GPU A100.
  • Serie di macchine G2: GPU L4.
  • Serie di macchine N1: tutte le GPU tranne A100 e L4.

  Devi assicurarti di avere una quota sufficiente nel progetto per la serie di macchine corrispondente al tipo e alla quantità di GPU selezionati.

• Le GPU non sono supportate nei node pool Windows Server.

• I cluster GKE Standard che eseguono la versione 1.28.2-gke.1098000 o precedenti non supportano il provisioning automatico dei nodi per la creazione di node pool con GPU L4. Tuttavia, i cluster che eseguono versioni precedenti supportano la scalabilità del gestore della scalabilità automatica dei cluster dei node pool esistenti.

Disponibilità delle GPU per regioni e zone

Le GPU sono disponibili in regioni e zone specifiche. Quando richiedi la quota GPU, considera le regioni in cui intendi eseguire i tuoi cluster.

Per un elenco completo delle regioni e delle zone applicabili, consulta GPU su Compute Engine.

Puoi anche visualizzare le GPU disponibili nella tua zona utilizzando Google Cloud CLI. Per visualizzare un elenco di tutti i tipi di acceleratori GPU supportati in ogni zona, esegui questo comando:

gcloud compute accelerator-types list

Prezzi

Per informazioni sui prezzi delle GPU, consulta la tabella dei prezzi nella pagina delle GPU Google Cloud .

Assicurati di disporre di una quota GPU sufficiente

La quota di GPU è il numero totale di GPU che possono essere eseguite nel tuo Google Cloud progetto. Per creare cluster con GPU, il progetto deve disporre di una quota GPU sufficiente.

La quota GPU deve essere almeno equivalente al numero totale di GPU che intendi eseguire nel cluster. Se abiliti la scalabilità automatica del cluster, devi richiedere una quota di GPU almeno equivalente al numero di GPU per nodo moltiplicato per il numero massimo di nodi del cluster.

Ad esempio, se crei un cluster con tre nodi che esegue due GPU per nodo, il tuo progetto richiede almeno sei quote GPU.

Richiesta di quota di GPU

Per richiedere una quota di GPU, utilizza la Google Cloud console. Per saperne di più sulla richiesta di quote, consulta Quote GPU nella documentazione di Compute Engine.

Per cercare la quota di GPU e inviare una richiesta di quota, utilizza la console Google Cloud :

1. Vai alla pagina Quote di IAM e amministrazione nella console Google Cloud .

   Vai a Quote

2. Nella casella Filtro, procedi nel seguente modo:

   1. Seleziona la proprietà Quota, inserisci il nome del modello di GPU e premi Invio.
   2. (Facoltativo) Per applicare filtri più avanzati per restringere i risultati, seleziona la proprietà Dimensioni (ad esempio, località), aggiungi il nome della regione o zona che stai utilizzando e premi Invio.

3. Dall'elenco delle quote GPU, seleziona quella che vuoi modificare.

4. Fai clic su Modifica quote. Si apre un modulo di richiesta.

5. Compila il campo Nuovo limite di quota per ogni richiesta di quota.

6. Compila il campo Descrizione della richiesta con i dettagli della richiesta.

7. Fai clic su Avanti.

8. Nella finestra di dialogo Conferma override, fai clic su Conferma.

9. Nella schermata Dati di contatto, inserisci il tuo nome e un numero di telefono che gli approvatori potrebbero utilizzare per completare la richiesta di modifica della quota.

10. Fai clic su Invia richiesta.

11. Riceverai un'email di conferma per monitorare la modifica della quota.

Esecuzione di GPU nei cluster GKE Standard

Per eseguire GPU nei cluster GKE Standard, crea un node pool con GPU collegate.

Come descritto nelle sezioni seguenti, GKE utilizza le incompatibilità e le tolleranze dei nodi per garantire che i pod non vengano pianificati su nodi inappropriati.

Contrassegnare un pool di nodi GPU per evitare di pianificarlo in modo inappropriato

Un'incompatibilità dei nodi ti consente di contrassegnare un nodo in modo che lo scheduler ne eviti o impedisca l'utilizzo per determinati pod. In base agli scenari seguenti, GKE aggiunge automaticamente i taint oppure puoi aggiungerli manualmente:

• Quando aggiungi un pool di nodi GPU a un cluster esistente che esegue già un pool di nodi non GPU, GKE applica automaticamente un taint ai nodi GPU con il seguente taint del nodo:

  • Chiave: nvidia.com/gpu
  • Effetto: NoSchedule

  GKE aggiunge questa contaminazione solo se nel cluster è presente almeno un pool di nodi non GPU.

• Quando aggiungi un pool di nodi GPU a un cluster che ha solo pool di nodi GPU o se crei un nuovo cluster in cui il pool di nodi predefinito ha GPU collegate, puoi impostare manualmente i taint sul nuovo pool di nodi con i seguenti valori:

  • Chiave: nvidia.com/gpu
  • Effetto: NoSchedule

• Quando in futuro aggiungerai un pool di nodi non GPU al cluster, GKE non applicherà retroattivamente questo taint ai nodi GPU esistenti. Devi impostare manualmente i taint per il nuovo pool di nodi.

Limitazione automatica della pianificazione con una tolleranza

Le tolleranze consentono di designare i pod che possono essere utilizzati su nodi "contaminati". GKE applica automaticamente una tolleranza in modo che solo i pod che richiedono GPU vengano pianificati sui nodi GPU. Ciò consente una scalabilità automatica più efficiente, in quanto i nodi GPU possono esserefare lo scale downi rapidamente se non ci sono pod sufficienti che richiedono GPU. Per farlo, GKE esegue il controller di ammissione ExtendedResourceToleration.

Crea un pool di nodi GPU

Per creare un pool di nodi GPU separato in un cluster esistente, puoi utilizzare la consoleGoogle Cloud o Google Cloud CLI. Puoi anche utilizzare Terraform per il provisioning dei cluster GKE e del pool di nodi GPU.

GKE supporta l'installazione automatica dei driver NVIDIA nei seguenti scenari:

• Per i cluster GKE con versione del control plane 1.32.2-gke.1297000 e successive, GKE installa automaticamente la versione predefinita del driver NVIDIA per tutti i nodi GPU, inclusi quelli creati con il provisioning automatico dei nodi.
• Per i cluster GKE con versione del control plane da 1.30.1-gke.1156000 a 1.32.2-gke.1297000, GKE installa automaticamente la versione predefinita del driver NVIDIA per i nodi non creati con il provisioning automatico dei nodi.
• Se vuoi, puoi scegliere l'ultima versione del driver disponibile o disattivare esplicitamente l'installazione automatica dei driver. Nelle versioni precedenti alla 1.30.1-gke.1156000, GKE non installa un driver per impostazione predefinita se non specifichi una versione del driver quando crei o aggiorni il pool di nodi.

gcloud container node-pools create POOL_NAME \
  --accelerator type=GPU_TYPE,count=AMOUNT,gpu-driver-version=DRIVER_VERSION \
  --machine-type MACHINE_TYPE \
  --cluster CLUSTER_NAME \
  --location CONTROL_PLANE_LOCATION \
  --node-locations COMPUTE_ZONE1[,COMPUTE_ZONE2] \
  [--sandbox=type=gvisor]
  [--enable-autoscaling \
   --min-nodes MIN_NODES \
   --max-nodes MAX_NODES] \
  [--scopes=SCOPES] \
  [--service-account=SERVICE_ACCOUNT] \
  [--reservation-affinity=specific --reservation=RESERVATION_NAME]

gcloud container node-pools create p100 \
  --accelerator type=nvidia-tesla-p100,count=2,gpu-driver-version=default \
  --cluster p100-cluster \
  --location us-central1 \
  --node-locations us-central1-c \
  --min-nodes 0 --max-nodes 5 --enable-autoscaling

Installa manualmente i driver GPU NVIDIA

Puoi installare manualmente i driver GPU NVIDIA sui nodi eseguendo il deployment di un DaemonSet di installazione su questi nodi. Utilizza l'installazione manuale nelle seguenti situazioni:

• Hai scelto di disattivare l'installazione automatica dei driver del dispositivo quando hai creato un pool di nodi GPU.
• Utilizzi una versione di GKE precedente alla versione minima supportata per l'installazione automatica.
• Il tuo carico di lavoro richiede una versione specifica del driver NVIDIA che non è disponibile come driver predefinito o più recente con installazione automatica. Ad esempio, utilizzando le GPU con Confidential GKE Nodes (anteprima).

Per eseguire il DaemonSet di installazione, il pool di nodi GPU richiede l'ambito https://www.googleapis.com/auth/devstorage.read_only per comunicare con Cloud Storage. Senza questo ambito, il download del manifest del DaemonSet di installazione non riesce. Questo ambito è uno degli ambiti predefiniti, che viene in genere aggiunto quando crei il cluster.

Le seguenti istruzioni mostrano come installare i driver sui nodi Container-Optimized OS (COS) e Ubuntu e utilizzando Terraform.

Installazione dei driver utilizzando il provisioning automatico dei nodi con GPU

Quando utilizzi il provisioning automatico dei nodi con le GPU, per impostazione predefinita i pool di nodi di cui è stato eseguito il provisioning automatico non dispongono di ambiti sufficienti per installare i driver. Per concedere gli ambiti richiesti, modifica gli ambiti predefiniti per il provisioning automatico dei nodi in modo da aggiungere logging.write, monitoring, devstorage.read_only e compute, come nell'esempio seguente.

gcloud container clusters update CLUSTER_NAME --enable-autoprovisioning \
    --min-cpu=1 --max-cpu=10 --min-memory=1 --max-memory=32 \
    --autoprovisioning-scopes=https://www.googleapis.com/auth/logging.write,https://www.googleapis.com/auth/monitoring,https://www.googleapis.com/auth/devstorage.read_only,https://www.googleapis.com/auth/compute

Per i cluster che eseguono GKE versione 1.32.2-gke.1297000 e successive, GKE installa automaticamente la versione predefinita del driver NVIDIA per tutti i nodi GPU, inclusi quelli creati con il provisioning automatico dei nodi. Puoi saltare le seguenti istruzioni per i cluster che eseguono GKE versione 1.32.2-gke.1297000 e successive.

In GKE versione 1.29.2-gke.1108000 e successive, puoi selezionare una versione del driver GPU da installare automaticamente in GKE nei nodi GPU di cui è stato eseguito il provisioning automatico. Aggiungi il seguente campo al manifest:

spec:
  nodeSelector:
    cloud.google.com/gke-gpu-driver-version: "DRIVER_VERSION"

Sostituisci DRIVER_VERSION con uno dei seguenti valori:

• default: il driver stabile predefinito per la versione GKE del tuo nodo.
• latest: l'ultima versione del driver disponibile per la versione di GKE del tuo nodo.
• disabled: disattiva l'installazione automatica dei driver GPU. Se selezioni questo valore, devi installare manualmente i driver per eseguire le GPU. Nelle versioni di GKE precedenti alla 1.32.2-gke.1297000, questa è l'opzione predefinita se ometti il selettore di nodi.

Per saperne di più sul provisioning automatico, vedi Utilizzo del provisioning automatico dei nodi.

Configurazione dei pod per l'utilizzo delle GPU

Utilizzi un limite di risorse per configurare i pod in modo che consumino le GPU. Specifichi un limite di risorse in una specifica del pod utilizzando la seguente coppia chiave-valore

• Chiave: nvidia.com/gpu
• Valore:numero di GPU da utilizzare

alpha.kubernetes.io/nvidia-gpu non è supportato come nome risorsa in GKE. Utilizza invece nvidia.com/gpu come nome della risorsa.

Il seguente manifest è un esempio di specifica del pod che utilizza le GPU:

apiVersion: v1
kind: Pod
metadata:
  name: my-gpu-pod
spec:
  # Optional: Use GKE Sandbox
  # runtimeClassName: gvisor
  containers:
  - name: my-gpu-container
    image: nvidia/cuda:11.0.3-runtime-ubuntu20.04
    command: ["/bin/bash", "-c", "--"]
    args: ["while true; do sleep 600; done;"]
    resources:
      limits:
       nvidia.com/gpu: 2

Utilizzo di più tipi di GPU

Se vuoi utilizzare più tipi di acceleratori GPU per cluster, devi creare più pool di nodi, ognuno con il proprio tipo di acceleratore. GKE collega un selettore di nodi univoco ai nodi GPU per facilitare il posizionamento dei carichi di lavoro GPU sui nodi con tipi di GPU specifici:

• Chiave: cloud.google.com/gke-accelerator
• Valore:il tipo di acceleratore GPU che utilizzi. Ad esempio: nvidia-tesla-t4.

Puoi scegliere come target tipi specifici di GPU aggiungendo questo selettore di nodi alla specifica del pod del tuo workload. Ad esempio:

apiVersion: v1
kind: Pod
metadata:
  name: my-gpu-pod
spec:
  containers:
  - name: my-gpu-container
    image: nvidia/cuda:11.0.3-runtime-ubuntu20.04
    command: ["/bin/bash", "-c", "--"]
    args: ["while true; do sleep 600; done;"]
    resources:
      limits:
       nvidia.com/gpu: 2
  nodeSelector:
    cloud.google.com/gke-accelerator: nvidia-tesla-t4

Esegui l'upgrade dei node pool utilizzando gli acceleratori (GPU e TPU)

GKE esegue automaticamente l'upgrade dei cluster Standard, inclusi i node pool. Puoi anche eseguire l'upgrade manuale dei pool di nodi se vuoi che i tuoi nodi utilizzino una versione successiva prima. Per controllare il funzionamento degli upgrade per il tuo cluster, utilizza i canali di rilascio, i periodi di manutenzione e le esclusioni e il sequenziamento del rollout.

Puoi anche configurare una strategia di upgrade dei nodi per il tuo pool di nodi, ad esempio upgrade di incremento, upgrade blue-green o upgrade di breve durata. Configurando queste strategie, puoi assicurarti che i pool di nodi vengano sottoposti a upgrade in modo da ottenere l'equilibrio ottimale tra velocità e interruzione per il tuo ambiente. Per i node pool TPU multi-host, anziché utilizzare la strategia di upgrade dei nodi configurata, GKE ricrea in modo atomico l'intero pool di nodi in un unico passaggio. Per scoprire di più, consulta la definizione di atomicità nella sezione Terminologia relativa a TPU in GKE.

L'utilizzo di una strategia di upgrade dei nodi richiede temporaneamente a GKE di eseguire il provisioning di risorse aggiuntive, a seconda della configurazione. Se Google Cloud ha una capacità limitata per le risorse del pool di nodi, ad esempio se visualizzi errori di disponibilità delle risorse quando tenti di creare più nodi con GPU o TPU, consulta Eseguire l'upgrade in un ambiente con risorse limitate.

Informazioni sulle librerie NVIDIA CUDA-X

CUDA è la piattaforma di calcolo parallelo e il modello di programmazione di NVIDIA per le GPU. Per utilizzare le applicazioni CUDA, l'immagine che utilizzi deve contenere le librerie. Per aggiungere le librerie NVIDIA CUDA-X, puoi creare e utilizzare la tua immagine includendo i seguenti valori nella variabile di ambiente LD_LIBRARY_PATH nella specifica del container:

• /usr/local/cuda-CUDA_VERSION/lib64: la posizione delle librerie NVIDIA CUDA-X sul nodo.

  Sostituisci CUDA_VERSION con la versione dell'immagine CUDA-X che hai utilizzato. Alcune versioni contengono anche utilità di debug in /usr/local/nvidia/bin. Per maggiori dettagli, vedi l'immagine NVIDIA CUDA su DockerHub.

  Per controllare la versione minima del driver GPU richiesta per la tua versione di CUDA, consulta CUDA Toolkit and Compatible Driver Versions.

• /usr/local/nvidia/lib64: la posizione dei driver del dispositivo NVIDIA.

Monitorare il rendimento del carico di lavoro del nodo GPU

Se nel tuo cluster GKE sono abilitate le metriche di sistema, le seguenti metriche sono disponibili in Cloud Monitoring per monitorare le prestazioni del carico di lavoro della GPU:

• Ciclo di lavoro (container/accelerator/duty_cycle): Percentuale di tempo nell'ultimo periodo di campionamento (10 secondi) durante il quale l'acceleratore ha eseguito attivamente l'elaborazione. Tra 1 e 100.
• Utilizzo memoria (container/accelerator/memory_used): Quantità di memoria dell'acceleratore allocata in byte.
• Capacità memoria (container/accelerator/memory_total): Memoria acceleratore totale, in byte.

Queste metriche si applicano a livello di container (container/accelerator) e non vengono raccolte per i container pianificati su una GPU che utilizza la condivisione del tempo della GPU o NVIDIA MPS.

Puoi utilizzare dashboard predefinite per monitorare i cluster con nodi GPU. Per ulteriori informazioni, vedi Visualizzare le metriche di osservabilità. Per informazioni generali sul monitoraggio dei cluster e delle relative risorse, consulta Osservabilità per GKE.

Visualizzare le metriche di utilizzo per i workload

Puoi visualizzare le metriche di utilizzo della GPU del carico di lavoro dalla dashboard Workload nella console Google Cloud .

Per visualizzare l'utilizzo della GPU del tuo workload:

1. Vai alla pagina Workload nella console Google Cloud .

   Vai a Carichi di lavoro
2. Seleziona un carico di lavoro.

La dashboard Workloads mostra grafici relativi all'utilizzo e alla capacità della memoria GPU e al ciclo di lavoro della GPU.

Visualizzare le metriche NVIDIA Data Center GPU Manager (DCGM)

Puoi raccogliere e visualizzare le metriche NVIDIA DCGM utilizzando Google Cloud Managed Service per Prometheus. Per i cluster Autopilot, GKE installa i driver. Per i cluster Standard, devi installare i driver NVIDIA.

Per istruzioni su come eseguire il deployment del pacchetto DCGM gestito da GKE, consulta Raccogliere e visualizzare le metriche di NVIDIA Data Center GPU Manager (DCGM).

Configura l'arresto controllato dei nodi GPU

Nei cluster GKE con il piano di controllo in esecuzione 1.29.1-gke.1425000 o versioni successive, i nodi GPU supportano i segnali SIGTERM che avvisano il nodo di un arresto imminente. La notifica di arresto imminente è configurabile fino a 60 minuti nei nodi GPU.

Per configurare GKE in modo da terminare i carichi di lavoro in modo controllato entro questo periodo di tempo di notifica, segui i passaggi descritti in Gestire l'interruzione dei nodi GKE per GPU e TPU.

Passaggi successivi

• Scopri di più sui node pool.
• Scopri come utilizzare una piattaforma CPU minima per i tuoi nodi.
• Scopri come creare e configurare un container di deep learning locale con Docker.
• Scopri come utilizzare Confidential GKE Node nei tuoi node pool GPU (anteprima).
• Scopri di più sul sandboxing dei carichi di lavoro GPU con GKE Sandbox