Configuración de red de Serverless para Apache Spark

En este documento, se describen los requisitos necesarios para la configuración de red de Google Cloud Serverless para Apache Spark.

Requisitos de las subredes de la nube privada virtual

En este documento, se explican los requisitos de la red de nube privada virtual para las cargas de trabajo por lotes y las sesiones interactivas deGoogle Cloud Serverless for Apache Spark.

Acceso privado a Google

Las cargas de trabajo por lotes y las sesiones interactivas de Serverless for Apache Spark se ejecutan en VMs con direcciones IP internas únicamente y en una subred regional con el Acceso privado a Google (PGA) habilitado automáticamente en la subred.

Si no especificas una subred, Serverless para Apache Spark selecciona la subred default en la región de la carga de trabajo por lotes o de la sesión como la subred para una carga de trabajo por lotes o una sesión.

Si tu carga de trabajo requiere acceso a Internet o a una red externa, por ejemplo, para descargar recursos como modelos de AA desde PyTorch Hub o Hugging Face, puedes configurar Cloud NAT para permitir el tráfico saliente con IPs internas en tu red de VPC.

Conectividad de subred abierta

La subred de VPC para la región seleccionada para la carga de trabajo por lotes o la sesión interactiva de Serverless for Apache Spark debe permitir la comunicación interna de la subred en todos los puertos entre las instancias de VM.

El siguiente comando de Google Cloud CLI asocia un firewall de red a una subred que permite comunicaciones internas de entrada entre VMs con todos los protocolos en todos los puertos:

gcloud compute firewall-rules create allow-internal-ingress \
    --network=NETWORK_NAME \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

Notas:

  • SUBNET_RANGES: Consulta Permite conexiones de entrada internas entre VMs. La red de VPC default en un proyecto con la regla de firewall default-allow-internal, que permite la comunicación de entrada en todos los puertos (tcp:0-65535, udp:0-65535 y icmp protocols:ports), cumple con el requisito de conectividad de subred abierta. Sin embargo, esta regla también permite la entrada de cualquier instancia de VM en la red.

Serverless para Apache Spark y redes de VPC-SC

Con los Controles del servicio de VPC, los administradores de redes pueden definir un perímetro de seguridad alrededor de los recursos de los servicios administrados por Google para controlar la comunicación hacia esos servicios y entre ellos.

Ten en cuenta las siguientes estrategias cuando uses redes de VPC-SC con Serverless para Apache Spark:

Para obtener más información, consulta Controles del servicio de VPC: Sin servidores para Apache Spark.