Apache Spark 用サーバーレスのネットワーク構成

このドキュメントでは、 Google Cloud Serverless for Apache Spark ネットワーク構成に必要な要件について説明します。

Virtual Private Cloud サブネットワークの要件

このドキュメントでは、Google Cloud Serverless for Apache Spark バッチ ワークロードとインタラクティブ セッションの Virtual Private Cloud ネットワーク要件について説明します。

限定公開の Google アクセス

Apache Spark のバッチ ワークロードとインタラクティブ セッション用のサーバーレスは、内部 IP アドレスのみを持つ VM と、サブネットで 限定公開の Google アクセス（PGA）が自動的に有効になっているリージョン サブネットで実行されます。

サブネットを指定しない場合、Serverless for Apache Spark は、バッチ ワークロードまたはセッションのリージョンにある default サブネットを、バッチ ワークロードまたはセッションのサブネットとして選択します。

ワークロードで外部ネットワークまたはインターネット アクセスが必要な場合（たとえば、PyTorch Hub や Hugging Face から ML モデルなどのリソースをダウンロードする場合）、Cloud NAT を設定して、VPC ネットワークで内部 IP を使用してアウトバウンド トラフィックを許可できます。

オープン サブネット接続

Serverless for Apache Spark バッチ ワークロードまたはインタラクティブ セッション用に選択されたリージョンの VPC サブネットでは、VM インスタンス間のすべてのポートで内部サブネット通信を許可する必要があります。

次の Google Cloud CLI コマンドは、すべてのポートですべてのプロトコルを使用する VM 間の内部上り（内向き）通信を許可するサブネットにネットワーク ファイアウォールを接続します。

gcloud compute firewall-rules create allow-internal-ingress \
    --network=NETWORK_NAME \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

注:

  • SUBNET_RANGES:VM 間の内部上り（内向き）接続を許可するをご覧ください。default-allow-internal ファイアウォール ルールを使用したプロジェクトの default VPC ネットワークがオープン サブネット接続の要件を満たしており、すべてのポート（tcp:0-65535、udp:0-65535、icmp protocols:ports など）で上り（内向き）通信が許可されています。ただし、このルールでは、ネットワーク上の任意の VM インスタンスからの上り（内向き）も許可されます。

Apache Spark 用 Serverless と VPC-SC ネットワーク

VPC Service Controls を使用すると、ネットワーク管理者は Google マネージド サービスのリソースにセキュリティ境界を定義し、これらのサービス間の通信を制御できます。

Serverless for Apache Spark で VPC-SC ネットワークを使用する際の戦略に注意してください。

詳細については、VPC Service Controls - Apache Spark 用サーバーレスをご覧ください。