Mengupgrade lingkungan

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Halaman ini menjelaskan cara mengupgrade lingkungan Anda ke versi Cloud Composer atau Airflow baru.

Tentang operasi upgrade

Anda dapat mengupgrade versi Cloud Composer, versi Airflow, atau keduanya secara bersamaan.

Saat Anda mengubah versi Airflow atau Cloud Composer yang digunakan oleh lingkungan Anda:

• Cloud Composer men-deploy ulang komponen lingkungan Anda menggunakan versi baru image Cloud Composer.

• Cloud Composer menerapkan perubahan konfigurasi Airflow, seperti paket PyPI kustom atau penggantian opsi konfigurasi Airflow, jika lingkungan Anda memilikinya sebelum upgrade.

• Cloud Composer memperbarui koneksi airflow_db Airflow untuk mengarah ke database Cloud SQL yang baru.

Upgrade tidak mengubah cara Anda terhubung ke resource di lingkungan Anda, seperti URL bucket lingkungan Anda, atau server web Airflow.

Batasan operasi upgrade

Operasi upgrade memiliki batasan berikut:

• Rilis Cloud Composer diluncurkan secara bertahap ke semua region yang didukung oleh Cloud Composer selama beberapa hari. Versi terbaru dari rilis yang sedang berlangsung mungkin belum tersedia di wilayah Anda.

• Anda tidak dapat melakukan downgrade ke versi Cloud Composer atau Airflow yang lebih lama.

• Di konsol Google Cloud , Anda hanya dapat mengupgrade ke Cloud Composer 2 versi terbaru yang didukung.

• Di Google Cloud CLI, API, atau Terraform, Anda dapat mengupgrade lingkungan ke versi terbaru yang didukung, tiga versi Cloud Composer 2 sebelumnya, versi patch terakhir dari versi minor sebelumnya, dan ke versi dengan jadwal upgrade yang diperpanjang. Upgrade ke Cloud Composer 2 versi lain tidak dapat dilakukan, meskipun versi tersebut masih didukung dan dapat digunakan untuk membuat lingkungan baru.

  Contoh pilihan upgrade untuk Google Cloud CLI, API, dan Terraform:

  • Versi terbaru: composer-2.11.5-airflow-*
  • Tiga versi Cloud Composer 2 sebelumnya: composer-2.11.4-airflow-*, composer-2.11.3-airflow-*, composer-2.11.2-airflow-*.
  • Patch terakhir dari versi minor Cloud Composer 2 sebelumnya: composer-2.10.2-airflow-*
  • Versi Cloud Composer 2 dengan jadwal upgrade yang diperpanjang: composer-2.10.2-airflow-*, composer-2.10.1-ariflow-*, composer-2.9.7-airflow-*, dan versi lain dengan jadwal upgrade yang diperpanjang.

• Versi yang Anda upgrade harus mendukung versi Python saat ini di lingkungan Anda.

• Batas kuota Compute Engine API dapat mencegah upgrade. Di Google Cloud konsol, buka halaman IAM and Admin > Quotas and System Limits, lalu periksa apakah kuota Compute Engine API untuk CPU tidak terlampaui. Jika batas kuota hampir tercapai, minta Penambahan kuota sebelum melanjutkan operasi upgrade.

• Anda tidak dapat mengupgrade lingkungan jika database Airflow berisi lebih dari 16 GB data. Selama upgrade, peringatan akan ditampilkan jika ukuran database Airflow lebih dari 16 GB. Dalam hal ini, lakukan pemeliharaan database untuk mengurangi ukuran database.

• Jika Anda menggunakan mekanisme XCom untuk mentransfer file, pastikan Anda menggunakannya sesuai dengan panduan Airflow. Mentransfer file besar atau sejumlah besar file menggunakan XCom akan memengaruhi performa database Airflow dan dapat menyebabkan kegagalan saat memuat snapshot atau mengupgrade lingkungan Anda. Pertimbangkan untuk menggunakan alternatif seperti Cloud Storage untuk mentransfer data dalam volume besar.

Sebelum memulai

• Sebaiknya buat snapshot baru dari lingkungan agar dapat membuat ulang lingkungan jika diperlukan.

• Akun Anda harus memiliki peran yang dapat memicu operasi upgrade lingkungan. Selain itu, akun layanan lingkungan harus memiliki peran yang memiliki izin yang memadai untuk melakukan operasi upgrade. Untuk mengetahui informasi selengkapnya, lihat Kontrol akses.

• Anda mungkin melihat entri metadata Compute Engine untuk cluster GKE yang termasuk dalam lingkungan di project Anda. Selama pembuatan dan upgrade cluster GKE, Google Kubernetes Engine secara otomatis menambahkan entri metadata tingkat project (google_compute_project_metadata) untuk melacak penggunaan rentang alamat IP sekunder. Jangan mengubah atau menghapus entri ini. Google Kubernetes Engine mengelolanya secara otomatis.

Pastikan lingkungan Anda sudah yang terbaru

Cloud Composer menampilkan peringatan saat image lingkungan Anda mendekati tanggal akhir dukungan penuhnya. Anda dapat menggunakan peringatan ini untuk selalu menjaga lingkungan Anda didukung.

Cloud Composer melacak versi image Cloud Composer yang menjadi dasar lingkungan Anda. Saat mendekati akhir tanggal dukungan, Anda dapat melihat peringatan dalam daftar lingkungan dan di halaman Detail lingkungan.

Untuk memeriksa apakah lingkungan Anda sudah yang terbaru:

Melihat upgrade yang disarankan

Cloud Composer menyediakan daftar versi Cloud Composer yang dapat Anda gunakan untuk mengupgrade lingkungan.

Untuk melihat versi Cloud Composer yang disarankan untuk upgrade:

gcloud composer environments list-upgrades \
  ENVIRONMENT_NAME \
  --location LOCATION

gcloud composer environments list-upgrades example-environment \
  --location us-central1

// GET https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/imageVersions

Memeriksa konflik paket PyPI sebelum mengupgrade

Anda dapat memeriksa apakah paket PyPI yang diinstal di lingkungan Anda memiliki konflik dengan paket yang telah diinstal sebelumnya di image Cloud Composer baru.

Pemeriksaan yang berhasil berarti tidak ada konflik dalam dependensi paket PyPI antara versi saat ini dan versi yang ditentukan. Namun, operasi upgrade mungkin masih gagal karena alasan lain.

gcloud composer environments check-upgrade \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version VERSION

gcloud composer environments check-upgrade example-environment \
  --location us-central1 \
  --image-version composer-2.13.8-airflow-2.10.5

Waiting for [projects/example-project/locations/us-central1/environments/
example-environment] to be checked for PyPI package conflicts when upgrading
to composer-2.13.8-airflow-2.10.5. Operation [projects/example-project/locations/
us-central1/operations/04d0e8b2-...]...done.
...

Response:
'@type': type.googleapis.com/
google.cloud.orchestration.airflow.service.v1.CheckUpgradeResponse
buildLogUri: https://console.cloud.google.com/cloud-build/builds/79738aa7-...
containsPypiModulesConflict: CONFLICT
pypiConflictBuildLogExtract: |-
The Cloud Build image build failed: Build failed; check build logs for
details. Full log can be found at https://console.cloud.google.com/
cloud-build/builds/79738aa7-...
Error details: tensorboard 2.2.2 has requirement
setuptools>=41.0.0, but you have setuptools 40.3.0.

{
  "imageVersion": "VERSION"
}

Mengupgrade lingkungan Anda

Untuk mengupgrade lingkungan Anda ke versi Cloud Composer atau Airflow yang lebih baru:

gcloud composer environments update \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version VERSION

gcloud composer environments update
  example-environment \
  --location us-central1 \
  --image-version composer-2.13.8-airflow-2.10.5

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.imageVersion

  {
    "config": {
      "softwareConfig": {
        "imageVersion": "composer-2.13.8-airflow-2.10.5"
      }
    }
  }

  resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "VERSION"
    }
  }
}

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "composer-2.13.8-airflow-2.10.5"
    }
  }
}

Langkah berikutnya

• Daftar versi
• Pembuatan versi Cloud Composer
• Memperbarui lingkungan