Fazer upgrade dos ambientes

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Nesta página, descrevemos como fazer upgrade do seu ambiente para uma nova versão do Cloud Composer ou do Airflow.

Sobre as operações de upgrade

É possível fazer upgrade da versão do Cloud Composer, da versão do Airflow ou de ambas ao mesmo tempo.

Ao mudar a versão do Airflow ou do Cloud Composer usada pelo ambiente:

• O Cloud Composer reimplanta os componentes do ambiente usando novas versões das imagens do Cloud Composer.

• O Cloud Composer aplica mudanças na configuração do Airflow, como pacotes PyPI personalizados ou modificações de opções de configuração do Airflow, se o ambiente já os tinha antes do upgrade.

• O Cloud Composer atualiza a conexão airflow_db do Airflow para apontar para o novo banco de dados do Cloud SQL.

O upgrade não muda a forma como você se conecta aos recursos do seu ambiente, como o URL do bucket do ambiente ou o servidor da Web do Airflow.

Limitações das operações de upgrade

As operações de upgrade têm as seguintes limitações:

• Os lançamentos do Cloud Composer são implantados gradualmente em todas as regiões compatíveis com o Cloud Composer ao longo de vários dias. A versão mais recente de um lançamento em andamento ainda não pode estar disponível na sua região.

• Não é possível fazer downgrade para uma versão anterior do Cloud Composer ou do Airflow.

• No Google Cloud console, só é possível fazer upgrade para as versões mais recentes compatíveis do Cloud Composer 2.

• Na CLI gcloud, na API ou no Terraform, é possível fazer upgrade de um ambiente para as versões mais recentes compatíveis, três versões anteriores do Cloud Composer 2, a última versão de patch da versão secundária anterior e para versões com um cronograma de upgrade estendido. Não é possível fazer upgrade para outras versões do Cloud Composer 2, mesmo que elas ainda tenham suporte e possam ser usadas para criar um novo ambiente.

  Exemplo de opções de upgrade para a Google Cloud CLI, a API e o Terraform:

  • Versões mais recentes: composer-2.11.5-airflow-*
  • Três versões anteriores do Cloud Composer 2: composer-2.11.4-airflow-*, composer-2.11.3-airflow-*, composer-2.11.2-airflow-*.
  • Último patch da versão secundária anterior do Cloud Composer 2: composer-2.10.2-airflow-*
  • Versões do Cloud Composer 2 com um cronograma de upgrade estendido: composer-2.10.2-airflow-*, composer-2.10.1-ariflow-*, composer-2.9.7-airflow-* e outras versões com um cronograma de upgrade estendido.

• A versão para a qual você vai fazer upgrade precisa ser compatível com a versão atual do Python do seu ambiente.

• Os limites de cota da API Compute Engine podem impedir upgrades. No console Google Cloud , acesse a página IAM e administrador > Cotas e limites do sistema e verifique se a cota da API Compute Engine para CPU não foi excedida. Se o limite de cota estiver se aproximando, solicite uma extensão antes de prosseguir com a operação de upgrade.

• Não é possível fazer upgrade para uma versão principal diferente do Cloud Composer ou do Airflow no local. É possível transferir manualmente DAGs e configurações entre ambientes. Veja mais informações em:

  • Migre do Cloud Composer 1, Airflow 1 para o Cloud Composer 2, Airflow 2.
  • Migre do Cloud Composer 1, Airflow 2 para o Cloud Composer 2, Airflow 2.
  • Migre do Cloud Composer 1, Airflow 1 para o Cloud Composer 1, Airflow 2.

• Não é possível fazer upgrade do ambiente se o banco de dados do Airflow tiver mais de 16 GB de dados. Durante um upgrade, um aviso será exibido se o tamanho do banco de dados do Airflow for maior que 16 GB. Nesse caso, faça a manutenção do banco de dados para reduzir o tamanho dele.

• Se você usar o mecanismo XCom para transferir arquivos, use-o de acordo com as diretrizes do Airflow. A transferência de arquivos grandes ou de um grande número de arquivos usando XCom afeta o desempenho do banco de dados do Airflow e pode causar falhas ao carregar snapshots ou fazer upgrade do ambiente. Considere usar alternativas como o Cloud Storage para transferir grandes volumes de dados.

Antes de começar

• Recomendamos criar um novo snapshot do ambiente para poder recriá-lo, se necessário.

• Sua conta precisa ter um papel que acione operações de upgrade de ambiente. Além disso, a conta de serviço do ambiente precisa ter um papel com permissões suficientes para executar operações de upgrade. Consulte Controle de acesso para mais informações.

Verificar se o ambiente está atualizado

O Cloud Composer mostra avisos quando a imagem do ambiente se aproxima da data de término do suporte completo. Você pode usar esses avisos para sempre manter seu ambiente compatível.

O Cloud Composer monitora a versão da imagem do Cloud Composer em que seu ambiente se baseia. Quando estiver próxima do fim da data de suporte, você verá um aviso na lista de ambientes e na página Detalhes do ambiente.

Para verificar se o ambiente está atualizado:

Ver upgrades sugeridos

O Cloud Composer oferece uma lista de versões do Cloud Composer para as quais é possível fazer upgrade do ambiente.

Para ver as versões do Cloud Composer sugeridas para um upgrade:

gcloud composer environments list-upgrades \
  ENVIRONMENT_NAME \
  --location LOCATION

gcloud composer environments list-upgrades example-environment \
  --location us-central1

// GET https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/imageVersions

Verificar conflitos de pacote do PyPI antes de fazer o upgrade

É possível verificar se os pacotes PyPI instalados no ambiente têm conflitos com pacotes pré-instalados na nova imagem do Cloud Composer.

Uma verificação bem-sucedida significa que não há conflitos nas dependências de pacote PyPI entre a versão atual e a especificada. No entanto, uma operação de upgrade ainda pode não ser bem-sucedida devido a outros motivos.

gcloud composer environments check-upgrade \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version VERSION

gcloud composer environments check-upgrade example-environment \
  --location us-central1 \
  --image-version composer-1.20.12-airflow-1.10.15

Waiting for [projects/example-project/locations/us-central1/environments/
example-environment] to be checked for PyPI package conflicts when upgrading
to composer-1.20.12-airflow-1.10.15. Operation [projects/example-project/locations/
us-central1/operations/04d0e8b2-...]...done.
...

Response:
'@type': type.googleapis.com/
google.cloud.orchestration.airflow.service.v1.CheckUpgradeResponse
buildLogUri: https://console.cloud.google.com/cloud-build/builds/79738aa7-...
containsPypiModulesConflict: CONFLICT
pypiConflictBuildLogExtract: |-
The Cloud Build image build failed: Build failed; check build logs for
details. Full log can be found at https://console.cloud.google.com/
cloud-build/builds/79738aa7-...
Error details: tensorboard 2.2.2 has requirement
setuptools>=41.0.0, but you have setuptools 40.3.0.

{
  "imageVersion": "VERSION"
}

Fazer upgrade do ambiente

Para fazer upgrade do seu ambiente para uma versão mais recente do Cloud Composer ou do Airflow:

gcloud composer environments update \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version VERSION

gcloud composer environments update
  example-environment \
  --location us-central1 \
  --image-version composer-1.20.12-airflow-1.10.15

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.imageVersion

  {
    "config": {
      "softwareConfig": {
        "imageVersion": "composer-1.20.12-airflow-1.10.15"
      }
    }
  }

  resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "VERSION"
    }
  }
}

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "composer-1.20.12-airflow-1.10.15"
    }
  }
}

A seguir

• Lista de versões
• Controle de versões do Cloud Composer
• Atualizar ambientes