Fazer upgrade dos ambientes

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Nesta página, descrevemos como fazer upgrade do seu ambiente para uma nova versão do Airflow.

Sobre as operações de upgrade

No Cloud Composer 3, não é necessário gerenciar a versão do Cloud Composer do ambiente:

• O Cloud Composer faz upgrade automático dos componentes de infraestrutura do seu ambiente. Esses componentes estão relacionados à funcionalidade do Cloud Composer e não mudam a forma como o Airflow funciona ou como os DAGs do Airflow são executados.
• O Cloud Composer não faz upgrade automático da versão e do build do Airflow, dos componentes do Airflow ou dos componentes intimamente relacionados às cargas de trabalho do Airflow. Elas não são alteradas quando os componentes da infraestrutura são atualizados automaticamente.
• É possível fazer upgrade manual para uma nova versão ou build do Airflow.

Por exemplo, é possível usar a mesma versão e build do Airflow por vários meses sem fazer upgrades, e seu ambiente ainda vai receber as atualizações, correções e melhorias mais recentes do Cloud Composer nos componentes de infraestrutura do ambiente. Quando você decidir migrar para uma nova versão ou build do Airflow, faça upgrade da versão do Airflow no seu ambiente.

Sobre o upgrade da versão do Airflow

Seu ambiente muda a versão ou o build do Airflow da seguinte maneira:

• Você controla a versão (e o build) do Airflow do seu ambiente. É possível realizar a operação de upgrade da versão do Airflow quando você escolhe mudar seu ambiente para uma versão diferente do Airflow. Por exemplo, isso pode acontecer se a versão e o build atuais do Airflow não forem mais compatíveis.

• O Cloud Composer reimplanta os componentes do Airflow do seu ambiente usando a versão e o build especificados do Airflow.

• O Cloud Composer aplica mudanças na configuração do Airflow, como pacotes PyPI personalizados ou modificações de opções de configuração do Airflow, se o ambiente já os tinha antes do upgrade.

• O Cloud Composer atualiza a conexão airflow_db do Airflow para apontar para o novo banco de dados do Cloud SQL.

Mudar a versão do Airflow não altera a forma como você se conecta aos recursos do seu ambiente, como o URL do bucket do ambiente ou o servidor da Web do Airflow.

Sobre operações automáticas de upgrade de infraestrutura

O Cloud Composer executa periodicamente operações automáticas de upgrade de infraestrutura:

• As operações de upgrade automático da infraestrutura são executadas periodicamente durante as janelas de manutenção especificadas para o ambiente.

• Não é possível desativar os upgrades automáticos de infraestrutura no Cloud Composer 3. É possível controlar os períodos em que os upgrades automáticos podem ser executados especificando janelas de manutenção personalizadas para seu ambiente.

• Essa operação fica visível no console do Google Cloud e nos registros do ambiente, como qualquer outra operação de longa duração. Enquanto a operação está em execução, não é possível iniciar outras operações no nível do ambiente (mas ainda é possível executar DAGs do Airflow).

• Em alguns casos, os upgrades automáticos de infraestrutura podem reiniciar os componentes do Airflow. Durante essas reinicializações, os workers do Airflow são encerrados de maneira otimizada com um período de carência de 24 horas. Se você tiver tarefas que precisam de mais de 24 horas para serem concluídas, use operadores adiáveis. Um upgrade pode resultar em um curto período de indisponibilidade para componentes de infraestrutura do ambiente, como o monitoramento do ambiente.

Limitações das operações de upgrade

As operações de upgrade têm as seguintes limitações:

• Os lançamentos do Cloud Composer são implantados gradualmente em todas as regiões compatíveis com o Cloud Composer ao longo de vários dias. A versão mais recente de um lançamento em andamento ainda não pode estar disponível na sua região.

• Não é possível fazer downgrade para uma versão ou build anterior do Airflow.

• Não é possível fazer upgrade do ambiente se o banco de dados do Airflow tiver mais de 20 GB de dados. Durante um upgrade, um aviso será exibido se o tamanho do banco de dados do Airflow for maior que 20 GB. Nesse caso, faça a manutenção do banco de dados para reduzir o tamanho dele.

• Se você usar o mecanismo XCom para transferir arquivos, use-o de acordo com as diretrizes do Airflow. A transferência de arquivos grandes ou de um grande número de arquivos usando XCom afeta o desempenho do banco de dados do Airflow e pode causar falhas ao carregar snapshots ou fazer upgrade do ambiente. Considere usar alternativas como o Cloud Storage para transferir grandes volumes de dados.

Antes de começar

• Recomendamos criar um novo snapshot do ambiente para poder recriá-lo, se necessário.

• Sua conta precisa ter um papel que acione operações de upgrade de ambiente. Além disso, a conta de serviço do ambiente precisa ter um papel com permissões suficientes para executar operações de upgrade. Consulte Controle de acesso para mais informações.

Verificar se o ambiente está atualizado

O Cloud Composer mostra avisos quando o build do Airflow do seu ambiente se aproxima da data de término do suporte. Você pode usar esses avisos para sempre manter seu ambiente compatível.

O Cloud Composer monitora a versão e o build do Airflow em que seu ambiente se baseia. Quando estiver próxima do fim da data de suporte, você verá um aviso na lista de ambientes e na página Detalhes do ambiente.

Para verificar se o ambiente está atualizado:

Ver upgrades sugeridos

O Cloud Composer oferece uma lista de builds do Airflow para as quais é possível fazer upgrade do ambiente.

Para ver as versões do Cloud Composer sugeridas para um upgrade:

gcloud composer environments list-upgrades \
  ENVIRONMENT_NAME \
  --location LOCATION

gcloud composer environments list-upgrades example-environment \
  --location us-central1

// GET https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/imageVersions

Verificar conflitos de pacote do PyPI antes de fazer o upgrade

É possível verificar se os pacotes PyPI instalados no ambiente têm conflitos com pacotes pré-instalados na nova versão ou build do Airflow.

Uma verificação bem-sucedida significa que não há conflitos nas dependências de pacote PyPI entre a versão atual e a especificada. No entanto, uma operação de upgrade ainda pode não ser bem-sucedida devido a outros motivos.

gcloud composer environments check-upgrade \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --airflow-version VERSION

gcloud composer environments check-upgrade example-environment \
  --location us-central1 \
  --airflow-version airflow-2.10.5-build.10

Waiting for [projects/example-project/locations/us-central1/environments/
example-environment] to be checked for PyPI package conflicts when upgrading
to composer-3-airflow-2.10.5-build.10. Operation [projects/example-project/locations/
us-central1/operations/04d0e8b2-...]...done.
...

Response:
'@type': type.googleapis.com/
google.cloud.orchestration.airflow.service.v1.CheckUpgradeResponse
buildLogUri: https://console.cloud.google.com/cloud-build/builds/79738aa7-...
containsPypiModulesConflict: CONFLICT
pypiConflictBuildLogExtract: |-
The Cloud Build image build failed: Build failed; check build logs for
details. Full log can be found at https://console.cloud.google.com/
cloud-build/builds/79738aa7-...
Error details: tensorboard 2.2.2 has requirement
setuptools>=41.0.0, but you have setuptools 40.3.0.

{
  "imageVersion": "VERSION"
}

Fazer upgrade do ambiente

Para fazer upgrade do seu ambiente para uma nova versão ou build do Airflow:

gcloud composer environments update \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --airflow-version VERSION

gcloud composer environments update
  example-environment \
  --location us-central1 \
  --airflow-version airflow-2.10.5-build.10

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.imageVersion

  {
    "config": {
      "softwareConfig": {
        "imageVersion": "composer-3-airflow-2.10.5-build.10"
      }
    }
  }

  resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "VERSION"
    }
  }
}

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "airflow-2.10.5-build.10"
    }
  }
}

A seguir

• Lista de versões
• Controle de versões do Cloud Composer
• Atualizar ambientes