Usar os conjuntos de dados do Storage Insights

Esta página mostra como criar e gerenciar conjuntos de dados e configurações do Storage Insights. Saiba mais sobre os conjuntos de dados do Storage Insights.

Antes de começar

Antes de começar a criar e gerenciar conjuntos de dados e configurações de conjuntos de dados, siga as instruções nas subseções a seguir.

Ter os papéis necessários

Para receber as permissões necessárias para criar e gerenciar conjuntos de dados, peça ao administrador para conceder a você os seguintes papéis do IAM nos projetos de origem:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para criar e gerenciar conjuntos de dados. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para criar e gerenciar conjuntos de dados:

  • Crie a configuração do conjunto de dados: storageinsights.datasetConfigs.create
  • Ver a configuração do conjunto de dados:
    • storageinsights.datasetConfigs.get
    • storageinsights.datasetConfigs.list
  • Gerenciar a configuração do conjunto de dados:
    • storageinsights.datasetConfigs.update
    • storageinsights.datasetConfigs.delete
  • Link para o conjunto de dados do BigQuery: storageinsights.datasetConfigs.linkDataset
  • Desvincular do conjunto de dados do BigQuery: storageinsights.datasetConfigs.unlinkDataset
  • Consultar conjuntos de dados vinculados do BigQuery: bigquery.jobs.create or bigquery.jobs.*

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Ativar a API Storage Insights

Console

Ative a API storageinsights.googleapis.com

Linha de comando

Para ativar a API Storage Insights no projeto atual, execute o seguinte comando:

gcloud services enable storageinsights.googleapis.com

Para mais detalhes sobre como ativar serviços em um projeto do Google Cloud , consulte Como ativar e desativar serviços.

Configurar o Storage Intelligence

Verifique se o Storage Intelligence está configurado no projeto, na pasta ou na organização que você quer analisar com conjuntos de dados.

Criar uma configuração de conjunto de dados

Para criar uma configuração e gerar um conjunto de dados, siga estas etapas. Para mais informações sobre os campos que podem ser especificados ao criar a configuração do conjunto de dados, consulte Propriedades de configuração do conjunto de dados.

Console

  1. No console Google Cloud , acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

  2. Clique em Configurar conjunto de dados.

  3. Na seção Nomeie seu conjunto de dados, insira um nome para ele. Opcionalmente, insira uma descrição para o conjunto de dados.

  4. Na seção Definir escopo do conjunto de dados, faça o seguinte:

    • Selecione uma das seguintes opções:

      • Para receber metadados de armazenamento de todos os projetos na organização atual, selecione Incluir a organização.

      • Para receber metadados de armazenamento de todos os projetos nas pastas selecionadas, escolha Incluir pastas(suborganização/departamentos). Para saber como receber IDs de pastas, consulte Como visualizar ou listar pastas e projetos. Para adicionar pastas, faça o seguinte:

        1. No campo Pasta 1, insira o ID da pasta.
        2. Se quiser adicionar vários IDs de pastas, clique em + Adicionar outra pasta.

      • Para receber metadados de armazenamento dos projetos selecionados, escolha Incluir projetos fornecendo números de projetos. Para saber como encontrar os números do projeto, consulte Encontrar o nome, o número e o ID do projeto. Para adicionar projetos, faça o seguinte:

        1. No campo Projeto 1, digite o número do projeto.
        2. Se quiser adicionar vários números de projeto, clique em + Adicionar outro projeto.

      • Para adicionar projetos ou pastas em massa, selecione Fazer upload de uma lista de projetos /pastas por arquivo CSV. O arquivo CSV precisa conter os números de projeto ou IDs de pastas que você quer incluir no conjunto de dados.

    • Especifique se você quer incluir automaticamente buckets futuros no recurso selecionado.

    • Se quiser especificar filtros em buckets com base em regiões e prefixos de buckets, expanda a seção Filtros (opcional). Os filtros são aplicados de forma aditiva aos agrupamentos.

      É possível incluir ou excluir buckets de regiões específicas. Por exemplo, é possível excluir buckets nas regiões me-central1 e me-central2. Também é possível incluir ou excluir buckets por prefixo. Por exemplo, se você quiser excluir buckets que começam com my-bucket, insira o prefixo my-bucket*.

  5. Clique em Continuar.

  6. Na seção Selecionar período de retenção, escolha um período de armazenamento para os dados no conjunto.

  7. Na seção Selecione o local para armazenar o conjunto de dados configurado, escolha um local para armazenar o conjunto de dados e a configuração dele.

  8. Na seção Selecionar tipo de conta de serviço, escolha um tipo de agente de serviço para seu conjunto de dados. Esse agente de serviço é criado em seu nome quando você cria a configuração do conjunto de dados. Você pode selecionar um dos seguintes agentes de serviço:

    • Conta de serviço com escopo de configuração: esse agente de serviço só pode acessar e gravar o conjunto de dados gerado pela configuração específica.
    • Conta de serviço no escopo do projeto: esse agente de serviço pode acessar e gravar conjuntos de dados gerados com base em todas as configurações de conjunto de dados no projeto.

    Ao criar o agente de serviço, conceda a ele as permissões necessárias. Para mais informações sobre esses agente de serviço, consulte as Propriedades de configuração do conjunto de dados.

  9. Clique em Configurar. Pode levar até 48 horas para que você veja a primeira carga de dados nos conjuntos vinculados depois de configurar o conjunto de dados.

Linha de comando

  1. Para criar uma configuração de conjunto de dados, execute o comando gcloud storage insights dataset-configs create com as flags necessárias:

    gcloud storage insights dataset-configs create DATASET_CONFG_ID \
  --source-projects=SOURCE_PROJECT_NUMBERS \
  --location=LOCATION \
  --retention-period-days=RETENTION_PERIOD_DAYS

    Substitua:

    • DATASET_CONFIG_ID com o nome que você quer dar à configuração do conjunto de dados. Os nomes são usados como identificadores de configurações de conjuntos de dados e podem ser alterados. O nome pode ter até 128 caracteres, com letras, números e sublinhados.

    • SOURCE_PROJECT_NUMBERS com os números dos projetos que você quer incluir no conjunto de dados. Por exemplo, 464036093014. É possível especificar um ou vários projetos. Para saber como encontrar o número do projeto, consulte Encontrar o nome, o número e o ID do projeto.

      Como alternativa ao uso da flag --source-projects, use a flag --source-projects-file=FILE_PATH, que permite especificar vários números de projeto de uma só vez ao fazer upload de um arquivo com esses números. O arquivo precisa estar em formato CSV e ser enviado ao Cloud Storage.

    • LOCATION com o local em que a configuração e o conjunto de dados serão armazenados.

    • RETENTION_PERIOD_DAYS com o período de armazenamento dos dados no conjunto de dados.

    Se quiser, use outras flags para configurar o conjunto de dados:

    • Use --include-buckets=BUCKET_NAMES_OR_REGEX para incluir buckets específicos por nome ou expressão regular. Se essa flag for usada, não será possível usar --exclude-buckets.

    • Use --exclude-buckets=BUCKET_NAMES_OR_REGEX para excluir buckets específicos por nome ou expressão regular. Se essa flag for usada, não será possível usar --include-buckets.

    • Use --project=DESTINATION_PROJECT_ID para especificar um projeto para armazenar a configuração do conjunto de dados e o conjunto de dados gerado. Se essa flag não for usada, o projeto de destino será seu projeto ativo. Para mais informações sobre IDs de projetos, consulte Como criar e gerenciar projetos.

    • Use --auto-add-new-buckets para incluir automaticamente todos os buckets que forem adicionados aos projetos de origem no futuro.

    • Use --skip-verification para pular verificações e falhas do processo de verificação, que inclui verificações de permissões do IAM obrigatórias. Se usados, alguns ou todos os agrupamentos poderão ser excluídos do conjunto de dados.

    • Use --identity=IDENTITY_TYPE para especificar o tipo de agente de serviço que é criado com a configuração do conjunto de dados. Os valores são IDENTITY_TYPE_PER_CONFIG ou IDENTITY_TYPE_PER_PROJECT. Se não for especificado, o padrão será IDENTITY_TYPE_PER_CONFIG.

    • Use --description=DESCRIPTION para escrever uma descrição da configuração do conjunto de dados.

    • Use --organization=ORGANIZATION_ID com o ID do recurso da organização a que os projetos de origem pertencem. A configuração do conjunto de dados exclui projetos de origem fora do local especificado. Para saber como encontrar o ID da organização, consulte Como ter acesso ao ID do recurso da organização. Se não for especificado, o padrão será o ID da organização do projeto de origem.

APIs REST

API JSON

  1. Ter CLI gcloud instalada e inicializada, o que permite gerar um token de acesso para o cabeçalho Authorization.

  2. Crie um arquivo JSON com as informações a seguir:

    {
  "sourceProjects": {
    "project_numbers": ["PROJECT_NUMBERS", ...]
  },
  "retentionPeriodDays": "RETENTION_PERIOD_DAYS",
  "identity": {
    "type": "IDENTITY_TYPE"
  }
}

    Substitua:

    • PROJECT_NUMBERS com os números dos projetos que você quer incluir no conjunto de dados. É possível especificar um ou vários projetos. Os projetos precisam ser especificados como uma lista de strings.

      Você também pode adicionar uma organização ou uma ou várias pastas com buckets e objetos para os quais quer atualizar os metadados. Para incluir pastas ou organizações, use os campos sourceFolders ou organizationScope, respectivamente. Para mais informações, consulte a referência DatasetConfig.

    • RETENTION_PERIOD_DAYS com o número de dias de dados a serem capturados no snapshot do conjunto de dados. Por exemplo, 90.

    • IDENTITY_TYPE com o tipo de conta de serviço criada junto com a configuração do conjunto de dados. Os valores são IDENTITY_TYPE_PER_CONFIG ou IDENTITY_TYPE_PER_PROJECT.

  3. Para criar a configuração do conjunto de dados, use cURL para chamar a API JSON com uma solicitação Create DatasetConfig:

    curl -X POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs?datasetConfigId=DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Substitua:

    • JSON_FILE_NAME pelo caminho para o arquivo JSON criado na etapa anterior. Como alternativa, você pode transmitir uma instância de DatasetConfig no corpo da solicitação.

    • PROJECT_ID com o ID do projeto a que a configuração e o conjunto de dados vão pertencer.

    • LOCATION com o local em que o conjunto de dados e a configuração dele vão residir. Por exemplo, us-central1.

    • DATASET_CONFIG_ID com o nome que você quer dar à configuração do conjunto de dados. Os nomes são usados como o identificador das configurações do conjunto de dados e não são imutáveis. O nome pode ter até 128 caracteres, com letras, números e sublinhados. O nome precisa começar com uma letra.

    • ACCESS_TOKEN com o token de acesso gerado ao instalar e inicializar a Google Cloud CLI.

Para resolver erros de processamento de snapshots registrados em error_attributes_view, consulte Erros do conjunto de dados do Storage Insights.

Conceda as permissões necessárias ao agente de serviço

OGoogle Cloud cria um agente de serviço com escopo de configuração ou de projeto em seu nome quando você cria uma configuração de conjunto de dados. O agente de serviço segue o formato de nomenclatura service-PROJECT_NUMBER@gcp-sa-storageinsights.iam.gserviceaccount.com e aparece na página do IAM no console do Google Cloud quando você seleciona a caixa de seleção Incluir concessões de funções fornecidas pelo Google. Também é possível encontrar o nome do agente de serviço visualizando o recurso DatasetConfig usando a API JSON.

Para permitir que o Storage Insights gere e grave conjuntos de dados, peça ao administrador para conceder ao agente de serviço o papel de serviço de coletor do Storage Insights (roles/storage.insightsCollectorService) na organização que contém os projetos de origem. Essa função precisa ser concedida a todos agente de serviço no escopo da configuração criados para cada configuração de conjunto de dados de que você quer dados. Se você estiver usando um agente de serviço no escopo do projeto, essa função só precisará ser concedida uma vez para que o agente de serviço possa ler e gravar conjuntos de dados para todas as configurações de conjunto de dados no projeto.

Para instruções sobre como conceder papéis a projetos, consulte Gerenciar acesso.

Para vincular um conjunto de dados ao BigQuery, siga estas etapas:

  1. No console Google Cloud , acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

  2. Clique no nome da configuração do conjunto de dados que gerou o conjunto de dados que você quer vincular.

  3. Na seção Conjunto de dados vinculado do BigQuery, clique em Vincular conjunto de dados.

  1. Para vincular um conjunto de dados ao BigQuery, execute o comando gcloud storage insights dataset-configs create-link:

    gcloud storage insights dataset-configs create-link DATASET_CONFIG_ID --location=LOCATION

    Substitua:

    • DATASET_CONFIG_ID com o nome da configuração que gerou o conjunto de dados que você quer vincular.

    • LOCATION com o local do conjunto de dados. Por exemplo, us-central1.

    Como alternativa a especificar DATASET_CONFIG_NAME e LOCATION, você pode especificar um caminho completo de configuração do conjunto de dados. Exemplo:

    gcloud storage insights dataset-configs create-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID_

    Substitua:

    • DESTINATION_PROJECT_ID com o ID do projeto que contém a configuração do conjunto de dados. Para mais informações sobre IDs de projetos, consulte Como criar e gerenciar projetos.

    • DATASET_CONFIG_ID com o nome da configuração que gerou o conjunto de dados que você quer vincular.

    • LOCATION com o local do conjunto de dados e da configuração dele. Por exemplo, us-central1.

  1. Ter CLI gcloud instalada e inicializada, o que permite gerar um token de acesso para o cabeçalho Authorization.

  2. Crie um arquivo JSON com as informações a seguir:

    {
  "name": "DATASET_NAME"
}

    Substitua:

    • DATASET_NAME com o nome do conjunto de dados que você quer vincular. Por exemplo, my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2.

  3. Use cURL para chamar a API JSON com uma solicitação linkDataset DatasetConfig:

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:linkDataset?" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Substitua:

    • JSON_FILE_NAME com o caminho para o arquivo JSON criado na etapa anterior.

    • PROJECT_ID com o ID do projeto a que a configuração do conjunto de dados pertence.

    • LOCATION com o local em que o conjunto de dados e a configuração dele estão armazenados. Por exemplo, us-central1.

    • DATASET_CONFIG_ID com o nome da configuração que gerou o conjunto de dados que você quer vincular.

    • ACCESS_TOKEN com o token de acesso gerado ao instalar e inicializar a Google Cloud CLI.

Acessar e consultar conjuntos de dados vinculados

Para acessar e consultar conjuntos de dados vinculados, siga estas etapas:

  1. No console Google Cloud , acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

    Uma lista das configurações de conjunto de dados criadas no projeto vai aparecer.

  2. Clique no conjunto de dados vinculado do BigQuery da configuração que você quer ver.

    O conjunto de dados vinculado do BigQuery aparece no console Google Cloud . Para informações sobre o esquema de metadados do conjunto de dados, consulte Esquema de metadados do conjunto de dados.

  3. É possível consultar tabelas e visualizações nos conjuntos de dados vinculados da mesma forma que você consultaria qualquer outra tabela do BigQuery.

Para impedir que a configuração do conjunto de dados seja publicada no conjunto de dados do BigQuery, desvincule o conjunto de dados. Para desvincular um conjunto de dados, siga estas etapas:

  1. No console Google Cloud , acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

  2. Clique no nome da configuração do conjunto de dados que gerou o conjunto de dados que você quer desvincular.

  3. Na seção Conjunto de dados vinculado do BigQuery, clique em Desvincular conjunto de dados.

  1. Para desvincular o conjunto de dados, execute o comando gcloud storage insights dataset-configs delete-link:

    gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

    Substitua:

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto de dados que você quer desvincular.

    • LOCATION com o local do conjunto de dados e da configuração dele. Por exemplo, us-central1.

    Como alternativa a especificar DATASET_CONFIG_NAME e LOCATION, você pode especificar um caminho completo de configuração do conjunto de dados. Exemplo:

    gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Substitua:

    • DESTINATION_PROJECT_ID com o ID do projeto que contém a configuração do conjunto de dados. Para mais informações sobre IDs de projetos, consulte Como criar e gerenciar projetos.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto de dados que você quer desvincular.

    • LOCATION com o local do conjunto de dados e da configuração dele. Por exemplo, us-central1.

  1. Ter CLI gcloud instalada e inicializada, o que permite gerar um token de acesso para o cabeçalho Authorization.

  2. Crie um arquivo JSON com as informações a seguir:

    {
  "name": "DATASET_NAME"
}

    Substitua:

    • DATASET_NAME com o nome do conjunto de dados que você quer desvincular. Por exemplo, my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2.

  3. Use cURL para chamar a API JSON com uma solicitação unlinkDataset DatasetConfig:

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:unlinkDataset?" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Substitua:

    • JSON_FILE_NAME com o caminho para o arquivo JSON criado na etapa anterior.

    • PROJECT_ID com o ID do projeto a que a configuração do conjunto de dados pertence.

    • LOCATION com o local do conjunto de dados e da configuração dele. Por exemplo, us-central1.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto que você quer desvincular.

    • ACCESS_TOKEN com o token de acesso gerado ao instalar e inicializar a Google Cloud CLI.

Ver uma configuração de conjunto de dados

Para conferir a configuração de um conjunto de dados, siga estas etapas:

Console

  1. No console Google Cloud , acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

  2. Clique no nome da configuração de conjunto de dados que você quer visualizar.

    Os detalhes da configuração do conjunto de dados são exibidos.

Linha de comando

  1. Para descrever uma configuração de conjunto de dados, execute o comando gcloud storage insights dataset-configs describe:

    gcloud storage insights dataset-configs describe DATASET_CONFG_ID \
  --location=LOCATION

    Substitua:

    • DATASET_CONFIG_ID pelo nome da configuração do conjunto de dados.

    • LOCATION com o local do conjunto de dados e a configuração dele.

    Como alternativa a especificar DATASET_CONFIG_NAME e LOCATION, você pode especificar um caminho completo de configuração do conjunto de dados. Exemplo:

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Substitua:

    • DESTINATION_PROJECT_ID com o ID do projeto que contém a configuração do conjunto de dados. Para mais informações sobre IDs de projetos, consulte Como criar e gerenciar projetos.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto de dados que você quer visualizar.

    • LOCATION com o local do conjunto de dados e da configuração dele. Por exemplo, us-central1.

APIs REST

API JSON

  1. Ter CLI gcloud instalada e inicializada, o que permite gerar um token de acesso para o cabeçalho Authorization.

  2. Use cURL para chamar a API JSON com uma solicitação Get DatasetConfig:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Substitua:

    • PROJECT_ID com o ID do projeto a que a configuração do conjunto de dados pertence.

    • LOCATION com o local do conjunto de dados e da configuração dele. Por exemplo, us-central1.

    • DATASET_CONFIG_ID pelo nome da configuração do conjunto de dados.

    • ACCESS_TOKEN com o token de acesso gerado ao instalar e inicializar a Google Cloud CLI.

Listar configurações de conjunto de dados

Para listar as configurações de conjunto de dados em um projeto, siga estas etapas:

Console

  1. No console Google Cloud , acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

    A lista de configurações de conjunto de dados é exibida.

Linha de comando

  1. Para listar as configurações de conjunto de dados em um projeto, execute o comando gcloud storage insights dataset-configs list:

    gcloud storage insights dataset-configs list --location=LOCATION

    Substitua:

    • LOCATION com o local do conjunto de dados e da configuração dele. Por exemplo, us-central1.

    É possível usar as seguintes flags opcionais para especificar o comportamento da chamada de listagem:

    • Use --page-size para especificar o número máximo de resultados a serem retornados por página.

    • Use --filter=FILTER para filtrar os resultados. Para mais informações sobre como usar a flag --filter, execute gcloud topic filters e consulte a documentação.

    • Use --sort-by=SORT_BY_VALUE para especificar uma lista separada por vírgulas de nomes de chaves de campos de recursos para ordenação. Por exemplo, --sort-by=DATASET_CONFIG_NAME.

APIs REST

API JSON

  1. Ter CLI gcloud instalada e inicializada, o que permite gerar um token de acesso para o cabeçalho Authorization.

  2. Use cURL para chamar a API JSON com uma solicitação Get DatasetConfig:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Substitua:

    • PROJECT_ID com o ID do projeto a que a configuração do conjunto de dados pertence.

    • LOCATION com o local do conjunto de dados e da configuração dele. Por exemplo, us-central1.

    • ACCESS_TOKEN com o token de acesso gerado ao instalar e inicializar a Google Cloud CLI.

Atualizar uma configuração de conjunto de dados

Para atualizar a configuração de um conjunto de dados, siga estas etapas:

Console

  1. No console Google Cloud , acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

  2. Clique no nome da configuração do conjunto de dados que você quer atualizar.

  3. Na guia Configuração do conjunto de dados que aparece, clique em Editar para atualizar os campos.

Linha de comando

  1. Para atualizar uma configuração de conjunto de dados, execute o comando gcloud storage insights dataset-configs update:

    gcloud storage insights dataset-configs update DATASET_CONFG_ID \
  --location=LOCATION

    Substitua:

    • DATASET_CONFIG_ID pelo nome da configuração do conjunto de dados.

    • LOCATION com o local do conjunto de dados e a configuração dele.

    Use as seguintes flags para atualizar as propriedades da configuração do conjunto de dados:

    • Use --skip-verification para pular verificações e falhas do processo de verificação, que inclui verificações de permissões do IAM necessárias. Se usados, alguns ou todos os agrupamentos poderão ser excluídos do conjunto de dados.

    • Use --retention-period-days=DAYS para especificar o número de dias móveis de dados a serem capturados no snapshot do conjunto de dados. Por exemplo, 90.

    • Use --description=DESCRIPTION para escrever uma descrição da configuração do conjunto de dados.

    • Use --organization=ORGANIZATION_ID para especificar o ID da organização do projeto de origem. Se não for especificado, o padrão será o ID da organização do projeto de origem.

APIs REST

API JSON

  1. Ter CLI gcloud instalada e inicializada, o que permite gerar um token de acesso para o cabeçalho Authorization.

  2. Crie um arquivo JSON com as seguintes informações opcionais:

    {
  "organization_number": "ORGANIZATION_ID",
  "source_projects": {
    "project_numbers": "PROJECT_NUMBERS"
  },
  "retention_period_days": RETENTION_PERIOD"
}

    Substitua:

    • ORGANIZATION_ID com o ID do recurso da organização a que os projetos de origem pertencem. Se não for especificado, o padrão será o ID da organização do projeto de origem.

    • PROJECT_NUMBERS com os números de projetos que você quer incluir no conjunto de dados. É possível especificar um ou vários projetos. Os projetos precisam ser especificados em formato de lista.

    • RETENTION_PERIOD com o número móvel de dias de dados a serem capturados no snapshot do conjunto de dados. Por exemplo, 90.

  3. Para atualizar a configuração do conjunto de dados, use cURL para chamar a API JSON com uma solicitação Patch DatasetConfig:

    curl -X PATCH --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=RETENTION_PERIOD" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Substitua:

    • JSON_FILE_NAME pelo caminho para o arquivo JSON criado na etapa anterior.

    • PROJECT_ID com o ID do projeto a que a configuração do conjunto de dados pertence.

    • LOCATION com o local do conjunto de dados e da configuração dele. Por exemplo, us-central1.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que você quer atualizar.

    • RETENTION_PERIOD com o número móvel de dias de dados a serem capturados no snapshot do conjunto de dados. Por exemplo, 90.

    • ACCESS_TOKEN com o token de acesso gerado ao instalar e inicializar a Google Cloud CLI.

Excluir uma configuração de conjunto de dados

Para excluir uma configuração de conjunto de dados, siga estas etapas:

Console

  1. No console Google Cloud , acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

  2. Clique no nome da configuração de conjunto de dados que você quer excluir.

  3. Clique em Excluir .

Linha de comando

  1. Para excluir uma configuração de conjunto de dados, execute o comando gcloud storage insights dataset-configs delete:

    gcloud storage insights dataset-configs delete DATASET_CONFG_ID \
  --location=LOCATION

    Substitua:

    • DATASET_CONFIG_ID com o nome da configuração de conjunto de dados que você quer excluir.

    • LOCATION com o local do conjunto de dados e da configuração dele. Por exemplo, us-central1.

    Use as seguintes flags para atualizar as propriedades da configuração do conjunto de dados:

    • Use --auto-delete-link para desvincular o conjunto de dados gerado da configuração que você quer excluir. É preciso desvincular um conjunto de dados antes de excluir a configuração que o gerou.

    • Use --retention-period-days=DAYS para especificar o número de dias de dados a serem capturados no snapshot do conjunto de dados. Por exemplo, 90.

    Como alternativa a especificar DATASET_CONFIG_NAME e LOCATION, você pode especificar um caminho completo de configuração do conjunto de dados. Exemplo:

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

APIs REST

API JSON

  1. Ter CLI gcloud instalada e inicializada, o que permite gerar um token de acesso para o cabeçalho Authorization.

  2. Use cURL para chamar a API JSON com uma solicitação Delete DatasetConfig:

    curl -X DELETE \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Substitua:

    • PROJECT_ID com o ID do projeto a que a configuração do conjunto de dados pertence.

    • LOCATION com o local do conjunto de dados e da configuração dele. Por exemplo, us-central1.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que você quer excluir.

    • ACCESS_TOKEN com o token de acesso gerado ao instalar e inicializar a Google Cloud CLI.

A seguir