Adicionar aspectos do Dataplex Universal Catalog com base em insights de perfis de dados

Nesta página, descrevemos como adicionar automaticamente aspectos do Dataplex Universal Catalog aos seus dados depois que a Proteção de dados sensíveis cria perfis dos seus recursos. Esta página também fornece exemplos de consultas que podem ser usadas para encontrar dados na organização e projetos com valores de aspectos específicos.

Esse recurso é útil se você quiser enriquecer seus metadados no Dataplex Universal Catalog com insights coletados dos perfis de dados da Proteção de dados sensíveis. Os aspectos gerados incluem os seguintes insights:

• Nível de sensibilidade calculado da tabela ou do conjunto de dados
• Nível de risco de dados calculado da tabela ou do conjunto de dados
• Tipos de informações (infoTypes) detectados na tabela ou no conjunto de dados

Os insights dos perfis de dados da Proteção de Dados Sensíveis ajudam você a usar o Catálogo universal do Dataplex para descobrir dados sensíveis e de alto risco na sua organização. Use esses insights para tomar decisões fundamentadas sobre como gerenciar e governar seus dados.

Sobre os perfis de dados

É possível configurar a Proteção de dados sensíveis para gerar automaticamente perfis sobre dados em uma organização, pasta ou projeto. Os perfis de dados contêm métricas e metadados sobre seus dados e ajudam a determinar onde os dados confidenciais e de alto risco residem. A Proteção de dados sensíveis informa essas métricas em vários níveis de detalhes.

É possível enviar perfis de dados para outros serviços do Google Cloud , como o catálogo universal do Dataplex, o Pub/Sub, o Security Command Center e o Google Security Operations, para enriquecer seus fluxos de trabalho de governança de dados, alertas e segurança.

Sobre o Dataplex Universal Catalog

O Dataplex Universal Catalog fornece um inventário unificado de recursos do Google Cloud .

Com o Dataplex Universal Catalog, é possível usar aspectos para adicionar metadados comerciais e técnicos aos seus dados e capturar contexto e conhecimento sobre seus recursos. Em seguida, pesquise e descubra dados em toda a organização e ative a governança sobre seus recursos. Para mais informações, consulte Aspectos.

Recursos suportados

A Proteção de dados sensíveis pode anexar automaticamente aspectos às entradas do Catálogo Universal do Dataplex para os seguintes recursos:

• tabelas do BigQuery

• Tabelas do Cloud SQL

• Conjuntos de dados da Vertex AI criados com base em tabelas do BigQuery

O Dataplex Universal Catalog não ingere buckets do Cloud Storage. Portanto, esse recurso não está disponível ao criar perfis de dados do Cloud Storage.

Como funciona

O fluxo de trabalho de alto nível para criar automaticamente aspectos do Dataplex Universal Catalog com base em perfis de dados é o seguinte:

1. Crie ou edite uma configuração de verificação para um tipo de recurso compatível.

2. Na etapa Adicionar ações, verifique se a ação Enviar para o Dataplex Catalog como aspectos está ativada.

   Se você estiver criando uma configuração de verificação, essa ação será ativada por padrão.

   Se você estiver editando uma configuração de verificação, ative essa ação.

A Proteção de dados sensíveis adiciona ou atualiza o aspecto Sensitive Data Protection profile da entrada do Dataplex Universal Catalog para cada recurso compatível que você cria um perfil. Em seguida, pesquise no Dataplex Universal Catalog todos os dados da sua organização ou projeto com valores de aspecto específicos.

Quando você ativa a ação Enviar para o Dataplex Catalog como aspectos, a Proteção de dados sensíveis aplica essa ação apenas a perfis novos e atualizados. Os perfis atuais que não forem atualizados não serão enviados para o Dataplex Universal Catalog.

Campos de nível superior

O aspecto resultante de uma tabela com perfil pode ter os seguintes campos de nível superior:

Se o recurso tiver sido criado no nível do projeto e da organização ou da pasta, a Proteção de Dados Sensíveis vai agregar os valores dos dois perfis. O aspecto fornece uma união dos infoTypes detectados e usa as classificações de sensibilidade e risco de dados mais altas dos dois perfis.

Por exemplo, suponha que o perfil no nível do projeto classifique a sensibilidade do recurso como MODERATE e o perfil no nível da organização classifique a sensibilidade como LOW. Nesse caso, o valor no campo Sensitivity de nível superior do aspecto é MODERATE.

Campos de perfil do projeto e da organização

O aspecto Sensitive Data Protection profile resultante inclui um ou ambos os seguintes campos de nível superior, dependendo do nível em que o recurso foi analisado:

Project Profile

Incluído no aspecto se o recurso foi criado usando uma configuração de verificação no nível do projeto

Organization Profile

Incluído no aspecto se o recurso foi criado por perfil usando uma configuração de verificação no nível da organização ou da pasta

Se o recurso tiver sido criado no nível do projeto e da organização ou da pasta, o aspecto resultante terá os campos Project Profile e Organization Profile.

Cada campo Project Profile ou Organization Profile contém campos aninhados Sensitivity e Risk com os valores listados no perfil de dados. Se o perfil de dados tiver infoTypes previstos e outros infoTypes listados, eles também estarão disponíveis como campos aninhados Column InfoTypes e InfoTypes. Além disso, cada campo Project Profile ou Organization Profile contém os seguintes campos aninhados:

Profile

O nome completo do recurso do perfil de dados. Exemplos:

• Perfil no nível do projeto: projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
• Perfil no nível da organização ou da pasta: organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID

Profile Link

Um link para o perfil no Google Cloud console. Exemplos:

• Perfil no nível do projeto: https://console.cloud.google.com/security/sensitive-data-protection/projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
• Perfil no nível da organização ou da pasta: https://console.cloud.google.com/security/sensitive-data-protection/organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID

Ativar a API Dataplex

A API Dataplex precisa estar ativada em cada projeto que contém recursos aos quais você quer adicionar aspectos. Nesta seção, descrevemos como ativar a API Dataplex em um único projeto ou em todos os projetos de uma organização ou pasta.

Ativar a API Dataplex em um único projeto

1. Selecione o projeto em que você quer ativar a API Dataplex.

   Acessar o seletor de projetos

2. Enable the Dataplex API.

   Enable the API

Ativar a API Dataplex em todos os projetos de uma organização ou pasta

Esta seção fornece um script que pesquisa todos os projetos em uma organização ou pasta e ativa a API Dataplex em cada um desses projetos.

Para receber as permissões necessárias para ativar a API Dataplex em todos os projetos de uma organização ou pasta, peça ao administrador para conceder a você os seguintes papéis do IAM:

• Visualizador de recursos do Cloud (roles/cloudasset.viewer) na organização ou pasta
• Usuário da DLP (roles/dlp.user) em cada projeto em que você quer ativar a API Dataplex

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para ativar a API Dataplex em todos os projetos de uma organização ou pasta. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Para ativar a API Dataplex em todos os projetos de uma organização ou pasta, siga estas etapas:

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Execute o script a seguir:

   #!/bin/bash
   
   RESOURCE_ID="RESOURCE_ID"
   
   gcloud asset search-all-resources \
       --scope="RESOURCE_TYPE/$RESOURCE_ID" \
       --asset-types="cloudresourcemanager.googleapis.com/Project" \
       --format="value(name)" |
       while read project_name; do
         project_id=$(echo "$project_name" | sed 's|.*/||')
         gcloud services enable "dataplex.googleapis.com" --project="$project_id"
       done
   

   Substitua:

   • RESOURCE_ID: o número da organização ou da pasta do recurso que contém os projetos
   • RESOURCE_TYPE: o tipo de recurso que contém os projetos: organizations ou folders.

Papéis e permissões para visualizar aspectos

Para ter as permissões necessárias para pesquisar aspectos associados aos seus recursos, peça ao administrador para conceder a você os seguintes papéis do IAM nos recursos:

• Leitor do catálogo do Dataplex (roles/dataplex.catalogViewer)
• Visualizador de dados do BigQuery (roles/bigquery.dataViewer)
• Visualizador da Vertex AI (roles/aiplatform.viewer)

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para pesquisar aspectos associados aos seus recursos. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para pesquisar aspectos associados aos seus recursos:

• Ver entradas do Dataplex Universal Catalog:
  • dataplex.entries.list
  • dataplex.entries.get
• Ver conjuntos de dados e tabelas do BigQuery:
  • bigquery.datasets.get
  • bigquery.tables.get
• Ver conjuntos de dados da Vertex AI: aiplatform.datasets.get

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Para mais informações sobre as permissões necessárias para usar o Dataplex Universal Catalog, consulte Permissões do IAM do Dataplex Universal Catalog.

Encontrar o aspecto gerado para um determinado perfil de dados de tabela

1. No console Google Cloud , acesse a página Pesquisa do Universal Catalog do Dataplex.

   Acesse Pesquisar

2. Selecione a organização ou o projeto.

3. Em Escolher plataforma de pesquisa, selecione Dataplex Catalog como o modo de pesquisa.

4. No campo Pesquisar, digite o seguinte:

   name:TABLE_ID
   

   Substitua TABLE_ID pelo ID da tabela que foi criada.

5. Na lista que aparece, clique no nome da tabela. Os detalhes da tabela do BigQuery aparecem. Todos os aspectos Sensitive Data Protection profile associados a ele são mostrados na seção Tags e aspectos opcionais.

Para mais informações sobre como pesquisar recursos, consulte Pesquisar recursos no Dataplex Universal Catalog.

Exemplo de consultas de pesquisa

Esta seção fornece exemplos de consultas de pesquisa que podem ser usadas no Dataplex Universal Catalog para encontrar dados na sua organização ou projeto com valores de aspecto específicos.

Você só encontra os dados a que tem acesso. O acesso aos dados é controlado por permissões do IAM. Para mais informações, consulte Papéis e permissões para visualizar aspectos nesta página.

É possível inserir essas consultas de exemplo no campo Pesquisar da página Pesquisar do Dataplex Universal Catalog.

Acesse Pesquisar

Para saber como formar as consultas, consulte Sintaxe de pesquisa do Dataplex Universal Catalog.

Encontrar todos os recursos que têm o aspecto de perfil da Proteção de Dados Sensíveis

aspect:sensitive-data-protection-profile

Encontrar todos os recursos com uma determinada pontuação de sensibilidade

aspect:sensitive-data-protection-profile.sensitivity=SENSITIVITY_SCORE

Substitua SENSITIVITY_SCORE por HIGH, MODERATE, UNKNOWN ou LOW.

Para mais informações, consulte Níveis de sensibilidade e risco de dados.

Encontrar todos os recursos com uma determinada pontuação de risco

aspect:sensitive-data-protection-profile.risk=DATA_RISK_LEVEL

Substitua DATA_RISK_LEVEL por HIGH, MODERATE, UNKNOWN ou LOW.

Para mais informações, consulte Níveis de sensibilidade e risco de dados.

Encontrar todos os recursos que têm um perfil no nível do projeto

aspect:sensitive-data-protection-profile.projectProfile

Encontrar todos os recursos que têm um perfil no nível da organização

aspect:sensitive-data-protection-profile.organizationProfile