根据数据剖析的洞见添加 Dataplex Universal Catalog 切面

本页面介绍了在 Sensitive Data Protection 为资源创建分析文件后，如何自动向数据添加 Dataplex Universal Catalog 切面。此页面还提供了示例查询，您可以使用这些查询在组织和项目中查找具有特定方面值的数据。

如果您想利用从 Sensitive Data Protection 数据配置文件中收集的分析洞见来丰富 Dataplex Universal Catalog 中的元数据，此功能会非常有用。生成的方面包括以下数据洞见：

  • 表或数据集的计算得出的敏感度级别
  • 表或数据集的计算数据风险等级
  • 在表格或数据集中检测到的信息类型 (infoTypes)

借助 Sensitive Data Protection 数据分析文件中的数据分析，您可以利用 Dataplex Universal Catalog 发现组织中的敏感数据和高风险数据。您可以利用这些数据洞见，就如何管理和管控数据做出明智的决策。

数据剖析文件简介

您可以配置敏感数据保护功能，以自动生成有关组织、文件夹或项目中的数据的分析文件。数据分析文件包含有关数据的指标和元数据，可帮助您确定敏感数据和高风险数据所在的位置。敏感数据保护会报告不同详细程度的这些指标。

您可以将数据剖析发送到其他 Google Cloud 服务，例如 Dataplex Universal Catalog、Pub/Sub、Security Command Center 和 Google Security Operations，以丰富您的数据治理、提醒和安全工作流。

Dataplex Universal Catalog 简介

Dataplex Universal Catalog 提供统一的 Google Cloud 资源清单。

借助 Dataplex Universal Catalog，您可以使用切面向数据添加业务和技术元数据，以捕获有关资源的上下文和知识。然后，您可以在整个组织内搜索和发现数据，并对数据资产启用数据治理。如需了解详情，请参阅切面。

支持的资源

Sensitive Data Protection 可以自动将方面附加到以下资源的 Dataplex Universal Catalog 条目：

  • BigQuery 表

  • Cloud SQL 表

  • 通过 BigQuery 表创建的 Vertex AI 数据集

Dataplex Universal Catalog 不会注入 Cloud Storage 存储分区，因此在分析 Cloud Storage 数据时，此功能不可用。

工作原理

根据数据剖析文件自动创建 Dataplex Universal Catalog 切面的高级别工作流程如下：

  1. 为支持的资源类型创建或修改扫描配置。

  2. 在添加操作这一步中，请确保已启用以切面形式发送到 Dataplex Catalog 操作。

    如果您要创建扫描配置，则此操作默认处于启用状态。

    如果您要修改扫描配置，请启用此操作。

Sensitive Data Protection 会为分析的每个受支持的资源添加或更新 Dataplex Universal Catalog 条目的 Sensitive Data Protection profile 方面。然后，您可以在 Dataplex Universal Catalog 中搜索组织或项目内具有特定切面值的所有数据。

启用以切面形式发送到 Dataplex Catalog 操作后，敏感数据保护功能仅会将此操作应用于新的和更新的配置文件。未更新的现有配置文件不会发送到 Dataplex Universal Catalog。

顶级字段

经过分析的表的最终方面可以包含以下顶级字段：

显示名称 示例值 说明
Sensitivity MODERATE 表的计算得出的敏感度级别
Risk MODERATE 表的计算得出的数据风险等级
InfoTypes
  • infoType：CREDIT_CARD_NUMBER
  • infoType：PHONE_NUMBER
  • infoType：US_SOCIAL_SECURITY_NUMBER
 表格中找到的所有 infoType 的列表，包括预测的 infoType 和其他 infoType。如果表格中检测到至少一个 infoType，则会包含此字段。
Column InfoTypes
  • infoType：CREDIT_CARD_NUMBER
  • infoType：PHONE_NUMBER
 表格所有列中发现的所有预测 infoType 的列表。如果表格中检测到至少一个预测的 infoType，则会包含此字段。
Project Profile 请参阅本页面上的项目个人资料和组织个人资料。 如果资源是通过项目级扫描配置进行分析的，则包含此字段。
Organization Profile 请参阅本页面上的项目个人资料和组织个人资料。 如果资源是通过组织级层或文件夹级层扫描配置进行分析的，则包含此字段。

如果资源在项目级层和组织/文件夹级层都进行了分析，则 Sensitive Data Protection 会汇总这两个分析文件的值。该方面提供检测到的 infoType 的并集，并使用这两个配置文件中最高的敏感度和数据风险评级。

例如，假设项目级剖析文件将资源的敏感度评为 MODERATE，而组织级剖析文件将敏感度评为 LOW。在这种情况下，相应方面的顶级 Sensitivity 字段中的值为 MODERATE。

项目分析和组织分析字段

生成的 Sensitive Data Protection profile 方面包含以下一个或两个顶级字段，具体取决于资源分析的级别：

Project Profile
如果资源是通过项目级扫描配置进行分析的，则包含在方面中
Organization Profile
如果资源是通过组织级或文件夹级扫描配置进行分析的，则包含在方面中

如果资源在项目级层和组织/文件夹级层都进行了剖析，则生成的方面同时包含 Project Profile 和 Organization Profile 字段。

每个 Project Profile 或 Organization Profile 字段都包含嵌套的 Sensitivity 和 Risk 字段，其中包含数据配置文件中列出的值。如果数据分析中列出了预测的 infoType 和其他 infoType，则这些 infoType 也可作为嵌套的 Column InfoTypes 和 InfoTypes 字段使用。此外，每个 Project Profile 或 Organization Profile 字段都包含以下嵌套字段：

Profile

数据剖析文件的完整资源名称。示例：

  • 项目级配置文件：projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
  • 组织级或文件夹级付款资料：organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
Profile Link

Google Cloud 控制台中配置文件的链接。示例：

  • 项目级配置文件：https://console.cloud.google.com/security/sensitive-data-protection/projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
  • 组织级或文件夹级付款资料：https://console.cloud.google.com/security/sensitive-data-protection/organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID

启用 Dataplex API

您必须在包含要添加方面的资源的每个项目中启用 Dataplex API。本部分介绍了如何在单个项目中或在组织或文件夹中的所有项目中启用 Dataplex API。

在单个项目中启用 Dataplex API

  1. 选择要在其中启用 Dataplex API 的项目。

    转到“项目选择器”

  2. Enable the Dataplex API.

    Enable the API

在组织或文件夹中的所有项目中启用 Dataplex API

此部分提供了一个脚本，用于搜索组织或文件夹中的所有项目，并在每个项目中启用 Dataplex API。

如需获得在组织或文件夹中的所有项目中启用 Dataplex API 所需的权限，请让管理员为您授予以下 IAM 角色：

  • 组织或文件夹的 Cloud Asset Viewer (roles/cloudasset.viewer)
  • 针对您要在其中启用 Dataplex API 的每个项目的 DLP User (roles/dlp.user)

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

这些预定义角色包含在组织或文件夹中的所有项目中启用 Dataplex API 所需的权限。如需查看所需的确切权限，请展开所需权限部分：

所需权限

如需在组织或文件夹中的所有项目中启用 Dataplex API，您必须拥有以下权限：

  • 如需搜索组织或文件夹中的所有项目，请执行以下操作： 点击组织或文件夹中的 cloudasset.assets.searchAllResources
  • 如需启用 Dataplex API，请执行以下操作： serviceusage.services.use 在您要启用 Dataplex API 的每个项目中

您也可以使用自定义角色或其他预定义角色来获取这些权限。

如需在组织或文件夹中的所有项目中启用 Dataplex API，请按照以下步骤操作：

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. 运行以下脚本：

    #!/bin/bash

RESOURCE_ID="RESOURCE_ID"

gcloud asset search-all-resources \
    --scope="RESOURCE_TYPE/$RESOURCE_ID" \
    --asset-types="cloudresourcemanager.googleapis.com/Project" \
    --format="value(name)" |
    while read project_name; do
      project_id=$(echo "$project_name" | sed 's|.*/||')
      gcloud services enable "dataplex.googleapis.com" --project="$project_id"
    done

    替换以下内容：

    • RESOURCE_ID：包含项目的资源的组织编号或文件夹编号
    • RESOURCE_TYPE：包含项目的资源类型 - organizations 或 folders

    3. 查看方面所需的角色和权限

    如需获得搜索与资源相关联的方面所需的权限，请让管理员为您授予资源的以下 IAM 角色：

    如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

    这些预定义角色包含搜索与资源相关联的方面所需的权限。如需查看所需的确切权限，请展开所需权限部分：

    所需权限

    如需搜索与资源相关联的方面，您需要具备以下权限：

    • 查看 Dataplex Universal Catalog 条目：
      • dataplex.entries.list
      • dataplex.entries.get
    • 查看 BigQuery 数据集和表：
      • bigquery.datasets.get
      • bigquery.tables.get
    • 查看 Vertex AI 数据集： aiplatform.datasets.get

    您也可以使用自定义角色或其他预定义角色来获取这些权限。

    如需详细了解使用 Dataplex Universal Catalog 所需的权限，请参阅 Dataplex Universal Catalog IAM 权限。

    查找给定表数据剖析文件的生成方面

    1. 在 Google Cloud 控制台中，前往 Dataplex Universal Catalog 搜索页面。

      转到搜索

    2. 选择您的组织或项目。

    3. 在选择搜索平台部分，选择 Dataplex Catalog 作为搜索模式。

    4. 在搜索字段中，输入以下内容：

      name:TABLE_ID

      将 TABLE_ID 替换为已分析的表的 ID。

    5. 在随即显示的列表中，点击表格名称。系统会显示 BigQuery 表的详细信息。与其关联的任何 Sensitive Data Protection profile 切面都会显示在可选标记和切面部分中。

    如需详细了解如何搜索资源，请参阅在 Dataplex Universal Catalog 中搜索资源。

    搜索查询示例

    本部分提供了一些示例搜索查询，您可以在 Dataplex Universal Catalog 中使用这些查询来查找组织或项目中具有特定切面值的数据。

    您只能找到自己有权访问的数据。数据访问权限通过 IAM 权限进行控制。如需了解详情，请参阅本页面上的查看方面的角色和权限。

    您可以在 Dataplex Universal Catalog 搜索页面上的搜索字段中输入这些示例查询。

    转到搜索

    如需了解如何构建查询，请参阅 Dataplex Universal Catalog 的搜索语法。

    查找具有 Sensitive Data Protection 配置文件方面信息的所有资源

    aspect:sensitive-data-protection-profile

    查找具有指定敏感度得分的所有资源

    aspect:sensitive-data-protection-profile.sensitivity=SENSITIVITY_SCORE

    将 SENSITIVITY_SCORE 替换为 HIGH、MODERATE、UNKNOWN 或 LOW。

    如需了解详情，请参阅敏感度和数据风险级别。

    查找具有指定风险得分的所有资源

    aspect:sensitive-data-protection-profile.risk=DATA_RISK_LEVEL

    将 DATA_RISK_LEVEL 替换为 HIGH、MODERATE、UNKNOWN 或 LOW。

    如需了解详情，请参阅敏感度和数据风险级别。

    查找具有项目级配置的所有资源

    aspect:sensitive-data-protection-profile.projectProfile

    查找具有组织级配置文件的所有资源

    aspect:sensitive-data-protection-profile.organizationProfile