支持的文件类型和扫描模式

文件类型

下表显示了 Sensitive Data Protection 支持的文件类型、相应的扫描限制、扫描模式和转换支持。

Sensitive Data Protection 依靠文件扩展名和媒体 (MIME) 类型来确定要扫描的文件类型以及要应用的扫描模式。例如,即使 .txt 文件采用 CSV 文件结构,敏感数据保护也会以纯文本模式扫描该文件,而 CSV 文件通常以结构化解析模式进行扫描。

文件类型 文件扩展名 限制 扫描模式 转换支持
Apache Avro

avro

Avro 限制 结构化解析
Comma- or tab-separated values

csv、tsv

结构化解析 对内容进行去标识化处理
PDF

pdf

PDF 限制 智能文档解析
Text

asc、brf、c、cc、cpp、cxx、c++、cs、css、dart、eml、go、h、hh、hpp、hxx、h++、hs、html、htm、shtml、shtm、xhtml、lhs、ini、java、js、json、jsonl、ocaml、md、mkd、markdown、m、ml、mli、pl、pm、php、phtml、pht、py、pyw、rb、rbw、rs、rc、scala、sh、sql、tex、txt、text、vcard、vcs、wml、xml、xsl、xsd、yml、yaml。

纯文本 对内容进行去标识化处理
Microsoft Word

docx、dotx、docm、dotm

Word 限制 智能文档解析
Microsoft Excel

xlsx、xlsm、xltx、xltm

Excel 限制 智能文档解析
Microsoft Powerpoint

pptx、pptm、potx、potm

PowerPoint 限制 智能文档解析
Image

bmp、gif、jpg、jpeg、jpe、png

OCR 隐去
Binary

无法识别的文件类型以及无法使用光学字符识别 (OCR) 扫描的图片。

二进制

文件集群

下表显示了 Sensitive Data Protection 在创建敏感数据分析文件时支持的文件组。文件存储区数据分析会针对每组类似文件提供敏感度和数据风险得分。

随着敏感数据保护功能支持更多文件类型,文件可能会在文件集群之间移动。随着扫描支持范围的扩大,发现服务可能会开始扫描之前未扫描过的文件。您需要按照发现功能价格付费。

文件类型 文件扩展名 限制 扫描模式
Text

asc、eml、html、htm、ini、json、jsonL、log、md、mkd、markdown、plist、sql、shtml、shtm、tex、txt、text、vcard、vcs、xsl、xsd

纯文本
Source Code

bat、brf、c、cc、cpp、cxx、c++、cs、css、dart、go、h、hh、hpp、hxx、hs、lhs、java、js、ocaml、m、ml、pl、php、phtml、phtm、ps1、py、pyw、rb、rbw、rs、rc、scala、sh、sql、wml、xml、yml、yaml、bat、vb、scpt、scr、script、cmd、vbs

纯文本
Structured Data

avro、csv、tsv、proto

针对 avro、csv 和 tsv 文件的结构化解析。针对 proto 文件的纯文本解析
Rich Documents

doc、docx、dotx、docm、dotm、xls、xlsx、xlsm、xltx、xltm、xls、ppt、pptx、pptm、potx、potm、pdf

系统会扫描小于 30 MiB 的受支持 PDF、Microsoft Word、Excel 和 PowerPoint 文件。 智能文档解析
Images

bmp、gif、heic、ico、jpg、jpeg、jpe、png、pm、svg、tiff、webp

支持图片的区域中,小于 4 MiB 的受支持图片(bmp、gif、jpg、jpeg、jpe、png)使用 OCR 进行扫描。 在这些区域之外,系统不会扫描图片。 OCR
Executables

ac、air、app、appimage、apk、bas、bms、bin、class、cls、com、command、ctl、ctx、dca、ddf、dep、dob、dox、dll、dsr、dsx、dws、exe、frm、frx、gadget、ipa、mpk、oca、ocx、pag、pgx、pif、pyc、res、run、scb、tlb、vbd、vbg、vbl、vbp、vbr、vbw、vbz、vlx、wct、wsf、widget、workflow、x86、x86_64、xap、xbe、xlm

目前未扫描
Archives

zz、zpaq、zoo、zip、zipx、yz1、xp3、xar、wim、war、uha、uca、uc、uc0、uc2、ucn、ur2、ue2、tar、gz、tgz、sqx、sitx、sit、shk、sfx、sen、sea、sda、s7z、rk、rar、qda、pit、pim、phar、pea、paq6、paq7、paq8 及变体、pak、lzx、lzh、lha、kgb、jar、ice、hki、ha、genozip、gca、ear、dmg、dgc、dd、dar、cpt、cfs、car、cab、bh、ba、b6z、b1、arj、arc、cdx、arc、ark、apk、alz、afa、ace、7z、a、ar、cpio、shar、run、tar、tar、7z、ace、afa、arc、arj、b1、cab、cfs、cpt、dar、dgc、arc、lzh、lha、lzx、iso、img、ima、arc、mou、dmg、partimg、paq#*、lpaq#*、pea、pim、qda、rar、rk、shk、sit、sitx、uc、uc0、uc2、ucn、ur2、ue2、wim、swm、esd、zip、zpaq

目前未扫描
Multimedia

aa、aac、aax、act、aiff、alac、amr、ape、au、awb、dss、dvf、flac、gsm、iklax、ivs、m4a、m4b、m4p、mmf、movpkg、mp3、mpc、msv、nmf、ogg、oga、mogg、opus、ra、rm、raw、rf64、sln、tta、voc、vox、wav、wma、wv、webm、8svx、cda、webm、mkv、flv、flv、vob、ogv、ogg、drc、gif、gifv、mng、avi、MTS、M2TS、TS、mov、qt、wmv、yuv、rm、rmvb、viv、asf、amv、mp4、m4p(含 DRM)、m4v、mpg、mp2、mpeg、mpe、mpv、mpg、mpeg、m2v、m4v、svi、3gp、3g2、mxf、roq、nsv、flv、f4v、f4p、f4a、f4b

目前未扫描
AI Models

caffemodel、ckpt、coreml、dlc、ggjt、ggmf、ggml、gguf、h5、keras、llamafile、mar、mleap、nc、npy、npz、onnx、pb、pkl、prompt、pt、pt2、pte、pth、ptl、safetensors、surml、tflite、tfrecords

目前未扫描
Unknown 不属于任何其他聚类的任何其他文件。 这些文件缺少扩展名或使用常见但非标准的扩展名,例如 .dat 或 .1 或 .2 目前未扫描

Cloud Storage 中无法识别的文件类型

如果在存储扫描期间无法识别某个文件,则默认情况下,系统会将其扫描为二进制文件。它会尝试将内容转换为 UTF_8,然后将其扫描为纯文本。

如果在发现扫描期间无法识别某个文件,则系统不会扫描该文件。

如果您有一组文件因 Sensitive Data Protection 无法识别而要跳过,则可以使用 CloudStorageOptions.file_set.regex_file_set.exclude_regex 指定排除列表。

每个文件扫描的字节数上限

一般来说,您可以限制每个文件扫描的字节数。在Google Cloud 控制台中,您可以通过启用抽样来执行此操作。在 Cloud Data Loss Prevention API 中,您可以设置 bytes_limit_per_filebytesLimitPerFilePercent 字段。

在 OCR 和智能解析模式下,不支持抽样。也就是说,当以 OCR 或智能文档解析模式扫描以下文件类型时,Sensitive Data Protection 会忽略您为限制每个文件的扫描字节数而应用的任何设置。

  • 映像
  • Microsoft Excel
  • Microsoft PowerPoint
  • Microsoft Word
  • PDF

如果您以二进制模式扫描这些文件,则适用这些限制。

扫描模式

每种扫描模式都会在检查发现结果中提供其他位置详细信息

扫描模式 备注 要提供的其他位置详细信息
二进制

如果文件无法解析为任何其他类型,系统会将其转换为 UTF_8 并扫描为文本。二进制扫描会影响检测质量。

智能文档解析

通过从格式中提取的文本来解析文档。系统会在支持图片的区域中使用 OCR 扫描嵌入的图片。在这些区域之外,图片将作为二进制文件进行扫描。

DocumentLocation
元数据提取

除了文件的内容外,从 Cloud Storage 扫描的所有文件都将进行 metadata 扫描。

MetadataLocation
光学字符识别 (OCR)

使用 OCR 在支持图片的区域中扫描图片。在这些区域之外,图片将作为二进制文件进行扫描。

ImageLocation
纯文本

无其他详细信息
结构化解析

结构信息用于影响结果。在此扫描模式下,Sensitive Data Protection 使用标题信息来了解上下文。它会执行跨行和跨列分析以查找关联数据。例如,此扫描模式可以确定组成部分分散在一行中多个列内的街道地址。

扫描结果包含结构信息,例如包含发现结果的行和列的名称。

发现结果不会超出表格的单元格边界。

RecordLocation

在结构化解析模式下扫描结构化文件

当您扫描结构化文件(例如 Avro、CSV 或 TSV 文件)时,敏感数据保护会尝试以结构化解析扫描模式扫描该文件。与二元扫描相比,此扫描模式具有更高的检测质量,因为结构化解析模式会搜索结构化数据中行与列之间的相关性。返回的检测结果会附带额外的元数据,用于指明检测结果的位置,包括 fieldId

不过,在以下情况下,敏感数据保护可能会恢复为二进制扫描模式,该模式不包含结构化解析模式的增强功能:

  • 文件或标头已损坏。
  • 检查作业配置的大小限制(例如 bytesLimitPerFilebytesLimitPerFilePercent)太小。例如,如果 bytesLimitPerFile 限制不足以包含完整的块标头和至少一行有效数据,则 Sensitive Data Protection 可能会以二进制扫描模式扫描该文件。

扫描的数据选择取决于抽样是设置为从文件顶部开始还是从随机位置开始。

例如,假设您有一个 Avro 文件,其中包含 50 KB 的块标头和 2 MB 的数据块。一般来说,从顶部开始采样有助于确保 Sensitive Data Protection 始终将块头包含在所采集的样本中。如果您从文件中的随机位置开始抽样,并且样本大小小于数据块,则样本中可能不包含块头。在此示例中,将样本大小(由 bytesLimitPerFilebytesLimitPerFilePercent 指定)增加到 2.05 MB 有助于防止检查恢复为二进制解析模式。

示例:如果样本大小过小,检查可能不包含块头。
示例:如果样本大小过小,检查可能不包含块头(点击可放大)。