英国365上市(集团)有限公司

例如，某医院拟建设肺结节医学影像高质量数据集。经过前期评估，医院既有影像中可能有一部分数据来源清晰、图像质量良好、诊断结论完整，已经基本达到模型训练要求，可以经过必要的合规审查、格式统一和数据集划分后直接纳入；另一部分数据可能缺少规范标注、存在重复影像或者个人信息尚未完成脱敏，需要进一步加工；还有部分数据可能质量较差、权属依据不足或者缺少应用价值，不宜纳入本次建设范围。

因此，项目立项时不宜笼统提出“对现有数据进行全面治理”，而应当首先说明：

· 数据集拟用于训练、微调还是评测哪一类模型；

· 模型准备解决肺结节筛查中的什么具体问题；

· 现有数据中有多少已经达到使用要求，可以直接复用；

· 有多少数据需要清洗、脱敏、标注、复核或者补充；

· 哪些数据不符合纳入条件，以及具体原因；

· 需要补充哪些病例类型、专业标签和边界样本；

· 数据集建成后，模型性能预计在哪些方面得到改善。

对审计而言，重点不仅是判断项目有没有数据基础，还要核实建设单位是否对既有数据进行了真实、充分的质量评估，项目建设范围是否与评估结果相匹配。

如果已有部分数据达到训练要求，却仍被整体纳入清洗、标注等建设任务，可能存在重复加工的问题；反过来，如果项目未经检测便直接认定大量既有数据可以使用，也可能低估数据质量、合规处理和模型适配方面的实际工作。

此外，高质量数据集项目往往还会配套建设数据管理、标注管理、质量检测、版本控制和模型验证等软件功能。审计时宜将软件开发与数据采集、清洗、脱敏、标注等数据加工内容分别梳理，避免建设范围相互交叉，或者将已有平台能力再次纳入开发任务。对于其中的软件建设部分，可以借助“软件造价喵”开展功能点识别和造价复核。平台集成近10年中国软件行业基准数据与全国70余项省市级、行业级信息化造价标准，可自动生成功能点明细清单与评估报告，并通过逐项合规解释辅助核查软件功能范围和测算口径。需要注意的是，数据采购、清洗、标注和专家复核等内容具有不同的成本形成机制，不宜直接按照软件功能点口径进行测算。

因此，这一阶段的核心不是简单判断“数据需不需要治理”，而是厘清：

哪些数据可以直接复用，哪些需要继续加工，哪些应当补充建设，哪些不宜纳入项目。

二、审查数据来源：取得了数据，不等于有权用于训练

高质量数据集可能来源于单位内部业务系统、合作机构、公共数据、外部采购、公开网络以及仿真或合成数据。

不同来源的数据，对应不同的权利基础和使用边界。

仍以医疗影像数据集为例。医院能够在诊疗过程中依法保存患者影像资料，并不当然意味着这些数据可以不经进一步处理，直接交给外部供应商用于模型训练。

审计需要沿着“数据从哪里来、依据什么取得、允许用于什么”进行追踪：

· 是否建立原始数据来源清单；

· 能否对应到具体业务系统、医疗机构和采集时间；

· 是否明确数据的提供主体和使用主体；

· 合作单位提供数据是否有协议和授权依据；

· 是否涉及个人信息、敏感个人信息或者商业秘密；

· 原有授权是否覆盖数据加工、模型训练和成果应用；

· 外部供应商是否可以留存、复制或者用于其他项目。

《生成式人工智能服务管理暂行办法》要求，训练数据应当具有合法来源；涉及知识产权的，不得侵害他人依法享有的知识产权；涉及个人信息的，应当取得个人同意或者符合法律、行政法规规定的其他情形。

具体核查时，可以抽取一批交付样本，反向追溯其来源系统、原始记录、授权文件、脱敏记录和加工过程。

如果最终成果中的一张医学影像，无法对应到合法来源和处理记录，那么即使图像清晰、标签准确，也可能存在合规风险。

这一环节还要警惕一种情况：

数据来源材料写得很完整，但授权范围只允许科研分析，并未明确可以用于商业模型训练、对外服务或者二次开发。

审计不能只看“有没有授权”，还要看授权对象、用途、期限和范围是否与项目实际使用方式一致。

三、审查建设过程：最终文件背后，工作是否真实发生？

高质量数据集通常需要经过采集、清洗、去重、转换、脱敏、标注、增强、合成、质检和模型验证等一系列处理。

但如果审计只看到最终交付的数据文件，就很难判断这些工作是否真实、完整地发生过。

例如，项目约定对十万张医学影像进行肺结节位置和性质标注，供应商也确实交付了十万张带有标签的影像。

审计仍然需要继续核实：

· 原始影像和交付影像能否“一一对应”；

· 是否存在同一患者、同一影像重复计入；

· 标注规则是否经过建设单位和医学专家确认；

· 谁完成了初标，谁负责复核；

· 专家身份和参与记录是否真实；

· 标注修改、退回和重新提交是否留痕；

· 模型预标注后，人工是否进行了实质校准；

· 清洗、去重和脱敏前后的数据变化是否能够解释；

· 不同版本的数据集是否有明确编号和变更记录。

《生成式人工智能服务管理暂行办法》要求制定清晰、具体、可操作的标注规则，开展标注质量评估，抽样核验标注内容的准确性，并对标注人员进行必要培训。

在审计方法上，可以将原始数据清单、标注平台日志、账号记录、成果目录和质检记录进行关联分析。

例如：

某标注人员在一天内完成的专业影像标注数量明显超出合理能力，可能需要核实是否由模型自动生成后直接提交；大量样本在极短时间内集中完成复核，可能说明复核流于形式；不同影像出现完全相同的标注坐标和说明文字，则可能存在批量复制。

还可以从最终成果中随机抽样，交由独立专家重新判断，并将复核结果与原标签进行比对。

高质量数据集项目的过程审计，最终要解决的不是“供应商提交了哪些过程材料”，而是：

这些材料能否共同证明，合同约定的加工、标注和复核工作真实发生，并形成了可追溯的成果。

四、核心问题：“高质量”究竟如何证明？

这是高质量数据集项目区别于普通数据整理项目的关键。

数据条数达到合同要求、文件格式能够正常读取，只能证明成果在形式上完成，并不能证明其“高质量”。

国家数据局指导编制的《高质量数据集建设指引》提出，可以从静态质量和动态质量两个层面评价数据集。静态质量关注准确性、完整性、一致性、时效性、多样性、真实性和合规性等数据自身属性；动态质量则关注数据集对模型表现的实际提升作用。

从审计角度看，“高质量”至少需要三类证据共同支撑。

第一类：数据本身的质量证据

仍以肺结节影像数据集为例，审计不仅要看有没有影像，还要看样本能否代表真实应用环境：

· 是否覆盖不同年龄、性别和疾病阶段；

· 是否覆盖不同医院、设备和成像条件；

· 是否包含足够的阳性、阴性和疑难样本；

· 是否纳入小结节、遮挡结节等边界场景；

· 是否存在大量重复或近似影像；

· 标签是否与病理结果或专业诊断相互印证。

如果数据集中绝大多数都是图像清晰、病灶典型的样本，模型在测试环境中可能表现较好，但进入真实临床场景后，未必能够识别复杂病例。

因此，审计不能只查看总体合格率，还应关注数据分布、样本代表性和关键场景覆盖情况。

第二类：加工过程的可追溯证据

高质量不能只由最终结果声明，还应由完整的生产过程证明。

项目应能够保留：

· 原始数据版本；

· 清洗和去重规则；

· 脱敏方式及验证记录；

· 标注规范；

· 初标、复核和修改记录；

· 质量抽检报告；

· 问题样本及整改记录；

· 数据集版本变更说明。

如果最终数据集出现问题，项目单位应当能够追溯到具体样本、处理环节和责任主体。

如果项目只能提供一份汇总质量报告，却无法定位报告中的抽检样本，也无法还原标注修改过程，那么相关结论的可靠性就需要进一步核实。

第三类：模型应用的效果证据

高质量数据集最终要服务于模型开发和实际应用。

因此，审计还应比较数据集使用前后的模型表现：

· 是否使用相同的基准模型和测试环境；

· 训练前后的模型参数设置是否具有可比性；

· 测试集是否独立于训练集；

· 是否存在同一患者数据同时进入训练集和测试集；

· 模型性能改善是否覆盖关键业务场景；

· 指标提升是否可能由模型更换或算法调整造成；

· 除总体准确率外，是否测试误报、漏报和边界案例。

如果训练集和测试集中存在大量相同或高度相似的数据，模型测试结果可能虚高。

在医学影像场景中，即使使用的是患者不同时间拍摄的影像，只要来源于同一患者，也可能使模型提前“见过”相似特征。因此，训练集、验证集和测试集的划分，不宜只按照文件随机分配，还要关注患者、机构和时间等维度的隔离。

国家数据局在《关于推进行业高质量数据集建设行动的实施方案》（国数科基〔2026〕25 号）提出，持续完善“数据质量验证+模型应用反馈”的测评方法，旨在破解传统数据质量评价局限于静态指标考核的痛点，兼顾数据固有质量与实际业务、模型应用价值。

由此可见，一份真正有说服力的验收结论，应当形成完整证据链：

数据本身可靠，建设过程可追溯，模型应用能够验证。

五、审查项目成效：验收通过后，数据集有没有真正使用？

高质量数据集不是交付后长期不变的静态文件。

模型投入实际应用后，可能不断出现新的错误样本、疑难场景和业务变化，原有数据集也需要持续补充和修正。

国家数据局提出形成“场景牵引数据、数据驱动模型、模型赋能应用、应用创造价值”的数据飞轮，并通过模型应用反馈持续推动数据集迭代。

因此，审计不能以项目验收作为终点，还应关注：

· 数据集是否实际用于约定模型的训练、微调或评测；

· 相关模型是否真正投入业务运行；

· 数据集建成后使用过多少次；

· 应用过程中发现的错误样本是否反馈整改；

· 是否明确后续更新频率和责任部门；

· 新增数据是否继续履行授权、脱敏、标注和质检程序；

· 不同版本的数据集是否能够区分和回溯；

· 项目是否形成持续运营机制。

例如，某肺结节数据集已经验收，但后续模型项目因技术路线调整未再使用该数据集；或者模型虽然上线，却没有建立错误病例反馈机制，数据集自验收后多年没有更新。

这类情况下，项目可能完成了数据成果交付，但仍需要进一步评价其建设目标和预期效益是否实现。

还要注意，高质量数据集的价值并不一定表现为数据被频繁下载或者交易。对于医疗、公共安全等专业领域，更重要的是数据集是否真正改善模型准确性、降低业务风险，并支撑相关应用持续运行。

六、审计工作如何形成闭环？

综合来看，高质量数据集建设项目可以沿着五条主线开展审计。

第一，沿着立项和需求材料，判断项目是否围绕真实、明确的人工智能应用场景建设。

第二，沿着数据来源和授权链条，判断相关数据是否能够依法、合规地用于加工和模型训练。

第三，沿着原始数据、平台日志、标注记录和成果版本，核实建设过程是否真实、完整、可追溯。

第四，结合数据抽检、独立复核和模型测试，判断所谓“高质量”是否具有充分证据。

第五，从验收后的模型运行、错误反馈和数据更新情况，评价项目成果是否真正投入使用并持续发挥价值。

七、结语

高质量数据集项目交付的表面成果是一批数据，背后却涉及业务场景、数据权利、行业知识、加工规则、质量标准和模型应用效果。

因此，这类项目的审计不能只回答：

交付了多少条数据？

还要继续追问：

为什么建设？数据从哪里来？加工过程是否真实？质量如何证明？最终有没有投入使用？

概括而言：

以场景必要性判断项目该不该建，以数据合规性判断相关数据能不能用，以过程可追溯性判断建设工作是否真实，以数据质量和模型效果判断成果是否有效，以持续更新和实际应用判断项目是否真正发挥价值。

只有形成这条完整审计链条，才能避免高质量数据集建设停留在“数据数量达标、报告形式完整”的层面，推动项目成果真正转化为人工智能应用能够持续使用的数据基础。