鉴黄师模型评估为何整组划分同源样本

1. 写明评估对象是否为未见原稿，确定同源关系需要追溯到哪一级。
2. 把原稿与派生版本关联到组ID，未知关系先标注待核。
3. 按完整组划分，检查训练组与测试组交集为空，再统计各侧文件数。
4. 同时报告类别分布、未知来源与样本限制，避免把一次示范分区当真实模型成绩。

适用范围与例子性质

本文是鉴黄师与模型评估人员协作的资料组织说明，全部示例为普通海报原稿编号，无露骨素材；未训练模型、未报告真实准确率或行业统一评测要求。

先定义本次想测的“新”是什么

若目标是观察模型遇到全新原稿的判断能力，原稿的缩略、压缩、裁切副本就不能冒充独立的新来源。文件名不同、字节不同，并不意味着内容来源独立。

• 反之，若研究问题确实是“已见原稿的某种变换”，也要明确写出这种限定，不能把结果宣传成对所有未见内容的泛化表现。划分方式应服务问题，不能在看见分数后再改口径。

建立来源组，而不是只去掉一模一样的文件

设四张普通海报原稿A、B、C、D，每张各有三个派生版本，记作A1到A3等，共12份。组ID记录原始材料关系，版本ID记录具体文件；它们承担不同任务。

• 去除完全相同的文件可减少重复，但不会自动识别A1原尺寸与A2裁切版的关系。来源说明不清的材料应先核实或标为待定，不能为凑满样本数把它们强行当作不同组。也不要简单把同一发布者的全部不同作品都当作同一原稿。

一张划分表怎样查出交叉

错误示例把A1放训练、A2放测试：两边文件ID不同，却共享组A。正确示例将A、B、C三组全部9份放训练，把D组3份留给测试；训练组集合与测试组集合的交集为空。

• 这只是一个演示分区，不是建议真实项目永远用三比一，也不证明12份材料足够评估。scikit-learn的GroupShuffleSplit官方文档说明它可按给定组做随机划分，其test_size指组而不是样本条数。组大小不等时，组占比和文件占比尤其不能混说。

整组划分解决了一部分问题，不是质量保证

不同类别、来源环境和困难样本仍可能分布失衡，少数大组也可能占据多数文件。报告应同时给出组数、文件数和类别分布，不能只写“训练75%、测试25%”却省略分母。

• 原稿分组正确后仍要检查标注质量和目标适用范围。模型预处理、调参和最终测试的边界也需要另设流程；本文没有据此承诺消除所有泄漏或得到更高分数。分数降低有时只是检验更接近未见来源，不能先假定是系统退步。

交付给评估人员的最小记录

可交付不含原始敏感材料的清单：版本ID、来源组ID、变换类别、标签依据、所处分区和未知项。访问受限素材仍按项目权限保管，不能为了说明分组复制真实待审图到公开文章。

• 复查时先问“两个分区有没有同一组”，再问“各组是否真的代表独立原稿”。组ID填得形式上不同而来源关系没查清，只是把交叉隐藏在字段里。

相关指南

相关分类

• 质量改进：质量改进的理解与实践

相关知识条目

条目提供概念解释与非露骨例子，可配合本篇方法使用。