软件学报:jos:7720 · 记录 #1

预测不确定性感知的测试集选择方法

来源日期 2026-09-23

来源记录日期 2026-09-23

雷达观测 2026-11-01 16:34

摘要

随着深度学习模型在嵌入式与边缘设备中的广泛应用, 传统依赖完整测试集的模型评估方法因其高昂的计算开销与资源消耗, 难以满足低延迟且高效率的部署需求. 现有数据集选择方法往往难以兼顾评估精度与高压缩比, 导致性能估计偏差显著. 为此, 提出一种预测不确定性感知的测试集选择(prediction-uncertainty-aware test set selection, PUA-TSS)方法, 旨在通过构建高信息量的代理测试集, 实现对模型性能的高效准确评估. 该方法首先利用模型预测输出的信息熵量化样本不确定性, 对测试样本进行任务驱动排序; 在此基础上, 采用等间隔均匀采样策略, 保留关键分布特征, 尤其缓解长尾场景下稀有类别的丢失问题, 从而在低采样率下维持评估的敏感性与一致性. 在图像分类和目标检测以及分割等多个任务上的基准数据集及多种模型架构上的实验表明, 所提方法在仅保留5%测试样本的情况下, 代理集评估结果与完整测试集评估的平均绝对偏差分别控制在0.71个百分点 (分类)、2.90个百分点 (检测)以及0.40个百分点 (分割)以内, 显著优于随机采样与现有数据集压缩方法. 进一步地, 在评估不同位宽的量化模型时, 性能评估误差稳定控制在5个百分点以内, 且无需为各模型变体重复构建代理集或执行完整评估. 实验结果验证了PUA-TSS方法在大幅降低模型评估计算成本的同时, 具备高精度与强鲁棒性以及良好泛化能力, 为资源受限环境下的模型评估提供了一种有效解决方案.