软件学报:jos:7701 · 记录 #1

基于特征压缩与特征融合的高效分裂联邦学习框架

来源日期 2026-08-26

来源记录日期 2026-08-26

雷达观测 2026-11-05 00:17

摘要

为了提高人工智能应用的性能, 大规模模型因其优秀的广义能力而受到越来越多的关注. 然而, 大规模模型的训练和传输会给资源有限的边缘节点带来巨大的计算和通信负担, 并且完整模型的交换可能会侵犯模型的隐私. 为了减轻节点的负担并保护模型的隐私, 集成数据并行和模型并行的分裂联邦学习被提出. 然而, 除了资源有限的挑战, 分裂联邦学习在边缘计算系统中还面临着另外两个关键的挑战, 即统计异构性和系统异构性. 为了解决这些挑战, 结合分裂联邦学习的特性, 提出一种新的基于特征压缩与特征融合的高效分裂联邦学习框架SplitCP. 具体地说, 特征压缩的目的是降低节点的通信资源消耗, 并通过为异构节点分配合适的压缩比以提高训练效率. 而特征融合的目的是将节点的特征融合成一个混合特征序列, 近似等同于独立同分布数据的特征, 克服统计异构性挑战来提高模型的精度. 此外, SplitCP通过分析自适应特征压缩与特征融合的耦合关系, 探索如何联合优化以提升分裂联邦学习的模型训练性能. 在使用80台NVIDIA Jetson边缘设备搭建的物理平台上进行广泛的实验, 实验结果表明, 与基线相比, SplitCP可以将最终模型精度提高6.46%–26.15%, 同时实现训练加速约1.31–3.51倍.