论文库

现有的基于毫米波雷达点云的行人重识别技术, 因输入信号固有的稀疏性和信息量的物理限制, 其性能提升受到了极大限制. 为打破这一性能瓶颈, 提出一种新的“模型增强”训练范式: 利用信息更丰富的视频模态作为离线外部知识源, 通过知识蒸馏来提升毫米波雷达行人重识别的精度. 具体地, 设计对称时序建模架构以对齐师生模型的“认知范式”, 并在此基础上提出双重知识引导机制. 一方面, 基于“不同模态下, 人体步态的运动学特征在时序演变上具有一致性”这一关键洞察, 引入时序注意力蒸馏, 显式地指导雷达模型聚焦于步态关键帧. 另一方面, 通过对齐高层决策逻辑传递类别判别信息. 此外, 引入基于实例难度的自适应学习策略, 实现对困难样本的重点辅导. 在自建数据集上的实验结果表明, 所提方法能显著提升雷达模型的识别性能. 相较于最先进的单模态毫米波雷达模型, 在mAP (mean average precision)指标上取得了3.8%的提升.

多模态推荐通过联合建模用户历史行为与物品的图像、文本等内容信息, 能够在协同信号之外提供更丰富的语义线索, 从而提升推荐系统对用户偏好的刻画能力. 尽管现有工作已在多兴趣建模、结构学习和跨模态对齐等方面取得了一定进展, 但仍面临若干挑战: 一方面, 部分方法倾向于将用户行为信号与多模态内容压缩到共享表示空间, 导致不同模态下偏好表达的差异性刻画不足; 另一方面, 静态用户-物品交互图在稀疏或噪声较强的场景下容易引入无关邻居传播, 限制表示质量; 此外, 现有对比学习目标多聚焦于同一实体的跨视图一致性或模态内部约束, 对真实用户-物品交互关系的显式利用仍不充分. 针对上述问题, 提出一种融合动态图注意力与多视角对齐的多模态推荐方法DAMARec. 该方法在用户侧采用文本-视觉双通道表示, 以增强差异化兴趣建模; 在结构建模阶段, 引入动态图注意力机制对用户-物品交互关系进行自适应加权, 以突出关键信息传播并抑制噪声干扰; 在此基础上, 从用户侧与物品侧共同构建交互驱动的多视角跨模态对齐目标, 实现协同信号与多模态语义的一致约束. 在3个公开数据集上的实验结果表明, DAMARec在Recall@10和NDCG@10指标上平均提升6.31%和8.18%, 显著优于代表性基线方法, 验证了其在提升表示鲁棒性、增强跨模态语义一致性以及缓解稀疏场景噪声传播方面的有效性.

认知诊断旨在通过建模学生作答行为推断其知识点掌握情况, 对提升个性化教育和学习干预具有重要意义. 现有方法主要依赖统计模型或深度序列模型刻画学生知识掌握变化, 但通常忽视了作答过程中的非认知因素对学习状态的影响, 以及对作答结果的作用. 为解决上述问题, 提出基于学习状态和认知水平融合的双路径认知诊断模型. 在该模型中, 状态路径通过学生非认知行为特征推断学习状态, 并引入监督式对比学习增强状态表征的判别性; 认知路径结合因果分析刻画知识掌握水平与作答结果之间的因果关系; 两条路径通过门控式融合机制实现互补与动态调节, 从而全面反映学生的真实掌握水平. 为了验证所提模型的有效性, 在3个真实教育数据集上进行实验, 结果表明该模型在各类关键指标上均优于9种基线模型, 同时消融实验验证了双路径设计和门控融合在提升认知诊断性能与可解释性方面的有效性.

反事实陈述通过假设性和否定性的可能情境传达情绪, 为隐式情绪分析(implicit emotion analysis, IEA)带来独特且复杂的挑战. 当前研究面临3大主要障碍: 缺乏高质量的反事实隐式情绪分析(counterfactual IEA, CIEA)多模态语料库、对未发生场景的语义建模存在困难、解构反事实关联隐喻信息的复杂性. 针对上述不足, 提出CIEA这一新任务, 并构建一个基于多智能体协作推理的多模态语义对齐框架(multimodal semantic alignment framework with multi-agent collaborative reasoning, MOSAMAC). 该框架首先利用大语言模型(large language model, LLM)和多模态大语言模型(multimodal LLM, MLLM)生成视觉场景, 以解构文本中隐含的隐喻信息. 随后, 采用一种词元-图块级的融合方法, 将视觉语义与文本表示进行跨模态细粒度对齐. 此外, 通过设计多智能体协作机制对假设条件进行语义层面的推理, 并将其与多模态特征融合以实现最终的情绪预测. 构建两个新的CIEA数据集, 涵盖中英文并配套了多模态语义资源. 通过与多个具有竞争力的基线模型进行对比实验验证所提方法的有效性.

具有强大理解、生成能力的云端大语言模型(cloud large language model, CLLM)已经成为人们日常工作中不可缺少的工具. 然而, CLLM的运行方式意味着用户需要上传原始数据, 这将使得用户的数据隐私安全难以得到有效保障. 现有数据加密方法往往通过添加噪声来改变原始数据形式, 这极易导致数据效用下降, 并影响任务效果. 不同于对原始数据的全盘保护, 将用户数据分为可被识别并用于对齐归属个体的隐私关键信息, 以及不涉及归属问题的普通信息, 并提出保护隐私关键信息, 传递普通信息, 从而在保护数据隐私安全的同时, 维持数据效用. 具体而言, 提出基于语义迁移的用户隐私保护(semantic transfer for privacy protection, STPP)方法. STPP首先基于LLM广泛的先验知识构建语义映射库与语义映射模型, 并通过语义加密将原始信息迁移到具有相似逻辑的新场景. 在获得CLLM反馈后, STPP又通过语义解密将反馈信息还原回原始场景, 从而保护用户数据隐私安全的同时, 降低所提方法对用户使用CLLM体验的影响.

提交信息生成(commit message generation, CMG)是软件演化与维护领域的重要任务, 其目标是依据给定的代码差异自动生成提交信息. 目前CMG方法普遍基于Git原生差异格式GitDiff构造输入, 该格式通过固定大小的上下文窗口展示变更行附近的代码片段. 然而, 代码差异的表示方式并非唯一, 通过扩大上下文范围可以构造信息更完整的代码差异表示. 具体地, 构建两种不同上下文范围的差异表示形式, 并围绕差异表示形式对CMG质量的影响开展实证研究. 实验使用现有CMG研究常用的MCMD数据集, 选取6种代表性CMG方法, 使用多种度量来分析3种代码差异表示对于CMG方法的效果影响. 实验结果表明, 尽管 GitDiff 在整体平均指标上略占优势, 但其样本胜率(41.5%)并未构成压倒性领先, 表明不同差异表示在不同代码语境下存在明显性能差异. 此外, 差异表示的选择会影响CMG模型性能比较结论, 在25%–50%的样本中, 基于GitDiff得到的模型优劣排序在切换至其他表示后会发生变化, 说明仅依赖单一代码差异表示所得模型性能结论可能存在偏差. 进一步研究发现, 当变更行依赖的关键语义单元超出GitDiff固定上下文窗口的覆盖范围时, 补全这些缺少的关键语义单元可以在一定程度上提升提交信息生成质量. 对此类场景进行系统归纳, 可为实践中代码差异表示的选择提供参考.

开源软件社区通常采用“good first issue (GFI)”机制, 为新手提供精心筛选的入门任务, 以促进其参与与融入. 理解尝试解决GFI的新手如何逐步成长为核心贡献者, 对于社区的可持续发展至关重要, 这也是GFI机制的核心目标. 以87个开源软件项目中45 342名以GFI作为初始任务的新手为研究对象, 开展一项纵向实证分析. 研究结果表明, 仅有2.3%的新手最终成功转变为核心贡献者, 其在转变过程中累计代码提交次数的中位数为19次, 转变周期中位数为12个月. 进一步分析表明, 新手在贡献行为上呈现出明显的分层特征: 首先, 大量未成功转变的新手在直接性贡献维度上长期处于不活跃状态, 尤其体现在代码提交和问题报告相关活动上; 其次, 在已表现出一定活跃度的新手中, 成功转变者表现出显著更高的参与水平——其提交次数约为其他新手的15倍, 评论数量约为8倍, 协作者数量为3倍, 整体活跃度比例高出28倍. 此外, 成功转变的新手在贡献行为上呈现出更高的波动性与复杂性, 其参与程度随时间逐步提升, 并在较晚阶段达到活跃峰值, 体现出渐进式学习与逐步融入的过程. 相比之下, 未实现转变的新手则表现为长期不活跃, 或仅在早期出现短暂且难以持续的活跃峰值. 在转变速度方面, 研究发现, 更高的沟通波动性、更长的持续活跃周期以及更具选择性的参与节奏与更快的转变相关; 而较高的问题报告活动或长期低活跃状态则与较慢的转变相关. 在项目层面, 控制变量分析结果表明, 项目受欢迎程度越高, 新手转变速度越快; 而历史提交规模越大, 则转变速度相对较慢. 研究为理解开源社区中新手成长路径提供了系统性的实证证据, 并为设计更有效的新手引导与培养策略提供了可操作的参考依据.

深度神经网络(deep neural network, DNN)测试需要大量的测试数据来保证其质量, 但大多数测试输入缺乏标注信息, 且对其进行标注会带来高昂的人工代价. 现有研究提出测试输入优先级方法, 筛选高优先级的测试输入进行标注以降低人工标注成本. 然而, 它们均仅从单一不确定性视角或模型静态行为上考虑测试输入. 一方面, 局限于固定的单一不确定性度量, 会片面刻画测试输入的错误失效风险, 从而降低排序的准确性. 另一方面, 对模型内部结构微小扰动的刻画不充分, 难以揭示其对决策边界动态变化的影响, 易忽视模型的深层脆弱性, 从而降低早期故障检测效率. 基于此, 提出一种融合双视角不确定性度量与双代理模型池的DNN测试输入优先级排序新方法. 该方法以预测测试输入误分类概率, 并构建输入侧与模型侧的风险协同排序机制为核心目标. 首先, 在输入侧, 为突破单一不确定性指标与静态评估的局限, 利用测试时增强(test-time augmentation, TTA)实施动态鲁棒性评估, 并设计双视角不确定性指标, 以识别测试输入在不同扰动下的潜在失效风险, 提高排序整体性能; 其次, 在模型侧, 构建结合深度集成与模型变异微调的双代理模型池, 量化多模型间的预测分歧, 并设计模型内部结构的动态扰动机制, 暴露模型的深层脆弱性, 以提升早期故障检测效率. 最后, 将输入侧潜在失效风险特征与模型侧决策边界脆弱性特征统一表示为误分类特征, 据此特征, 利用轻量级元模型预测测试输入的错误概率并进行排序, 以降低人工标注成本. 通过与9个已有方法在5个实验对象上的对比发现, 所提方法是可行高效的, 在APFD与RAUC-100指标上分别平均提升约11.92%、28.85%.