响应长度不仅锐减至30 tokens以下，一些意义不大的语句或文字符号，却从LLM处骗得了假阳性奖励，也就是打开LLM后门的一把“万能钥匙”。 同时为了进一步研究这种“奖励模型欺骗”现象是否存在普遍性，研究人员在多数据集、提示词格式上对各种LLM均进行了系统性评估。 0.5B模型：依赖字面匹配，FPR低但与GPT-4o一致性差；1.5B-3B模型：能检测语义相似性但缺乏精细验证，FPR骤升；7B-14B模型：平衡验证能力与谨慎性，FPR最低且一致性高；32B-72B模型：因为更倾向于自己解题而非对比响应与参考答案，FPR再次上升。 只需要基于all-MiniLM-L6-v2编码器进行嵌入相似度搜索，从大规模语料中自动生成与已知 “万能钥匙” 相似的新对抗性响应，新的“万能钥匙”就能同样产生出高水平FPR。 实验最终说明生成式奖励模型其实存在一个相当关键的核心机制漏洞：原本用于过滤无效或错误答案的验证器，容易被无关紧要的表面内容操纵，从而产生假阳性结果。 首先从原始的16万条训练数据中随机采样2万条，用GPT-4o-mini生成带推理开头语句的响应，但仅保留无实质内容的第一句话，并标记为“错误”。 将Master-RM放入相同条件下实验再次验证，发现此时在跨数据集测试中，模型对所有 “万能钥匙” 的假阳性率接近0%（甚至完全为零），且鲁棒性可泛化到未见过的数据集和欺骗攻击中。 作者本人也现身评论区，他认为，生成式奖励模型容易受到虚假奖励攻击，如何更好地避免类似情况发生，将是未来的研究方向。 他在深度学习的自动语音识别和处理领域深耕多年，共发表两本专著和400多篇论文，并获得4年的IEEE信号处理学会最佳论文奖、2021年NAACL最佳长论文奖等。 研究方向主要是通过数据驱动的方法探索现代强化学习和扩散模型，另外他的一篇有关让扩散模型在生成蛋白质和DNA序列表现更优的论文，最近刚刚被ICML 2025录用。 之前在上海科技大学就读本科，先学习了1.5年化学，后才转为计算机科学，主要研究以强化学习为中心，致力于推进RL在LLM后训练中的应用。 Dian Yu目前是腾讯AI Lab的一名NLP研究员，曾在伦斯勒理工学院取得博士学位，目前研究方向包含自然语言处理、信息抽取、机器阅读理解和对话理解。 另外，作者里还有普林斯顿大学电子工程专业的贡三元教授，其研究领域包括机器学习、系统建模与识别、人工神经网络等，发表过400余篇论文及专著。 因其对VLSI信号处理和神经网络的贡献，被表彰为IEEE终生会士，还获得过IEEE信号处理学会最佳论文奖、IEEE信号处理学会技术成就奖等。
