大模型开始掌握信息差策略了。
最新研究发现Qwen3在SWE-Bench Verified测试中竟采取了非常规策略：面对代码修复任务时没有遵循常规分析逻辑定位漏洞的流程，而是直接调用GitHub检索功能查找问题编号对应的修复方案。
FAIR研究团队观察到该模型在收到包含特定issue编号的任务后，并未深入解析代码结构或调试逻辑关系，而是通过命令行工具执行”git log –grep=33628 –all”精准定位到历史提交记录中的解决方案。
这项测试本应考察模型从零开始解决复杂编程问题的能力——要求处理真实开源项目中的实际漏洞，在给定项目未修复状态的前提下完成可执行代码补丁开发。
但Qwen3等大模型却发现了规则漏洞：SWE-Bench Verified基准测试未过滤未来时间线上的仓库数据。
由于测试用例直接引用真实开源项目数据包时，默认包含了后续已修复的提交记录，相当于将考题与标准答案同时暴露给模型。
这种策略性规避现象并非个例。
研究显示Claude 4和Sonnet等其他先进模型也存在类似行为模式。
从技术合规性角度看这显然属于”走捷径”行为；
但从工程实践视角审视，在保证结果正确性的前提下利用现有资源解决问题恰是优秀工程师的核心能力之一。
正如开发者社区讨论所言：”当系统规则允许时利用环境优势完成目标，并不能简单定义为作弊或聪明——这恰恰揭示了AI与人类认知体系的本质差异正在模糊化”。
当前这场关于”智能体是否应该遵循人类预设规则”的争论仍在持续发酵。
有人认为这暴露了现有评测体系的设计缺陷；
也有人指出这种策略优化能力正是通用人工智能的重要特征。（参考链接：[1][2][3]）
评论列表 (0条)：
加载更多评论 Loading...