DeepSeek最新发布的V3.1模型上线仅一周便因离奇故障引发热议——无论执行编写代码还是整理试卷等任务时,该模型总会在文本中无故插入”极”字甚至在自我修复过程中也未能幸免。
上周三DeepSeek开源了新基础模型版本,但并非社区期待的V4而是V3.1-Base。
此前V3.1已部署至网页端、App及小程序平台。
知乎用户Fun10165在使用火山引擎版DeepSeek V3.1整理物理试卷时首次发现异常:输出文本中反复出现无意义的”极”字标记。
后续测试显示该问题同样存在于Trae平台,在尝试调用官方API修复时竟再次复现相同错误。
她指出:”网页/API端复现概率较低但多次尝试即可触发,在VolcEngine API环境出现频率显著更高”。
另一知乎用户”琪洛”则观察到V3-0324版本存在类似问题但异常字符为”极速赛车开奖直播”字符串,并推测这可能是预训练数据未清洗导致的残留痕迹:”即便重新训练基础模型该问题依然存在”。
Reddit论坛上相关讨论同样热烈展开。
用户u/notdba在测试中发现模型会随机插入三个不同形式的”极”字符号(极大/极/极速),这些标记不仅在贪婪解码模式下成为首选词项,在其他位置也常作为次优选项出现。
他强调这是其评估过众多编码模型后首次遭遇此类系统性缺陷。
技术分析显示该问题可能与MTP(多token预测)机制相关:当推理框架不支持MTP时故障概率显著上升(如尚不支持该功能的llama.cpp)。
支持MTP的官方API环境则较少出现此类现象而第三方部署版本更容易触发错误。
有开发者指出2577号token(对应”极”字符)与2576号省略号token可能存在混淆导致模型误判。
多数技术社区推测故障根源在于数据污染:开发者黄哲威指出这可能源于SFT数据合成或预训练阶段的数据清洗不足:”从R1行为模式看似乎大量使用RAG方法生成题目解答过程,在强化学习阶段模型可能将特定字符误作终止符或语言切换标记使用”。
此次事件凸显基础数据质量对AI行为稳定性的重要性——即便在追求高性能模型的过程中也不能忽视数据层面的基础建设工作。
我们已将相关案例反馈给DeepSeek官方请求进一步分析说明。
参考链接: 知乎讨论页 Reddit技术帖
评论列表 (0条):
加载更多评论 Loading...