ARTICLE / DEEP READING

资讯动态

关注比赛现场,也关注数据、策略和行业变化背后的长期价值。

字节找到了DeepSeek时强时弱的原因文章视觉图片
READ
IN DEPTH

FEATURED ARTICLE

字节找到了DeepSeek时强时弱的原因

本篇体育资讯由8868体育整理:

闻乐 发自 凹非寺 量子位 | 公众号 QbitAI DeepSeek的神鬼二象性被字节Seed团队逮到了。

about image

同一道题,什么都没改,只在前面多塞几个无关紧要的字符,模型突然就不会了?

?

?

而且还不是偶尔抽风。

Seed研究人员发现,DeepSeek-V4的表现竟然会随着信息的输入位置, 每隔4个Token周期性变化 啥意思?

模型记不记得住一件事,居然还要看这件事在输入里站哪儿?

?

前面多两个Token,答案可能从错变对,再多两个,又给你改回去。

好好好,模型答题也开始讲究站位了。

在128K长上下文检索测试中,研究人员发现,同一条信息只是换了个位置,DeepSeek-V4系列模型的检索准确率 最高就能拉开40.

2个百分点 团队进一步发现,这个问题与DeepSeek-V4采用的一项长上下文优化技术有关—— 分 KV Cache压缩 这项技术本来是为了让模型处理长文本更省内存、更高效。

结果压缩之后,倒让模型时神时鬼了(doge)。

多两个Token,DeepSeek突然就答对了 字节Seed研究人员最开始是拿DeepSeek自己的代码做了个实验。

测试对象是 DeepSeek-V4-Flash-Base 他们从DeepSeek-V4的官方推理代码中截取了一段FP8量化函数,让模型补全最后一个Token。

任务的正确答案应该是8,因为这段代码需要完成FP8相关的类型转换。

但模型有时偏偏觉得应该补成32。

为了搞清到底咋回事,研究人员在代码前面加了一段纯装饰性的文档字符串,里面放着一些重复的等号。

然后,他们开始调整等号的数量。

代码本身没改、要补全的位置没改、正确答案当然也没改……唯一的变化,就是前面多了这几个没什么实际意义的Token。

结果,DeepSeek的答案开始反复横跳。

当填充长度落在某些位置时,模型更倾向于回答错误的32。

往前挪一两个Token,又开始倾向于正确的8。

再继续挪,错误答案又回来了—— 整个过程以4个Token为周期重复 更具体地说,在论文测试的16种填充长度中,当长度模4的余数为0或1时,模型倾向于错误答案32;

余数为2或3时,则倾向于正确答案8。

研究人员还统计了模型给两个候选答案分配的概率。

在一组位置上,错误答案32的平均概率达到71.

3%,正确答案8只有26.

4%。

换到另一组位置,情况直接反过来: 正确答案8的平均概率升到91.

5%,错误答案32只剩7.

2%。

也就是说,前面几个无关字符的长度变化,足以让模型对同一道题产生截然不同的判断。

这就有点难评了。

程序员调试代码,通常先检查逻辑、变量和依赖。

现在看来,可能还得顺手检查一下,前面是不是多打了两个等号。

不过单个代码补全案例,还不足以说明问题有多普遍。

于是Seed团队继续扩大测试。

他们把目光转向大模型长上下文能力里很经典的一项任务, 大海捞针 研究人员构造了一段长达128K Token的上下文,里面包含约 1.

6万个键值对 比如K1对应V1,K2对应V2…… 然后让模型从中找出指定Key对应的Value。

测试过程中,键值关系不变,问题不变,上下文总长度也保持一致。

研究人员重点调整 目标信息相对于压缩窗口边界的位置 结果发现,DeepSeek-V4系列的准确率曲线,竟然呈现出非常明显的周期性起伏。

其中DeepSeek-V4-Flash-Base在不同位置之间的最大准确率差距达到40.

2个百分点 DeepSeek-V4-Pro-Base也达到34.

8个百分点。

经过 后训练 之后,情况有所改善。

DeepSeek-V4-Flash-0731的差距缩小到19.

1个百分点,DeepSeek-V4-Pro-0813缩小到14.

8个百分点。

而更新的DeepSeek-V4.

1-Flash-0910,差距进一步降至6.

1个百分点。

但周期性差异依然存在。

这种差异性是怎么来的呢?

再往细看,DeepSeek-V4的波动周期是4个Token,DeepSeek-V4.

1则变成了2个Token。

研究人员发现,这 恰好对应两代模型各自采用的KV Cache压缩步长 好嘛,连答题表现的起伏周期,都和底层压缩配置对上了。

问题出在KV Cache压缩?

那咱就来说说KV Cache压缩。

大模型处理长上下文时,需要保存大量历史Token对应的Key和Value信息,供后续注意力计算使用。

上下文越长,这部分缓存占用的内存和计算开销就越大。

尤其是动辄几十万、上百万Token的长任务,KV Cache很容易成为推理效率的瓶颈。

所以DeepSeek-V4采用了 分块KV Cache压缩 思路是把连续的Token分成一个个窗口,再将窗口内的信息压缩成更少的缓存条目。

这样模型就不用为每个历史Token保留同样规模的缓存。

既节省内存,也能降低长上下

更多体育热点,关注8868体育。

SHARE THE IDEA

觉得有用?分享给朋友

让更多人看到这篇内容。

返回资讯列表

TRENDING STORIES

热点新闻

为什么公费出国不归还能回国当领导?

为什么公费出国不归还能回国当领导?

袁钧瑛教授回来了,62岁,哈佛教授,入籍美国多年,现在担任国内财政拨款机构的领导。这事有意思的地方不在于她回来,而在于有人不让我们提她当年是怎么走的。 公费出国,不归,入籍美国。这三件事连在一起,说白了就是一个词:背信弃义。当年国家掏钱送你出去,是指望你学成回来添砖加瓦的,不是让你拿完好处就换护照的。有人逼她必须留下吗?没有。她宣誓效忠美国的时候,心里想的是什么?细品。 胡锡进说网友一提这事就是“

越级上访就问责,可如果基层不受理,该去哪说理?信访新规告诉你

越级上访就问责,可如果基层不受理,该去哪说理?信访新规告诉你

对普通老百姓来说,信访是权益受损、遭遇不公时最实在的维权方式。 大家一次次跑去信访,从来不是想争取特殊照顾,只是单纯希望自己的难处能被重视,有理的诉求能得到妥善解决。 老百姓不怕维权辛苦、不怕多跑路,最怕的是来回奔波许久,问题一点进展都没有,最后白白折腾一场。 其实很长一段时间里,基层信访的乱象,一直是群众心里的一大痛点。不少基层工作人员对待群众的信访诉求态度敷衍,办事拖沓懒散。各个部门相互推卸责

广东裁员新动作!终止博日奇合同或激活徐杰,11冠王仍想卷土重来

广东裁员新动作!终止博日奇合同或激活徐杰,11冠王仍想卷土重来

11月12日,广东宏远官方宣布,经双方友好沟通,正式与外援卢卡·博日奇终止合同。这位第一阶段场均21.3分7.9篮板的队内得分王,正式告别广东宏远。 博日奇第一阶段的数据并不难看:8场比赛,场均21.3分7.9篮板,是球队的得分王和篮板王。但数据背后,是球风与球队体系的严重错位。 他是前任主帅亚科夫列维奇找来的欧洲前锋,擅长低位单打和中距离,但没有稳定的三分能力,移动偏慢,防守端容易被针对。广东想

2-0!国足创三大纪录!邵佳一祭出的青春风暴,大获全胜

2-0!国足创三大纪录!邵佳一祭出的青春风暴,大获全胜

肇庆新区体育中心,第10分钟,场上局面一下子打开。 王上源站在中场拿稳皮球,抬头扫视前方,送出一脚直塞球,送到右路空档。 林良铭快速前插,接球后直接起脚传中。 王钰栋从禁区外高速冲进禁区,迎着落点甩头,皮球砸进网窝。 这是王钰栋在成年国家队拿到的第2粒进球,也是他第一粒运动战破门。 之前对阵巴林打进的那一粒,是点球。 一名21岁前锋,用运动战进球打开国家队的进球账户。这个细节,比场上比分更能看懂邵

巴西7比0胜新加坡,门将佩里零扑救,为何不算真正检验?

巴西7比0胜新加坡,门将佩里零扑救,为何不算真正检验?

三天前补时被日本绝杀,三天后 7 比 0 血洗新加坡,巴西这场大胜踢得确实酣畅,但要说含金量,得打个大问号。 新加坡是一个长期混迹东南亚赛区、跟泰国、印尼、越南交手的对手,被一支以世界杯冠军为目标的巴西队打 0 比 7,本来就不是什么新闻——真正的问题不是巴西赢没赢,而是这场赢球能说明多少东西。 第 9 分钟维尼修斯低射破门,第 15 分钟接恩德里克直塞推射梅开二度,第 21 分钟门前打空门完成帽