关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2333人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

可能被“没收”一半股权,谷歌创始人逃离硅谷

字母榜 浏览 2658

小米汽车 10 月交付量超过 40000 台

IT之家 浏览 3401

伊朗针对以色列心脏地带发起打击 对美国发出威胁

每日经济新闻 浏览 114670

乌总统:美方28点计划已有所精简

每日经济新闻 浏览 3211

媒体:自家老牌车企落后中美 欧盟恐对中国车厂下手

澎湃新闻 浏览 10680

TOP TOY,成不了泡泡玛特?

斑马消费 浏览 4321

名记:威少对去海外打球的兴趣为零,他专注于在NBA打球

懂球帝 浏览 3753

女子旅游途中接到物业电话:你家发大水 把楼都淹了

鲁中晨报 浏览 3703

日本知名巨头退出中国内地市场 有门店日排队3000桌

21世纪经济报道 浏览 7811

这个赛季,NBA的玄学将被终结

虎嗅APP 浏览 3652

《阿凡达3》一言难尽,好看不好吃,顶级特效盖不住影迷吐槽剧情

最爱酷影视 浏览 2933

在南海坠毁的美军机比F-35还贵 单价1亿美元

参考消息 浏览 2599

加啥班啊!某车企被曝三点半,员工就陆续下班了

小李车评李建红 浏览 2930

没有新显卡,但有AI狂欢!CES2026:高通、英特尔、AMD 齐放大招

雷科技 浏览 2638

西媒:巴萨2019年违规接触格子,可能构成管理不善和账目造假罪

懂球帝 浏览 3714

泰军摧毁6个柬埔寨诈骗基地 称要斩断跨国犯罪根源

扬子晚报 浏览 2952

狼队主帅:斩获首胜之后我们不会松懈;小将马内踢得非常好

懂球帝 浏览 2650

章子怡醒醒给汪峰打电话:哈尔滨冷记着多穿衣服

观察鉴娱 浏览 3350

大兵压境时忽启谈判 特朗普“葫芦里卖的什么药”

看看新闻Knews 浏览 2375

最时髦的单品,难道不是背肌吗?

时尚COSMO 浏览 2612

"韩国顶流"被追缴200亿韩元税款:至少赚了1000亿韩元

新民周刊 浏览 3759
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1