关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2329人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

美再向委周边调派装备和部队 专家:为发动攻击做准备

国际在线 浏览 2859

日本宣布从南鸟岛海域采掘到含稀土的淤泥 外交部回应

环球网资讯 浏览 5854

小米“巨省电”,为何又是一波大争议?

正经社 浏览 3559

中方打出组合拳 美舆论:中国国庆后进入全面反击模式

看看新闻Knews 浏览 6487

各有升级 东风奕派将发布三款新车

车质网 浏览 1743

多家房企称已不被要求上报三道红线 仍需提交资产负债率指标

财联社 浏览 2443

碳酸锂价格,巨震!

证券时报 浏览 3219

村民获180万拆迁款被控敲诈勒索 一审获刑10年

扬子晚报 浏览 3889

全国人大代表梁伟:用AI打通中国芯片弯道超车的 “任督二脉” | 代表在这里

封面新闻 浏览 1780

一笑随歌李沁陈哲远短短37秒吻戏床戏都上尺度了

陈意小可爱 浏览 3204

高盛暂停为与芝商所事故相关的数据中心公司发售债券

华尔街见闻官方 浏览 3022

也算是开眼了!英国新能源车起不来,媒体将责任“划”给了小偷

小李车评李建红 浏览 3583

罗马诺:阿贾克斯即将与富安健洋签约半年,根据表现可能续约

懂球帝 浏览 2961

4680电池的大饼,马斯克不想画了

远川科技评论 浏览 2579

53岁蔡少芬累到虚脱 15岁就开始为母还债 好辛苦

疯说时尚 浏览 3216

再论快船用鲍威尔交换科林斯 后者17场后被甩卖卢指导难辞其咎?

仰卧撑FTUer 浏览 3283

全力向上!重庆铜梁龙赛季最后一个主场将展示全场拼图TIFO

懂球帝 浏览 3572

稳了,“毁容式”出演县长的胡歌,已经走上了演员的“上坡路”

娱乐圈笔娱君 浏览 2324

国盾量子董事长吕品去世:上任半年多 年仅46岁

时代周报 浏览 3009

不是谁弱谁有理,何美延只是说的好听

小椰的奶奶 浏览 2505

补时绝平,曼联终结各项赛事对阵热刺四连败

懂球帝 浏览 3368
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1