关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2330人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

26款奔驰“小S级”售价亲民,外观豪华,车长超5米,搭载2.0T轻混

小史谈车 浏览 2047

点一桌子菜只吃几口,39岁杨幂揭开内娱现状,没胃口更没活人感

萌神木木 浏览 2647

携12大升级上市 比亚迪汉EV闪充版售价17.98万起

网易汽车 浏览 489

搭载闪充技术 比亚迪2026款海狮06EV售价15.99万元起

网易汽车 浏览 1707

九旬李明启谈到容嬷嬷为自己发声

蜜桔娱乐 浏览 3465

媒体:日本出口护卫舰 不能和中国出口武器混为一谈

新民周刊 浏览 33604

地点未定 摩擦又起 美伊核谈判开启前变数频生

极目新闻 浏览 2334

中信银行开年搅局!中信金租增资至120亿,杀进头部第八位

密探财经 浏览 2421

男子被钻机拧断胳膊未获赔 法院查封800吨煤被矿方私售

大风新闻 浏览 8825

十年前的百度,聚拢了硅谷最杰出的天才,每个都比姚顺雨耀眼……

字母榜 浏览 2454

梅克斯:多梅内克执教法国队时,根据球员的星座来排首发

懂球帝 浏览 3668

中国色特别策划 | 故宫书画与百年墨华

时尚COSMO 浏览 2748

文联春晚录制现场好真实!大咖太多没人惯着

萌神木木 浏览 2396

Perplexity Comet浏览器iOS版发布,AI驱动超厉害!

IT之家 浏览 1688

半年亏损 5800 万仍闯港交所!复星医药分拆安特金图啥?

野马财经 浏览 3455

估价21万元奔驰车将被1元起拍 系涉刑资产

红星新闻 浏览 9287

涉安世半导体 商务部发声:同意荷经济部派员来华磋商

财联社 浏览 10397

解放军组织轰炸机编队位南海例行巡航

界面新闻 浏览 3283

靠扒“脏”数据,这家公司干到估值数亿

虎嗅APP 浏览 2616

神仙友谊!杨紫连续10年为张一山庆生

橙星文娱 浏览 278

阿尔巴:自己未来不会当教练;身体状态很好但退役是综合考虑

懂球帝 浏览 3481
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1