关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro2389人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

曝白百何资源受影响!好友还在嘴硬,多位业内下场内涵:太任性了

萌神木木 浏览 3337

三种动力配置 星光560将于1月15日上市

网易汽车 浏览 2580

特朗普被指一边喊一边咒骂 让乌方把顿巴斯地区给俄方

红星新闻 浏览 9321

美利坚金融核爆:三杀困局与帝国黄昏

浏览 7268

“这条围巾”才是今年的顶流单品,时髦的女人都有它

LinkFashion 浏览 3441

汪小菲又幸福了!和马筱梅搂腰拥抱好缠绵

疯说时尚 浏览 3624

高市闯了大祸日方意识到大事不妙 中国有权在日本驻军

时时有聊 浏览 34796

杉杉集团重整突生变数,“民营船王”695亿资本局悬了?

野马财经 浏览 3503

王家卫持续被扒

萌神木木 浏览 3507

这些才是最接地气的日常穿搭!多穿衬衫、腰线明显,舒适显瘦

静儿时尚达人 浏览 259

悦达起亚4月汽车销量破2万辆 环比增长11.5%

网易汽车 浏览 175

旅行焕新价8.39万起 BJ30旅行家正式上市 新增7座布局

网易汽车 浏览 4202

斯洛特:尽管我们取得四连胜,但球队的表现并不完美

懂球帝 浏览 2828

德外长:欧洲和北约议题已从美28点新计划中移除

界面新闻 浏览 3177

理想汽车下摆臂异响补偿方案发布月余,多位车主投诉称遭区别对待

澎湃新闻 浏览 4572

39岁李思思离开央视两年,商演小县城不摆架子

范櫳舍长 浏览 2014

无人驾驶获《时代》2025最佳发明奖:萝卜快跑、谷歌、特斯拉全球竞速

上观新闻 浏览 3834

前桑德兰队友:阿马德和我在场上很默契,未来他还会更出色

懂球帝 浏览 1071

二手车商称雷军在吹牛:现在有的车型降10万都没人要

都市现场 浏览 7840

火速认错!孙怡驾驶法拉利跑车违规

今古深日报 浏览 2702

AI大佬Karpathy焦虑了:作为程序员,我从未感到如此落后

机器之心Pro 浏览 2857
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1