关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro2393人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

不是第一次了,穆斯卡特两年前曾率队在天皇杯输给町田泽维亚

懂球帝 浏览 3580

百亿龙头股董事长获刑,已上诉!IPO关键期行贿官员,过程曝光

深蓝财经 浏览 3369

收评:沪指13连阳再创十年新高 两市成交额突破2.8万亿

财联社 浏览 9032

美国一军用炸药厂爆炸致16人死亡 现场一片废墟

极目新闻 浏览 3668

晚点独家丨大定突破今年4万产能上限,新ES8帮蔚来赢得更多机会

晚点LatePost 浏览 4401

上海男子进不了门有家难回崩溃求救 网友狠狠共情了

环球网资讯 浏览 8128

美国抓走马杜罗计划曾外泄 美媒收到计划后未公布

新京报 浏览 2609

中加领导人时隔8年首次会晤 外交部回应

外交部网站 浏览 9083

古二反击《繁花》!新录音曝光打脸秦雯,业内直言压榨新人是常态

萌神木木 浏览 3688

搭第四代MBUX系统 奔驰纯电GLC亮相2026 CES

车质网 浏览 2662

23分钟11中10轰21+8!王哲林打出赛季最强一战 上海八连胜稳头名

颜小白的篮球梦 浏览 2694

“复古甜心”穿搭突然大火!春天穿时髦又减龄

LinkFashion 浏览 1857

奔驰小G谍照,或搭混动或燃油动力

懂车之道 浏览 2934

辽京:当一个妈妈开始写作

时尚COSMO 浏览 3052

周定洋自宣离队!媒体人热议:已经在深圳,非得不做英雄太可惜

奥拜尔 浏览 2644

日本新首相上任:首次将新型潜艇纳入国防政策

红星新闻 浏览 3610

IDEA研究院发布LEMAS:首个15万小时多语言语音数据集

科技行者 浏览 2593

再次掀翻AI圈!Sora2面前,MiniMax的另类打法

南方都市报 浏览 3499

时尚守艺人 | 以木为纸,雕出万千世界

时尚COSMO 浏览 2849

乌方呼吁美国对卡德罗夫"采取某种行动" 卡德罗夫发声

环球网资讯 浏览 2566

贷款炒金的"黄金赌徒"后悔了:有人3天亏掉2个月工资

第一财经资讯 浏览 8862
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1