推理模型:“慢思考”让决策更周全

6个月前 来源:科技日报 观看:60

2025年,“推理模型”成为人工智能行业的热词。从科大讯飞发布首个使用全国产算力训练的深度推理大模型——讯飞星火X1,到深度求索公司上线DeepSeek-R1推理模型,都将“推理模型”推到聚光灯下。rkB即热新闻——关注每天科技社会生活新变化gihot.com

多数大语言模型具备一定推理能力,但推理模型具有更强大的推理、逻辑分析和决策能力。推理模型会运用各种推理技巧,如演绎推理、归纳推理、类比推理等,来模拟人类的思考方式。多位业内人士接受科技日报记者采访时说,在人工智能大模型不断迭代升级的浪潮中,推理模型以创新的技术为行业发展注入新活力,也让人们对人工智能未来发展有了更大想象空间。rkB即热新闻——关注每天科技社会生活新变化gihot.com

推理模仿人类“慢思考”rkB即热新闻——关注每天科技社会生活新变化gihot.com

在复旦大学计算机科学技术学院教授、上海市数据科学重点实验室主任肖仰华看来,过去,大模型的生成能力主要由语料决定。但专家级的推理能力并非“题海战术”可以实现,而是需要大模型具备强大的思维能力。rkB即热新闻——关注每天科技社会生活新变化gihot.com

心理学家认为,人类存在两种思维模式。一种是主要用来对日常生活中的简单问题进行判断、决策的“快思考”;另一种则是用于对一些特定问题进行深入分析、研判的“慢思考”。“快思考”是人类基于大量日常经验、常识等,对简单问题作出的快速反应,往往在人们无意识之间完成,是一种更加接近“本能”的思考方式。与之相对,“慢思考”则需要调动大脑更多资源,遵循特定思维逻辑,对问题进行抽丝剥茧式分析研究,进而作出更加理性周全的决策。rkB即热新闻——关注每天科技社会生活新变化gihot.com

作为人工智能的典型应用,大模型如今也有了“快”“慢”之别。rkB即热新闻——关注每天科技社会生活新变化gihot.com

传统大语言通用模型的思维方式更像是“快思考”,其主要依靠算力对海量数据进行学习,实现对后续空白内容的快速预测,回答人类提出的各类问题,本质上是基于概率模型对可能的答案进行“猜测”。相比之下,推理大模型更有意识和逻辑,会在回答之前进行一段时间“慢思考”,依据特定思维链条,提供更全面解答。rkB即热新闻——关注每天科技社会生活新变化gihot.com

科大讯飞研究院副院长殷兵举例说,讯飞星火X1在解答高考数学题等复杂题目时,会先将题目化繁为简,给出解题思路和步骤,呈现出全面的思考、分析和推理过程,进而给出准确的题目答案。殷兵说,推理模型更接近人类的“慢思考”方式。相较于通用大模型,推理模型在数学、医学、代码等领域,会产生更好的效果和意想不到的应用场景。rkB即热新闻——关注每天科技社会生活新变化gihot.com

强化学习实现反思纠错rkB即热新闻——关注每天科技社会生活新变化gihot.com

人类可以对复杂问题进行深入思考、理性分析的一大原因在于,大脑能够反思。通过对过去错误结果和正确经验的反馈学习,人类得以不断提升对复杂问题判断的正确率。推理模型中普遍应用的强化学习技术,在一定程度上模仿了人类的反思、纠错能力。rkB即热新闻——关注每天科技社会生活新变化gihot.com

强化学习是一种机器学习方法,它允许智能体在与环境的交互中通过试错来学习最优策略。智能体在环境中执行相应行动,并根据行动的结果接收反馈,这些反馈信号则指导智能体调整下一步策略,循环往复,不断接近最优策略。rkB即热新闻——关注每天科技社会生活新变化gihot.com

例如,DeepSeek-R1在训练推理模型时采用了一条此前鲜有人使用的完全依赖强化学习的训练路径,即仅根据模型输出答案的优劣等简单信息,对模型进行奖惩。这相当于在不施加任何指引的情况下,让一个刚出生不久的幼儿完全自主探索世界,并根据探索结果给予反馈,从而让幼儿在反复试错和成功中快速成长。rkB即热新闻——关注每天科技社会生活新变化gihot.com

殷兵介绍,讯飞星火X1可以进行自我探索和反思验证,并基于答案正确与否的反馈信息进行强化训练。其中,自我评价迭代的评语模型能指出大模型存在的幻觉问题,大模型在得到评语模型的评价后可实现自我完善提升。同时,评语模型也通过强化训练进一步提升自身发现幻觉问题的能力。整个过程无需人员参与标注,而是依靠两个模型相互博弈、共同进化。多路径和反思迭代的强化学习技术使讯飞星火X1中能化繁为简,把复杂问题拆解成多个步骤进行思考推理,并进行自我反思探索。例如,它在解答高考数学题目时,不仅会实时呈现分步骤解题过程,还能对解题过程进行实时验算,反思纠正过程中的遗漏和问题,直至给出正确答案。而整个推理过程中形成的数据也可以被用于后续的强化学习。rkB即热新闻——关注每天科技社会生活新变化gihot.com

可靠算力仍是关键因素rkB即热新闻——关注每天科技社会生活新变化gihot.com

无论是模型训练还是推理,都需要算力平台作为硬件基础。虽然在特定领域,推理模型能够在实现同等效果的情况下消耗更少算力,但算力平台的可靠性、稳定性仍然是决定推理模型发展的重要因素。rkB即热新闻——关注每天科技社会生活新变化gihot.com

此前,科大讯飞已联合华为打造出首个国产算力万卡平台“飞星一号”,并基于此完成了讯飞星火大模型多个版本的迭代训练。但推理模型的训练是一条全新的技术路线。目前,国产算力在单卡、集群、生态等方面距国际领先水平有一定差距,全面基于国产算力平台开展模型训练,面临着不少挑战。rkB即热新闻——关注每天科技社会生活新变化gihot.com

“讯飞星火X1的训练推理涉及多个模型的强交互,需要跨任务传输数据及权重,训练任务类型也由在线实时响应变为离线高吞吐。这需要克服国产显卡带宽不足的短板。”殷兵说,在这种复杂的训练模式下,影响效率的因素非常多,后训练所需的算力甚至提升了一个数量级。最终,通过与华为进行联合攻关,团队自研出训练框架并进行效率优化,实现了模型算法在国产算力上的成功适配,端到端效率大幅提升。rkB即热新闻——关注每天科技社会生活新变化gihot.com

2025年,“推理模型”成为人工智能行业的热词。从科大讯飞发布首个使用全国产算力训练的深度推理大模型——讯飞星火X1,到深度求索公司上线DeepSeek-R1推理模型,都将“推理模型”推到聚光灯下。rkB即热新闻——关注每天科技社会生活新变化gihot.com

多数大语言模型具备一定推理能力,但推理模型具有更强大的推理、逻辑分析和决策能力。推理模型会运用各种推理技巧,如演绎推理、归纳推理、类比推理等,来模拟人类的思考方式。多位业内人士接受科技日报记者采访时说,在人工智能大模型不断迭代升级的浪潮中,推理模型以创新的技术为行业发展注入新活力,也让人们对人工智能未来发展有了更大想象空间。rkB即热新闻——关注每天科技社会生活新变化gihot.com

推理模仿人类“慢思考”rkB即热新闻——关注每天科技社会生活新变化gihot.com

在复旦大学计算机科学技术学院教授、上海市数据科学重点实验室主任肖仰华看来,过去,大模型的生成能力主要由语料决定。但专家级的推理能力并非“题海战术”可以实现,而是需要大模型具备强大的思维能力。rkB即热新闻——关注每天科技社会生活新变化gihot.com

心理学家认为,人类存在两种思维模式。一种是主要用来对日常生活中的简单问题进行判断、决策的“快思考”;另一种则是用于对一些特定问题进行深入分析、研判的“慢思考”。“快思考”是人类基于大量日常经验、常识等,对简单问题作出的快速反应,往往在人们无意识之间完成,是一种更加接近“本能”的思考方式。与之相对,“慢思考”则需要调动大脑更多资源,遵循特定思维逻辑,对问题进行抽丝剥茧式分析研究,进而作出更加理性周全的决策。rkB即热新闻——关注每天科技社会生活新变化gihot.com

作为人工智能的典型应用,大模型如今也有了“快”“慢”之别。rkB即热新闻——关注每天科技社会生活新变化gihot.com

传统大语言通用模型的思维方式更像是“快思考”,其主要依靠算力对海量数据进行学习,实现对后续空白内容的快速预测,回答人类提出的各类问题,本质上是基于概率模型对可能的答案进行“猜测”。相比之下,推理大模型更有意识和逻辑,会在回答之前进行一段时间“慢思考”,依据特定思维链条,提供更全面解答。rkB即热新闻——关注每天科技社会生活新变化gihot.com

科大讯飞研究院副院长殷兵举例说,讯飞星火X1在解答高考数学题等复杂题目时,会先将题目化繁为简,给出解题思路和步骤,呈现出全面的思考、分析和推理过程,进而给出准确的题目答案。殷兵说,推理模型更接近人类的“慢思考”方式。相较于通用大模型,推理模型在数学、医学、代码等领域,会产生更好的效果和意想不到的应用场景。rkB即热新闻——关注每天科技社会生活新变化gihot.com

强化学习实现反思纠错rkB即热新闻——关注每天科技社会生活新变化gihot.com

人类可以对复杂问题进行深入思考、理性分析的一大原因在于,大脑能够反思。通过对过去错误结果和正确经验的反馈学习,人类得以不断提升对复杂问题判断的正确率。推理模型中普遍应用的强化学习技术,在一定程度上模仿了人类的反思、纠错能力。rkB即热新闻——关注每天科技社会生活新变化gihot.com

强化学习是一种机器学习方法,它允许智能体在与环境的交互中通过试错来学习最优策略。智能体在环境中执行相应行动,并根据行动的结果接收反馈,这些反馈信号则指导智能体调整下一步策略,循环往复,不断接近最优策略。rkB即热新闻——关注每天科技社会生活新变化gihot.com

例如,DeepSeek-R1在训练推理模型时采用了一条此前鲜有人使用的完全依赖强化学习的训练路径,即仅根据模型输出答案的优劣等简单信息,对模型进行奖惩。这相当于在不施加任何指引的情况下,让一个刚出生不久的幼儿完全自主探索世界,并根据探索结果给予反馈,从而让幼儿在反复试错和成功中快速成长。rkB即热新闻——关注每天科技社会生活新变化gihot.com

殷兵介绍,讯飞星火X1可以进行自我探索和反思验证,并基于答案正确与否的反馈信息进行强化训练。其中,自我评价迭代的评语模型能指出大模型存在的幻觉问题,大模型在得到评语模型的评价后可实现自我完善提升。同时,评语模型也通过强化训练进一步提升自身发现幻觉问题的能力。整个过程无需人员参与标注,而是依靠两个模型相互博弈、共同进化。多路径和反思迭代的强化学习技术使讯飞星火X1中能化繁为简,把复杂问题拆解成多个步骤进行思考推理,并进行自我反思探索。例如,它在解答高考数学题目时,不仅会实时呈现分步骤解题过程,还能对解题过程进行实时验算,反思纠正过程中的遗漏和问题,直至给出正确答案。而整个推理过程中形成的数据也可以被用于后续的强化学习。rkB即热新闻——关注每天科技社会生活新变化gihot.com

可靠算力仍是关键因素rkB即热新闻——关注每天科技社会生活新变化gihot.com

无论是模型训练还是推理,都需要算力平台作为硬件基础。虽然在特定领域,推理模型能够在实现同等效果的情况下消耗更少算力,但算力平台的可靠性、稳定性仍然是决定推理模型发展的重要因素。rkB即热新闻——关注每天科技社会生活新变化gihot.com

此前,科大讯飞已联合华为打造出首个国产算力万卡平台“飞星一号”,并基于此完成了讯飞星火大模型多个版本的迭代训练。但推理模型的训练是一条全新的技术路线。目前,国产算力在单卡、集群、生态等方面距国际领先水平有一定差距,全面基于国产算力平台开展模型训练,面临着不少挑战。rkB即热新闻——关注每天科技社会生活新变化gihot.com

“讯飞星火X1的训练推理涉及多个模型的强交互,需要跨任务传输数据及权重,训练任务类型也由在线实时响应变为离线高吞吐。这需要克服国产显卡带宽不足的短板。”殷兵说,在这种复杂的训练模式下,影响效率的因素非常多,后训练所需的算力甚至提升了一个数量级。最终,通过与华为进行联合攻关,团队自研出训练框架并进行效率优化,实现了模型算法在国产算力上的成功适配,端到端效率大幅提升。rkB即热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-2-562-0.html推理模型:“慢思考”让决策更周全

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:新疆哈密上线 “满血版”DeepSeek-R1云服务

下一篇:新装置解决石油产业抽油杆防锈难题 油田小站捧回国际大奖

为你推荐
美国物理学家阿瑟·阿什金因光镊操控技术获得2018年获诺贝尔物理学奖,让研究人员在微观世界中也可“抓得着”物体。这一研究为物理、生物和材...
01-21
新华社合肥1月20日电(记者徐海涛、陈诺)“998、999、1000……”大屏幕上的数字最终定格在1066,原本安静的控制大厅一片欢呼。1月20日,我国...
01-21
    2024年12月28日,韩国游客文鉉堣(左后)一家在上海外滩合影。他们在圣诞节来到上海并计划游...
01-21
今年冬天晴暖的天气常给沈阳小伙伴一种“开春了”的错觉别高兴太早强降雪+寒潮+大风正在路上天气即将上...
01-23
泰国旅游安全信心下降之际,从旅游业内到社媒大众都在推测:三亚旅游将迎“泼天富贵”。 喧嚣背后,近期三亚旅游热度究竟如何?时代周报...
01-21
近年来,短小精悍、剧情跌宕的短剧,发展成网络影视的一种新业态,短剧出海也成为我国文化产业的一个新风向。截至2024年8月,头部海外短剧App的地区数据中,美国的收入达1.51亿美元(约...
01-22
1 月 22 日消息,特斯拉新款 Model Y 实车图在网上再次曝光,展示了更多细节信息。从实车的尾标来看,此次曝光的不再是首发版,而是后续将大批量生产的版本。注意到,从外观...
01-23
1 月 30 日消息,日本汽车媒体 Mag-X 昨日(1 月 29 日)发布博文,报道称由于 LS 轿车 2024 在日本销量不足 1500 辆,雷克萨斯考虑调整 LS 系列,替代推出三排七座混合动力 SU...
01-31
电视剧《难哄》中的钟思乔职业成为了近期热门话题。该剧开拍前就吸引了大量粉丝,随着剧集播出,更多观众加入粉丝群体,对剧情充满期待,并对钟思乔的职业感到好奇...
02-22
在娱乐圈这片星光璀璨的天空下,何炅以其非凡的主持才能与温文尔雅的气质,长久以来赢得了无数观众的喜爱与尊敬。而近日,这位已年过半百的主持人,再度以惊人的健康体魄成为了舆论...
02-22
21世纪经济报道记者 韩利明 上海报道 丙类药品目录的落地,已是箭在弦上。1月17日上午,在国家医保局“保障人民健康,赋能经济发展”的主题...
01-21
21世纪经济报道记者 韩利明 上海报道当地时间2月12日,艾伯维(NYSE:ABBV)与Xilio Therapeutics(NASDAQ:XLO)宣布达成一项合作和选择性许可协议,双方...
02-14
  2025年1月14日,西安市职业教育与成人教育协会2024年度工作总结大会成功召开。来自省、市职业教育界的专家、领导及协会各成员校的负责人共同回顾和展望西安职业教育的发...
01-21
大家好,我是童学会小记者李峻轩。今天我们来到了九紫宝藏陨石博物馆参观。通过讲解员的生动解说,和仔细观察产品,我知道了陨石分为三大类:石陨石、铁陨石和石铁陨石。其中石陨...
01-21
  摘要  【每日龙虎榜】周一商品期货综合指数下跌0.43%,日内资金净流出76.44亿元。一文带你...
01-21
  乌鲁木齐银行再次因股权拍卖引发市场关注。2025年1月19日,该行第三大股东深圳君豪集团有限公...
01-22
在爱情的世界里,有时候我们会遇到一些花心的男人。其中,双子座的男生就以善变、多情而著...
01-22
天秤座的男人通常具有温和、善良、浪漫的性格,他们对待感情非常认真。如果你怀疑一个已...
01-22
粉色领带搭配什么颜色衬衫?斜纹蓝色一、西装、衬衫、领带巧搭配 ①黑色西服,穿以白色为主的衬衫和浅色衬衫,配灰、蓝、绿等与衬衫色彩协调的领带。 ②灰西服,可配灰、绿、黄和...
02-07
小小模特的梦想舞台:CIP国际少儿模特T台走秀揭秘在璀璨的时尚界,模特的身影总是让人心驰神往。不过,当我们谈到模特时,脑海中浮现的往往是那些身材高挑的成年模特。在这里,我想分...
02-17
2月4日消息,春节假期,京东联合联通数智智慧足迹,对全国31个城市的线下商圈客流量及消费数据进行了实时动态统计,反映消费者在春节线上线下各场景中的消费趋势。观察显示,西安、哈...
02-07
2月7日消息,东方甄选在微博发文称,近日,北京互联网法院就抖音用户崔某网络侵权案作出判决,认定被告发布言论不实,侵害了东方甄选名誉权,要求被告在抖音账号置顶道歉声明,并赔偿东方...
02-08
2月17日消息,第九届亚洲冬季运动会(以下简称“亚冬会”)近日在哈尔滨收官。作为国家中小企业公共服务示范平台,小熊U租为亚冬会提供了超2000台IT设备的定制化短期租赁解决方案,全...
02-18
2月23日消息,小马智行近日开通广州自动驾驶示范运营专线,用户可搭乘自动驾驶车,从广州市中心相应地点往返广州白云机场和广州南站。图源: Pony.ai小马智行公众号据了解,小马智行...
02-24
普之于众,惠之于民。大力发展普惠金融,是服务实体经济的重要途径,也是实现全体人民共同富裕的必由之路。党的二十届三中全会提出,积极发展科技金融、绿色金融、普惠金融、养...
01-21
自去年底开始,黄金多头优势逐渐退却,国际现货黄金价格经历几次大跌后一度跌下2700关口,多空进入漫长的震荡周期,多头始终无法找到再度冲高的时机。  北京时间1月21日,国际现货...
01-24
《原子之心》DLC3“深海迷情(Enchantment Under the Sea)”现已上线,售价10美元,国区售价40元,自带简体中文和中文配音。截止发稿时,该DLC已收录55篇评价,好评率94%,为...
01-31
RTX 5090和RTX 5080显卡在今天正式开卖,由于货源稀少,性能强劲,一上市很快就被一扫而空,导致很多潜在买家只能“望卡兴叹”。 当然,这些抢显卡的人很多并不是真正...
02-03
“杯子快补货”,“盲盒快补货”……《哪吒之魔童闹海》上映5天的票房已破27亿,成为这个春节档“一超多强”中的超级头部影片,多个平台的票房预测不断上调,最终票房有望在65亿以...
02-02
极目新闻记者 张静娴贴春联、挂灯笼、包饺子……在热闹的新春氛围里,有一群外国留学生与我们一同欢度春节。近日,接受记者采访时,外国留学生们分享了他们在中国过春节的独特体...
02-05
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮