“我们和GPT-4的真正差距,在数学考试的最后一道大题”

9个月前 来源: 观看:74

mW5即热新闻——关注每天科技社会生活新变化gihot.com

图说:上海人工智能实验室领军科学家林达华 采访对象供图(下同)mW5即热新闻——关注每天科技社会生活新变化gihot.com

“我们和GPT-4的真正差距,可以理解成能否做出数学考试的最后一道大题。最后一道大题往往需要考生有出色的推理能力,GPT-4有这样的能力,我们还做不出。”在2024全球开发者先锋大会大模型前沿论坛上,上海人工智能实验室领军科学家林达华直言不讳。mW5即热新闻——关注每天科技社会生活新变化gihot.com

进入2024年春天,热议了一整年的“大模型”话题仍在持续升温。一年来,AI领域见证了通用大模型井喷式爆发,通用人工智能不断冲击对物理世界的理解上限,在未来,又有哪些方向值得继续尝试探索?mW5即热新闻——关注每天科技社会生活新变化gihot.com

“任何排名都是短暂的”mW5即热新闻——关注每天科技社会生活新变化gihot.com

“一般而言,这种高规格论坛上的演讲都会推介自己的产品,而我这次想非常纯粹地谈谈对大模型未来发展的思考。”林达华的开场就别具一格。2022年末,ChatGPT的诞生让全世界首次看到大模型的力量;一周前,xAI发布参数量达314B的当前最大开源模型……mW5即热新闻——关注每天科技社会生活新变化gihot.com

“过去一年大模型技术的迅猛发展,有两个重要的驱动力量:一个是源于所有研究者和从业者对于AGI(通用人工智能)技术理想的追求;另一方面产业界看到了大模型带来产业革命的可能性,以巨大资源投入此赛道。”林达华坦言,技术追求和应用潜力两种力量交织,造就了当前“波澜壮阔”的发展局面。mW5即热新闻——关注每天科技社会生活新变化gihot.com

无数人都关心,国内一线大模型究竟“身处何方”?林达华给出三个观点:GPT-4仍旧保持领先;国内前列的模型在主客观表现上都超过了GPT-3.5;商用闭源的大模型表现比开源模型更好,但是开源模型进步非常快。mW5即热新闻——关注每天科技社会生活新变化gihot.com

“大模型能力评价是件非常有挑战的事情,任何榜单都有特定的偏重。”林达华总结道,“任何排名都是短暂的,而根据评测找到解决问题的路径,对于人工智能的发展来说有着更长的生命力。”mW5即热新闻——关注每天科技社会生活新变化gihot.com

随着大模型技术的进一步发展,人工智能产业分工将会被重塑。“大模型研发需要投入巨量资源,但拥有基础模型的企业不会垄断一切,尤其不会吞噬所有垂直赛道。” 林达华认为,行业模型、模型插件等研发投入相对较小,但拥有相对大的应用空间,对专业数据和领域的理解,可以成为竞争壁垒,“更重要的是清楚理解自身资源禀赋和优势,选择合适的产业分工角色,形成差异化竞争路径。”mW5即热新闻——关注每天科技社会生活新变化gihot.com

“大模型有更多新‘玩法’”mW5即热新闻——关注每天科技社会生活新变化gihot.com

“百模大战”,大模型的技术演进路在何方?mW5即热新闻——关注每天科技社会生活新变化gihot.com

很多人都注意到,从去年下半年开始,大模型上下文长度的理解能力快速增长。打比方来说,2K的上下文支持能力可以日常聊天,32K能做到长文分析,100K就可以读懂短篇小说,而今年3月,支持1M或更长上下文的模型出现,它们完全可以畅读《三体》了。mW5即热新闻——关注每天科技社会生活新变化gihot.com

上海人工智能实验室青年科学家陈恺介绍,对于大模型的长文本处理能力,通常会采用“大海捞针”的实验。通俗点来说,就是要通过自然语言提问的方式,让模型在一整本《西游记》里找到一句只可能在《红楼梦》才出现的话。“在测试中,90%以上的模型都能做到;可切换到真实场景,需要模型做一些关联后,表现就差很多了。”他说。mW5即热新闻——关注每天科技社会生活新变化gihot.com

众所周知,人的大脑有专门处理短时记忆的功能区域,不仅能够存储,还能对短时记忆进行压缩处理,使之和长时记忆更好融合。然而,大模型的上下文本身对信息不会压缩,不能直接捕捉其中的深层知识和规律。这是否意味着未来计算和生物学的交叉,林达华倒不这么认为,“科学家们在思考,上下文是不是处理‘随机信息’的最理想技术路径。”mW5即热新闻——关注每天科技社会生活新变化gihot.com

他还提出,云端协同将成为模型未来的重要趋势。“在云侧,数据中心的算力指数级增长,未来处理的方向是‘计算天花板’的问题。”林达华分析,“在端侧,移动设备的算力快速增长,已经可以支持7B体量模型的推理。”mW5即热新闻——关注每天科技社会生活新变化gihot.com

当前,一体化多模态大模型初现端倪,可以支撑更复杂的多模态任务。在复旦大学计算机科学技术学院教授邱锡鹏看来,新一代大模型的交互将是完全是多模态的,实现任意模态到任意模态的转化。大模型将与更多实际生活场景相结合,产生更多新“玩法”,也将为“具身智能”机器人提供更智慧的大脑。mW5即热新闻——关注每天科技社会生活新变化gihot.com

mW5即热新闻——关注每天科技社会生活新变化gihot.com

图说:大模型治理圆桌对话环节mW5即热新闻——关注每天科技社会生活新变化gihot.com

“安全不是锦上添花”mW5即热新闻——关注每天科技社会生活新变化gihot.com

大模型技术进步带来机遇的同时,也伴随治理与安全等新挑战。如何做到“既要又要”?mW5即热新闻——关注每天科技社会生活新变化gihot.com

复旦大学计算机科学技术学院教授张奇表示,在当前普遍使用的模型框架下,确保模型合理、负责任地输出是一个重要的挑战,普通开发者在大模型的安全治理方面参与度较低,部分原因是整个技术路线与通用大模型的开发路线基本一致,普通开发者较难进行深度参与。mW5即热新闻——关注每天科技社会生活新变化gihot.com

“安全不是锦上添花。” 阿里云通义算法、产品安全负责人张荣指出,大模型虽然有虚假信息标识等安全围栏,但是最核心的还是模型内生安全能力,“安全和模型的能力有时候相互矛盾,更多时候是相互促进。在实践中模型越安全它越能够得到工程的信任,在更广的应用范围中,可以获得更多的安全提升机会。”mW5即热新闻——关注每天科技社会生活新变化gihot.com

市科委副主任屈炜在大模型前沿论坛上表示,在推动人工智能大模型发展方面,上海将重点作出以下布局:一是提升基础研究能力,积极布局前沿研究;二是建设高水平新型研发机构,推动关键核心技术研发;三是深化人工智能伦理风险和治理体系的研究。同时,上海还将为大模型人才发展创机会、搭平台,在生活上为解决后顾之忧。mW5即热新闻——关注每天科技社会生活新变化gihot.com

新民晚报记者 郜阳mW5即热新闻——关注每天科技社会生活新变化gihot.com

【相关阅读】大模型前沿论坛上 专家强调大模型在生产力变革中的作用mW5即热新闻——关注每天科技社会生活新变化gihot.com

mW5即热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-1-14857-0.html“我们和GPT-4的真正差距,在数学考试的最后一道大题”

声明:本网页内容旨在传播知识,不代表本站观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:深视频:全国悼念!莫斯科在流泪

下一篇:绿地控股张玉良:当前房地产市场比较严峻,随着政策加码市场会逐步稳定

为你推荐
首届中国国际供应链促进博览会11月28日至12月2日在北京举行。作为全球第一个以供应链为主题的国家级展会,链博会汇集中外500多家企业机构,整...
12-04
比尔·盖茨投资创办的先进核反应堆公司TerraPower周一与阿联酋国有核公司ENEC签署了一项谅解备忘录,同意探索在阿联酋和国外开发先进核反应堆的可能性。备忘录...
12-04
SQL Error: select * from ***_ecms_news1 where id in() limit 2
你是否已经被黑桃A的昂贵价格所吸引,疑惑它为何能价值连城?在这篇文章中,我们将带你走进黑桃A的世界,探索它高贵背后的原因。1.稀有性:黑桃A之所以能卖出高价,首要原因在于其稀有...
12-01
大家好~最近大家是不是都在参加双十一活动呢~这两天小白在双十一血拼购物的时候犯了难, 平时购买裤子时都是根据S/M/L的尺码购买,突然有一家商家按照数字尺码来让...
12-02
SQL Error: select * from ***_ecms_news3 where id in() limit 2
SQL Error: select * from ***_ecms_news4 where id in() limit 2
想知道京东白条怎么联系商家 京东白条是京东数科推出的一款消费型金融产品:一是需要消费;二是需要按期偿还,在日常生活中,我们难免都会遇到经济困难的时候,这个时候你会选择怎...
07-14
白条闪付如何套出来 白条的性质类似于透支卡,原本属于信用消费,但上报上报主体和业务类型性质变成了小额贷,京东白条的额度是和用户的信用评分息息相关的,信用评分越高,京东白条...
07-14
SQL Error: select * from ***_ecms_news6 where id in() limit 2
人口负增长和低生育率对社会的全面影响,越来越成为学界关注的重点。最新一期《人口与经济》发表的一篇论文指出,从该研究的中等水平预测结果来看,2022-2050...
12-06
如何让超高温合金既耐高温又提升强度?近日,中国矿业大学在超高温金属结构材料...
12-08
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮