解决传统架构记忆瓶颈 MiniMax发布新一代模型

7个月前 来源:新京报 观看:160

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。DTx即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。DTx即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。DTx即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”DTx即热新闻——关注每天科技社会生活新变化gihot.com

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。DTx即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。DTx即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。DTx即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”DTx即热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-2-195-0.html解决传统架构记忆瓶颈 MiniMax发布新一代模型

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:深瞳丨AI为药物研发按下“快进键”

下一篇:丝巾变色、火柴变玫瑰 年货节期间淘宝魔术道具销量大增174%

为你推荐
随着人类探索太空的脚步迈得越来越大,在月球上,甚至在火星上驻留并建设基地成为可能。想在月球上居住和旅行,水、氧气等生存资源和交通工具就不可或缺...
01-21
1月20日,我国首款起飞重量5.25吨、最大载重1.9吨的大型无人机鸿雁(HY100)在新疆石河子市天域航通石河子生产基地成功实现量产下线,其中3架顺利向客户完...
01-21
  近日,载有南美进口水果的“演奏者”轮在大连集装箱码头开启卸船作业,装有4400吨新鲜车厘子和200吨蓝...
01-21
  本报记者于帆  20世纪以来,香港电影产业蓬勃发展,先后创作了逾万部影片,赢得了“东方好莱坞...
01-22
  央广网北京1月17日消息(记者门庭婷)1月17日,国家统计局发布2024年全国房地产市场基本情况。 ...
01-21
  继“City不City”之后,“周五下班去中国”成为海外游客新潮流,韩国年轻人日渐兴起了“去中国过周末”的citywalk。  免签政策开放以来,越来越多的外国游客亲身体验、...
01-21
1 月 27 日消息,鸿蒙智行官方今日公布了旗下车型新年 OTA 升级详情,新版本将支持eAES 增强型自动紧急转向、新年主题 ADS App 等功能。附鸿蒙智行新年 OTA 升级详情如...
01-28
2 月 5 日消息,广汽埃安 AION UT 纯电小车将于 2 月底上市,该车上个月已开启预售,预售价格为 8.98 万元到 10.98 万元,99 元意向金抵 1000 元购车款。从此前官方介绍获...
02-06
《难哄》温以凡被舅舅欺负了吗?他舅舅玷污他了吗?在《难哄》中,温以凡确实遭遇了舅舅车兴德的欺负。醉酒后的侵犯企图:温以凡暂住在大伯大伯母家时,大伯母的弟弟...
02-19
最近热播的《南有乔木》受到了观众的喜爱,剧情介绍也成为了大家热议的话题。这部剧由李海潞和韩伊沁主演,每天上午10:00上线,属于女频虐恋题材,在碧海、饭余、...
02-21
编者按:一个人工智能(AI)机器人,在短短8天内独立完成了668项实验,合成了668种化合物,并成功研发出一种全新的化学催化剂。这一壮举令人赞叹。AI...
02-11
  大众网记者 司心鹏 报道  12月24日至12月26日,第三届全国职业技能大赛化学实验室技术赛项山东省选拔赛在山东化工技师学院世界技能大赛化学实验室技术项目中国集训...
01-21
近日,人力资源社会保障部办公厅印发《关于2025年度专业技术人员职业资格考试工作计划及有关事项的通知》...
01-21
  随着春节临近,银行理财子公司再掀“降费潮”。  1月23日,光大理财在官网发布多条公告,将对旗...
01-24
  中国证券报记者1月26日获悉,国家金融监督管理总局近日已批复开展第二批保险资金长期股票投资...
02-05
水瓶座的男生通常被认为是理性、独立和思想开放的人。他们喜欢追求自由和创新,对于传统...
01-22
射手座的男生通常被认为是自由奔放、热情洋溢的人,他们喜欢追求刺激和冒险,对于感情也是...
01-22
夏日狂欢:模特T台走秀泳衣背后的时尚魅力在炎炎夏日,泳衣秀成为了时尚界的一大亮点,尤其是在模特T台走秀中,那些色彩艳丽、设计独特的泳衣总是能瞬间吸引观众的目光。那么,究竟是...
02-07
红色衬衫搭配什么外套?一、红色衬衫搭配什么外套?红色衬衫,可以搭配黑色西装,红与黑的搭配也比较经典好看,女生的话可以搭配相应颜色的针织开衫,也显得比较自信优雅百搭且好看。白...
02-17
2月5日消息,盒马发布《2025盒区房春节消费报告》(以下简称“报告”)。《报告》显示,盒马年菜销售同比增长了42%,下单购买年菜的18-35岁的年轻消费者占比达56%,不同于老一辈,这届年...
02-07
2月9日消息,天猫近日发布一则内测文档,宣布“天猫旗舰店会员活动现在可以直投微信私域”,即允许品牌直接将微信私域流量引导至天猫旗舰店,实现会员招募、购买转化及销量回流。目...
02-09
餐饮二手设备回收商还在疯狂回收,而茶饮是重灾区。一位从事二手餐饮设备回收的资深人士告诉虎嗅,2024年奶茶相关设备的回收量成为二...
03-01
3月2日消息,携程旅游网络技术(上海)有限公司近日获第二届“上海慈善奖”捐赠企业奖。图源:携程黑板报公众号据介绍,在乡村振兴方面,携程全力打造“乡村旅游振兴”战略,通过规模化赋...
03-03
作 者:罗拓 提到消费投资,加华资本的创始人宋向前是一个绕不开的人物。即使你不关注投资行业本身,或许你也听过他的言论。 过去数年,不少知名机构都在逃离消费投资。在消费投资...
01-21
自去年底开始,黄金多头优势逐渐退却,国际现货黄金价格经历几次大跌后一度跌下2700关口,多空进入漫长的震荡周期,多头始终无法找到再度冲高的时机。  北京时间1月21日,国际现货...
01-24
随着Blackwell架构、RTX 50系列显卡的推出,NVIDIA发布了一系列新技术,比如说RTX神经渲染纹理压缩(NTC),现在终于第一次看到了关于它的测试,可以节省多达96%的显存...
02-12
育碧发布了截至2024 年 12 月 31 日的九个月财务报告,这家法国开发商和发行商重点介绍了即将推出的《刺客信条》游戏以及正在进行的成本削减计划,该计划已经导致...
02-15
据新华社报道,美国总统特朗普2月1日签署行政令,对进口自中国的商品加征10%的关税。美国的这一最新贸易保护措施在国际社会和美国国内遭到广泛反对。 商务部回应美对华加征关税...
02-02
2月5日是乙巳蛇年首个工作日,湖北、湖南、广东、浙江等多省份在这一天召开省级层面的“新春第一会”。一季度是全年经济的风向标,确保一季度“开门红”是完成全年目标任务的关...
02-06
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮