解决传统架构记忆瓶颈 MiniMax发布新一代模型

9个月前 来源:新京报 观看:179

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。AxQ即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。AxQ即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。AxQ即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”AxQ即热新闻——关注每天科技社会生活新变化gihot.com

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。AxQ即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。AxQ即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。AxQ即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”AxQ即热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-2-195-0.html解决传统架构记忆瓶颈 MiniMax发布新一代模型

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:深瞳丨AI为药物研发按下“快进键”

下一篇:丝巾变色、火柴变玫瑰 年货节期间淘宝魔术道具销量大增174%

为你推荐
做企业,实际上是做文化。当员工在面对市场苦寻出路,或在诱惑面前左右摇摆之时,文化将成为指引他们找寻正路、穿越周期的明灯。刚刚过...
01-21
记者从中国航天科技集团获悉,1月23日13时15分,长征六号改运载火箭在太原卫星发射中心点火起飞,随后以“一箭十八星”方式将千帆极轨06组卫星准确送入...
01-24
  这几天,我国大部地区迎来寒潮天气。从26日上午开始,辽宁迎来今冬以来范围最广、强度最大的一场降雪。...
01-29
  去年全年,我省加力实施积极的财政政策,强化政府投资支撑作用,筹措基本建设投资资金607亿元,带动全省固...
02-15
  库迪咖啡回应不涨价:坚持9.9元价格策略,仍将给予联营商门店补贴  每经记者 李卓  近期,咖啡豆等原料价格持续上涨,引发市场对咖啡消费波动的普遍担忧,不少咖啡品牌纷纷以...
01-21
  中新经纬1月17日电(李晓萱)“教育、数字贸易和跨境电商、海外仓及可再生能源是未来最具潜力的领域。”近日,巴西中国浙江商会会长郑侠茂在接受中新经纬采访时说。巴西中...
01-21
1 月 27 日消息,今日,极氪海外第 15000 台汽车在澳洲正式交付。极氪表示将在 2025 年持续深化国际化战略,重点关注销售和服务网络的拓展与升级,计划 2025 年在海外建设 ...
01-28
2 月 6 日消息,据 Thelec 报道,LG 新能源(LG Energy Solution)将为特斯拉新款 Model Y 供应 2170 电池。报道称,新电池的电芯容量为 5300 毫安时,相较于此前的 5000 毫安...
02-06
最近《树下有片红房子》的讨论度非常高,每一次更新都能引发观众长时间的热议。剧中的各种发展牵动着大家的心,尤其是第11集的剧情。景栖迟参加特训选拔,陈欢尔...
02-21
人气演员王鹤棣近日现身上海,参与了一场备受瞩目的品牌盛事,现场发布的未经修饰的照片和视频迅速在网络上走红,引起了广泛热议。 活动中,王鹤棣以一袭粉色衬衫惊艳亮相,帅气形象...
02-22
21世纪经济报道记者 韩利明 上海报道春节前,王晨(化名)家中未满一岁的幼儿突发咳嗽、流涕等症状。尽管卫生院就在隔壁,王晨还是选择驱车前往县...
02-02
这里是《21健讯Daily》,欢迎与21世纪经济报道新健康团队共同关注医药健康行业最新事件!政策动向国家药监局出台新规支持化妆品原料创新 2月6...
02-07
  大众网记者 杨涛报道  日前,“外研社·国才杯”“理解当代中国”全国大学生外语能力演讲大赛(山东赛区高职组)成绩揭晓,青岛港湾职业技术学院的王淑珍同学凭借出色的表...
01-21
为了进一步做好辽宁省普通高等学校专科层次起点升本科教育(以下简称“专升本”)考试招生工作,从2025年起,辽...
01-21
  上证报中国证券网讯(记者 聂林浩)得益于年末冲规模等季节性因素影响,资产管理信托发行市场再度...
01-22
  根据日程安排,2月11日,美联储主席鲍威尔将出席美国参议院金融委员会的听证会,就半年度货币政策...
02-11
水瓶座男人是一个独特而又复杂的星座,他们对于爱情有着自己独特的追求和标准。下面是一...
01-22
双鱼座的男生通常是浪漫、敏感且富有想象力的人。当他们真正爱上一个人时,会有一些明显...
01-22
潮流时尚从婷婷姐开始:揭秘最新服饰趋势在这个瞬息万变的时尚界,寻找一位真正能够引领潮流的时尚达人并不容易。而我最近接触到的婷婷姐,正是这样一位充满魅力的时尚先锋。她的...
02-07
jeep品牌介绍? museum服饰品牌介绍?jeep品牌介绍?Jeep是一个具有历史和传奇色彩的汽车品牌,始于二战时期的美军轻型越野车。它的产品系列现包括了越野SUV、皮卡车和轿车等不同款...
02-12
黄峥:“在正确的方向上逐步前进,远比在不正确的方向上狂奔要好。”1.拼多多申请“多多剧场”等商标家庭主妇被贬低,转手掏出整套护肤水乳,随便一抹就变身都市丽人;过年被家长安排...
02-09
京东官宣入局外卖市场。今日下午,京东宣布京东外卖正式启动“品质堂食餐饮商家”招募。京东表示,2025年5月1日前入驻的商家,全年免佣金。对于已签约商户佣金政策是否调整,接近京...
02-12
2月19日消息,百度日前发布2024年第四季度及全年财报。财报发布后的电话会上,李彦宏表示,百度在自动驾驶技术领域已经投入了十多年,通过萝卜快跑确立了公司在自动驾驶技术领域的...
02-20
3月5日消息,抖音生活服务南部大区日前推出“萤光计划”,2025年将投入亿级流量、百万货补,帮助中小商家快速掌握运营技能、降低经营成本、获得交易增长。该计划将从资源激励、产...
03-05
从学生成长需求出发,用专业研发与科学配比为学生群体提供全方位护航的食用植物油方案——自2024年8月上市以来,中粮福临门学生营养餐专用食用植物调和油在学生油市场中反响热...
01-21
自去年底开始,黄金多头优势逐渐退却,国际现货黄金价格经历几次大跌后一度跌下2700关口,多空进入漫长的震荡周期,多头始终无法找到再度冲高的时机。  北京时间1月21日,国际现货...
01-24
在经历了《质量效应:仙女座》和《圣歌》这两款彻底失败的游戏后,《龙腾世纪:影障守护者》的开发商BioWare亟需这款游戏大获成功。尽管它广受许多玩家喜爱,但最终还...
02-02
网易策略游戏《万民长歌:三国》Steam商店页公开,计划推出DEMO以供试玩,计划登陆创意工坊,鼓励玩家制作游戏mod,以古中国这片大地为舞台,创造更多创意的玩法。 《万...
02-10
极目新闻记者 余渊 近日,有网友发视频称,湖南岳阳市平江县一辆警车连撞三辆车后,驾驶员逃离现场,此事引发关注。上述视频中,有人员声称:“一辆警车连撞三辆车后发生爆胎,随后驾驶员...
02-08
记者从国家医保局获悉,今年1月,有专家认为某些集采药品可能存在“血压不降、麻药不睡、泻药不泻”质量风险,有关部门派员调研了解情况。日前,参与调研的医保、药监部门接受了记...
02-09
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮