解决传统架构记忆瓶颈 MiniMax发布新一代模型

7个月前 来源:新京报 观看:146

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。St6即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。St6即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。St6即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”St6即热新闻——关注每天科技社会生活新变化gihot.com

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。St6即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。St6即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。St6即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”St6即热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-2-195-0.html解决传统架构记忆瓶颈 MiniMax发布新一代模型

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:深瞳丨AI为药物研发按下“快进键”

下一篇:丝巾变色、火柴变玫瑰 年货节期间淘宝魔术道具销量大增174%

为你推荐
当下,IP成为了企业品牌发展的主旋律,而创始人IP更是企业品牌营销中常见的一个名词。2024年12月26日至28日,全球创始人IP领袖高峰论坛顺应时势,围绕“创...
01-21
1月初,因误信微信群虚假工作招募信息被诈骗团伙骗至缅甸园区的演员王星终于回到国内,网友提着的一颗心终于松口气。与此同时,围绕网...
01-21
  2月13日,金杯汽车股份有限公司发布晚间公告称,公司董事会收到许晓敏先生的书面辞职报告,因其达到法定...
02-15
  中央气象台2月16日18时继续发布大风蓝色预警:  预计,2月16日20时至17日20时,内蒙古中东部、辽宁、吉...
02-17
新华社北京1月21日电(记者张辛欣、张晓洁)工业和信息化部副部长张云明在21日国新办举行的“中国经济高质量发展成效”系列新闻发布会上表示,我国已有570多家工业企业入围全球研...
01-22
  中新经纬1月17日电 题:2024年消费结构在向多元化、品质化转变  作者 徐洪才 中国政策科学研究会经济政策委员会副主任  国家统计局17日发布的2024年国民经济运行情况...
01-21
1月15日,阿维塔中心南京大明路店隆重开业,作为阿维塔大家庭中的新成员,南京大明路中心店集展示、销售、售后服务为一体,让众多热爱阿维塔品牌的朋友近距离感受阿维塔“与众不同...
01-21
1 月 21 日消息,赛力斯今日公告,预计 2024 年度实现营业收入 1442 亿元到 1467 亿元,同比上升 302.32% 到 309.30%。从公告获悉,赛力斯预计 2024 年度实现归属于上市公...
01-22
《难哄》穆承允说了什么?穆承允结局是什么?在《难哄》中,穆承允说过的话虽没有大面积的详细描写,但有一些关键话语能体现他的人物特点和相关情节对温以凡表达关...
02-19
《山寨人生》是最新上映的一部热门电视剧,成功吸引了大量观众的关注,并在剧情和演员表现方面获得了高度评价。这部剧围绕“山寨人生一共有几季”这一话题展开...
02-22
21世纪经济报道记者 季媛媛 李佳英 上海 广州报道1月22日,国家卫生健康委、国家中医药局联合发布《流行性感冒诊疗方案(2025年版)》(以下简称...
01-24
这里是《21健讯Daily》,欢迎与21世纪经济报道新健康团队共同关注医药健康行业最新事件!政策动向国家药监局药审中心发布《地中海贫血基因治...
02-10
  2024年8月20日,我和弟弟参加了北京银行西安分行和华商网童学会联合举办的“京苗小记者”研学活动,不仅过了一把警察瘾,而且从中学到了很多的新知识。  怀着激动的心情,我...
01-21
在孩子的成长过程中,家庭教育担任的角色越来越受到重视。假期是家庭教育的关键时期,也是加强家校联系的重...
01-21
      今日,A股市场即将迎来节后首个交易日。隔夜,热门中概股多数上涨,纳斯达克中国金龙指数...
02-05
  根据日程安排,2月11日,美联储主席鲍威尔将出席美国参议院金融委员会的听证会,就半年度货币政策...
02-11
在爱情的世界里,有时候我们会遇到一些人,他们似乎对我们表现出了浓厚的兴趣,但却让我们感...
01-22
摩羯座是黄道带上的第十个星座,出生于12月22日至1月19日期间。摩羯座的人以稳重、务实...
01-22
外科风云获奖? 外科风云真相?一、外科风云获奖?获得第31届电视剧飞天奖提名和第四届亚洲彩虹盛典优秀电视剧男配角奖项。该剧讲述了空降到仁合医院美籍华裔医生庄恕(靳东 饰)与胸...
02-07
冬季男穿搭? 1、英伦绅士风  英伦风打扮的关键特性就是说精美、修身养性。在严寒的冬天,一套打扮得当的英伦风服装,将你的绅士精美反映得酣畅淋漓。  搭配技巧:英伦绅士风...
02-07
2月8日消息,京东工业近日与永冠新材签署战略合作协议。双方将依托京东工业自营供应链合作模式,共同拓展市场、提升品牌影响力,携手为广大工业企业用户带来更便捷、更专业的胶粘...
02-09
又一奢侈品电商巨头将撤出中国。奢侈品电商平台Net-a-Porter近日发布公告称,公司将于3月20日关闭包括天猫、微信小程序、小红书、抖音旗舰店、公司网站和App在内的所有中国线...
02-18
2月11日消息,e代驾大数据中心发布了《2025年“蛇年”春节代驾趋势报告》。报告显示,自1月14日春运开始截至目前,酒后代驾需求同比去年上涨23%。北京、上海、广州、深圳、成都、...
02-11
2月27日消息,中国旅游研究院(文化和旅游部数据中心)日前与马蜂窝联合召开“旅游目的地发展创新研究合作及成果发布会”,会上发布旅游目的地系列研究首份成果——《中国魅力小城...
03-01
2024年末,一位科技创业者火了。作者 | 王思琪来源 | 投资家(ID:touzijias)2024年末,一位科技创业者火了。2025年初,这位创业者再度爆火。近日,中国科技行业因一位85后年轻人现身《...
01-24
在全球经贸环境遭遇寒流,多国贸易活动陷入低迷之际,中国外贸犹如一艘巨轮,破浪前行,展现出非凡的韧性和增长潜力。作为世界第二大经济体,中国外贸不仅是国内经济增长的重要支柱,更...
02-09
世嘉在最新财报中详细分析了第三季度的表现,称其娱乐内容业务在销售额和利润同比均增长后依然“强劲”。 具体来看消费者子部门(世嘉娱乐内容部门的电子游戏业...
02-10
根据 Culture Crave 报道,流媒体平台迪士尼+上出现了最近热门的团队英雄动作射击游戏《漫威争锋》的独立分区。 该分区以“出现在《漫威争锋》的角色为特色”,...
02-11
极目新闻记者 宋枕涛2月2日,农历正月初五,武汉归元寺迎来一年一度的迎财神传统民俗活动。清晨6时,大批游客涌往汉阳归元寺,以敬香“迎财神”的方式为新年祈福。记者在现场看到,公...
02-02
极目新闻记者 陈凌燕收集整理2月7日晚,第九届亚冬会在哈尔滨开幕。关于这场冰雪盛会,这些“热知识”赶紧分享给你。哈尔滨冰雪大世界园区内的第九届亚冬会会徽冰建景观(新华社...
02-08
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮