解决传统架构记忆瓶颈 MiniMax发布新一代模型

2个月前 来源:新京报 观看:28

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。dk8即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。dk8即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。dk8即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”dk8即热新闻——关注每天科技社会生活新变化gihot.com

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。dk8即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。dk8即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。dk8即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”dk8即热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-2-195-0.html解决传统架构记忆瓶颈 MiniMax发布新一代模型

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:深瞳丨AI为药物研发按下“快进键”

下一篇:丝巾变色、火柴变玫瑰 年货节期间淘宝魔术道具销量大增174%

为你推荐
近日,B站一名员工滥用权限,让某用户在使用哔哩哔哩弹幕网(俗称B站)网页端观看视频时,被错误提示“账号已被封禁”,引发广泛关注。1月21...
01-21
1月初,因误信微信群虚假工作招募信息被诈骗团伙骗至缅甸园区的演员王星终于回到国内,网友提着的一颗心终于松口气。与此同时,围绕网...
01-21
  近日,辽宁省防减救灾办与相关成员单位进行会商,对近期全省自然灾害风险形势开展了研判分析,结合实际对...
01-24
注意啦沈阳市皇姑区、浑南区面向社会公开招聘博士人才事业单位编制发放生活补贴提供住房保障为随迁家属...
02-14
临近年关,广西贺州钟山县年味渐浓,百姓走上街头,买年货、添新衣。在县城以北的广西(钟山)东融电子信息产业园内,企业依然是一派热火朝天的生产景象。走进广西科奈信精密技术有限公...
01-22
  中新经纬1月19日电 据北京市商务局19日消息,北京市出台关于手机等数码产品购新补贴实施细则(下称《实施细则》)。  《实施细则》明确了补贴范围和标准,对在京个人消费者...
01-21
1 月 22 日消息,小米汽车今日宣布,SU7 智能双表盘小年彩蛋表情现已上线,用户可以通过喊“小爱同学放烟花”,让相应表盘放烟花。据悉,相关智能双表盘固件需要在 1.0.2-004...
01-23
1 月 28 日消息,据 Teslarati 报道,一项由电动汽车咨询平台 Electrifying.com 开展的调查显示,特斯拉首席执行官埃隆・马斯克(Elon Musk)的言行正在影响英国消费者对特斯...
01-29
随着《相棒 第23季》的播出热度不断攀升,它有望成为近期最值得一看的作品,并成为大众话题的中心。最近讨论最多的是第17集的剧情。在这一集中,一具尸体在搬运...
02-21
《余烬之上》美华姐是幕后黑手吗?美华姐是好人还是坏人?《余烬之上》中,美华姐(戚美华)是幕后黑手‌。在剧情发展中,廖知白逐渐揭开了大火背后的种种秘密,最终发现...
02-21
  不少人都有“每逢佳节胖三斤”的经历。传统佳节将至,亲友聚会增多,外出餐饮频繁,如何在过好节...
01-21
21世纪经济报道记者 闫硕 北京报道HPV是一种易感染人体表皮和黏膜鳞状上皮的病毒,已被发现有两百多种型别,根据致癌性的不同分为高危型别和...
02-18
中新网厦门1月21日电(杨伏山 戴佩琪)福建省海洋科学与技术创新实验室(鹭江创...
01-21
  大众网记者 王一刚 报道  冬日风雅,大雪知寒。一年岁暮风雪始,寒冬用最纯洁的底色酝酿世间最精彩的颂歌。  一、童言话大雪  孩子们对即将到来的“大雪”节气充...
01-21
  历经16载漫长筹备后,这家银行的上市之路最终未能成真。不久前,随着广州银行撤回发行上市申请,...
01-24
  即便是在周末前往新奥尔良观看超级碗的路上,也不耽误美国总统特朗普舞起新的关税大棒,对钢铁...
02-13
天蝎座的男生通常被认为是深情而又神秘的存在。他们对感情非常认真,一旦决定与某人交往...
01-22
白羊座的男生通常充满活力、冒险精神和自信心。他们喜欢追求刺激和挑战,对于生活充满了...
01-22
170偏瘦男生穿搭? 170斤的男生穿搭?一、170偏瘦男生穿搭?建议以合身的休闲套装为主。大家都知道,男生身高170厘米,是属于中等身材,标准体重在120斤左右。如果这个男生偏瘦,则建议日...
02-17
闯入时尚潮流:道程服饰的风格与魅力在我的生活中,时尚往往不仅仅是衣服的选择,它反映了个人的品位与态度。如今,越来越多的人开始关注潮流服饰,而道程潮流服饰正是其中一道独特的...
02-17
2月8日消息,全国企业破产重整案件信息网日前发布苏宁电器集团有限公司、苏宁控股集团有限公司以及苏宁置业集团有限公司的破产重整案件信息与一债会公告。三家公司已于2025年...
02-09
2月20日消息,展辰集团董事、工业漆事业部总经理张君一行近日到访涂多多。国联股份高级副总裁、涂多多CEO刘斋,涂多多高级副总裁、跨境产发部总经理邵春生代表公司热情接待来访...
02-20
2月19日消息,百度日前发布2024年第四季度及全年财报。财报发布后的电话会上,李彦宏表示,百度在自动驾驶技术领域已经投入了十多年,通过萝卜快跑确立了公司在自动驾驶技术领域的...
02-20
3月7日消息,妇女节来临,同程旅行联合唯品会共同发布《2025年中国女性出行及品牌消费趋势报告》,基于双方过去一年的消费数据,揭示发生在“购物车”与“旅行箱”之间的隐秘关联。...
03-09
2025年,卖奶茶的拼命IPO。作者 | 萧风来源 | 投资家(ID:touzijias)2025年,卖奶茶的拼命IPO。投资家网获悉,号称“每天一杯喝不腻”的新式茶饮公司古茗已通过港交所聆讯、更新招股...
01-22
全球性金融券商集团英国EBC Group平台始终致力于以领先生态,与全球交易者共塑交易的未来。 自第一届交易大赛起,为赤忱的热爱和卓越的才华提供舞台,在全球内寻找交易好手以赋能...
01-24
根据外媒的一份新报告,法国外设厂商NACON称他们预计公司2025/2026财年上半年的销量将大幅增长,作为增长的其中一个原因,他们认为任天堂Switch 2将在此期间发布,即2...
01-22
《绝地潜兵2》的开发商箭头游戏工作室在过去一年里,因其由游戏策划主导的剧情而备受关注。为纪念《绝地潜兵2》发布一周年,极为神秘的游戏策划J.O.E.L.首次在一...
02-10
据央视新闻报道,当地时间2月1日,美国联邦选举委员会年底的备案文件显示,埃隆·马斯克在2024年美国大选中的花费超过了2.9亿美元。马斯克 资料图(来源:环球网)文件表明,马斯克在年末...
02-02
今天是哈尔滨亚冬会短道速滑比赛首日。今天上午9时,短道速滑项目开赛。本届亚冬会短道速滑一共有9个小项,今天主要进行的是多个项目的预赛和半决赛。从9时开始,首先分别是女子...
02-07
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮