解决传统架构记忆瓶颈 MiniMax发布新一代模型

1年前 来源:新京报 观看:281

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。gVA即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。gVA即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。gVA即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”gVA即热新闻——关注每天科技社会生活新变化gihot.com

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。gVA即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。gVA即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。gVA即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”gVA即热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-2-195-0.html解决传统架构记忆瓶颈 MiniMax发布新一代模型

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:深瞳丨AI为药物研发按下“快进键”

下一篇:丝巾变色、火柴变玫瑰 年货节期间淘宝魔术道具销量大增174%

为你推荐
海军054B护卫舰首舰漯河舰1月22日上午在山东青岛某军港交接入列。10时许,入列授旗仪式开始,全场高唱中华人民共和国国歌,五星红旗冉冉升起。仪仗礼兵...
01-23
每到年关讨债忙!作为中国最有名的背债人之一,罗永浩近期忙得不可开交。2025年的第一周,一款名为J1 Assistant的聚合类AI助理软件在海...
01-27
  2月13日,金杯汽车股份有限公司发布晚间公告称,公司董事会收到许晓敏先生的书面辞职报告,因其达到法定...
02-15
  在国家发展改革委近日发布的《国家物流枢纽布局优化调整方案》中,锦州市成功入选本次新增的26个城市...
02-15
  2024年是房地产市场“政策大年”,也是历经3年左右调整后开始止跌企稳的一年。2024年9月26日,...
01-22
  (新春走基层)山东企业生产忙 年货经济带动消费热潮  中新网济南1月17日电 (吕妍)进入腊月,年味渐浓,家家户户开始置办年货。山东各地企业订单不断,纷纷开足马力忙生产,保...
01-21
1 月 23 日消息,东风日产汽车销售有限公司总经理刘新宇昨日发文称,“日产被炒作了三个月破产,睁眼一看账面还躺着 630 亿元,相当于小米造车投入两次。”此外他还表示“...
01-24
2月4日,赛力斯发布2025年1月产销快报。数据显示,赛力斯新能源汽车1月销量达17906辆。问界M9系列1月交付12483辆,连续10个月蝉联中国豪华市场50万元以上豪华车销量第一,持续引领...
02-05
《余烬之上》谁是主谋?谁是幕后大佬?‌《余烬之上》的主谋是纳威‌。尽管最初怀疑是廖知白,但最终被排除,纳威的嫌疑逐渐加重。纳威是一个既富有又神秘的人物,出...
02-21
人气演员王鹤棣近日现身上海,参与了一场备受瞩目的品牌盛事,现场发布的未经修饰的照片和视频迅速在网络上走红,引起了广泛热议。 活动中,王鹤棣以一袭粉色衬衫惊艳亮相,帅气形象...
02-22
21世纪经济报道 唐唯珂 广州报道医院端经营的考验还在持续。本月,投资30亿元,开诊仅2.5年的重庆全域肿瘤医院在其官方公众号上发布了解除职...
01-21
21世纪经济报道记者季媛媛 上海报道 继2023年出现上市以来首次亏损,科创板首家CRO(医药合同研发服务)企业美迪西(688202.SH)2024年的业绩继续...
01-22
2025年1月16日天文系系主任换届,通过民主推荐和考察,经学校研究决定,清华大...
01-21
  从初做实验小心翼翼,到省级竞赛崭露头角,再到全国数学、物理专业竞赛多点开花,在物理实验课程...
01-21
  原标题:2024年12月信托发行数量、规模创全年新高?非标信托主导季节性冲规模 标品信托回归债券...
01-22
  2025年1月,江苏农商联合银行、江西农商联合银行获批筹建;2024年,四川农商联合银行、广西农商联...
02-06
双鱼男对摩羯女有着特殊的感觉,他们总是不自觉地被摩羯女所吸引。这种吸引力来自于双鱼...
01-22
射手座的男生天性热情开朗,喜欢自由自在地生活。他们追求刺激和冒险,对于感情也是如此。...
01-22
探秘丹妹潮流服饰:引领时尚新风潮近年来,随着时尚行业的发展与变化,越来越多的服饰品牌通过独特的设计与个性化的风格赢得了年轻消费者的青睐。在这样的市场背景下,丹妹潮流服饰...
02-07
国际超模的璀璨舞台:T台走秀背后的故事在时尚界,国际超模的T台走秀一直是万众瞩目的焦点。每一次的走秀都像是一场艺术的盛会,不仅展现了设计师的创意与灵感,更是模特们风貌与气...
02-12
与其被动防守,不如主动出击。近年来,随着各行业竞争日趋白热化,内卷现象不断加剧。面对生存压力,互联网巨头们在巩固核心业务的同时,愈发迫切地需要拓展多元化布局。这一战略转...
02-18
2月18日消息,总部位于班加罗尔的B2B电子商务公司Udaan近日从现有投资者Lightspeed Venture Partners和英国M&G Prudential处募集到7500万美元资金。据悉,该公司有望在下一季度...
02-19
2025年家电购新补贴延续,对于家电圈而言可谓喜闻乐见。一方面,消费者能够用更优惠的价格添置高品质的新家电;另一方面,厂商能够专注绿...
02-07
京东要成为外卖行业的一条鲶鱼。1.京东外卖订单暴涨,一周涌入20万商家京东外卖这颗重磅炸弹,正在外卖市场掀起一场巨大的波澜。上周,京东外卖正式开启“品质堂食餐饮商家”招募...
02-23
2024年,全球宏观经济环境复杂多变,国内经济弱复苏背景下,固定收益市场成为投资者的重要选择。债券市场配置需求旺盛,收益率曲线平坦化,投资者对固定收益类基金的关注度显著提升。...
01-21
自去年底开始,黄金多头优势逐渐退却,国际现货黄金价格经历几次大跌后一度跌下2700关口,多空进入漫长的震荡周期,多头始终无法找到再度冲高的时机。  北京时间1月21日,国际现货...
01-24
《博德之门3》开发商拉瑞安工作室的发行总监 MichaelDouse 最近在社交媒体上表示,希望 Steam 能够为想要支持一些独立游戏开发者,愿意花更多钱的玩家提供更多的...
01-28
Take-Two Interactive 首席执行官 Strauss Zelnick 最近分享了一些对于 AI 人工智能的看法,称“人工智能”这个概念实际上就是一个“矛盾修辞”。 在接受 GI.b...
02-10
极目新闻记者 吴昌华通讯员 胡子昂 何周谛2025年2月2日,农历正月初五,武汉归元寺迎来群众敬香祈福高峰。当天清晨,天还没亮,已有不少人等候在归元寺外,武汉公安民警、辅警早已在...
02-03
随着人工智能技术的迅猛发展,AI大模型“深度求索 DeepSeek”凭借其突破性进展迅速走红,各种“培训课”马上就来了。学习人工智能一定要付费吗?消费者如何甄别纷繁的网课?有消费...
02-07
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮