解决传统架构记忆瓶颈 MiniMax发布新一代模型

4个月前 来源:新京报 观看:69

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。TGp即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。TGp即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。TGp即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”TGp即热新闻——关注每天科技社会生活新变化gihot.com

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。TGp即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。TGp即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。TGp即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”TGp即热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-2-195-0.html解决传统架构记忆瓶颈 MiniMax发布新一代模型

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:深瞳丨AI为药物研发按下“快进键”

下一篇:丝巾变色、火柴变玫瑰 年货节期间淘宝魔术道具销量大增174%

为你推荐
近日,完美世界(002624.SZ)发布2024年度业绩预告。预告显示,完美世界去年全年预计实现营业收入55亿元至56亿元,预计归母净利润为亏损11...
01-21
“车组即将到达检修库,各部门做好准备。”1月13日9时许,由香港西九龙返回的复兴号智能动卧列车临近检修区域,深圳动车运用所动车组机械师陈博文便接到...
01-24
  春晚的开场视觉秀《迎福》中,李子柒化身“蝴蝶仙子”,以一袭长裙惊艳全场。这条长裙凝结了十...
02-05
  从来,“年”都是有情的日子。  从“灯前小草写桃符”的除夕夜开始,到“花市灯如昼”的元宵...
02-14
新年伊始,从空中运输,到海上航行,我国各个港口货物来往穿梭,一派繁忙景象。多地增开国际货运航线,立体交通外贸网络织密中国与世界的连接。新年伊始,墨西哥奥胜航空的全货机满载鲜...
01-21
新闻通讯员 木子春运承载着亿万游子对家乡的眷恋与期盼,春节的脚步近了,归心似箭的人们纷纷踏上返乡之路。据交通运输等部门预计,今年春运全社会跨区域人员流动量将达到90亿人...
01-22
1 月 24 日消息,汽车媒体 Car Magazine 于 1 月 22 日发布博文,报道称奥迪 RS 7 将告别 V8 引擎,采用 V6 插电混动系统,预计输出功率接近 725 马力。新款奥迪 RS 7 将拥...
01-25
蛇舞新春,科技贺岁!万众期待的2025年央视蛇年春晚如期而至。在今年的春晚舞台上,780台问界M9带来划破夜空、直穿云霄的震撼灯光表演,问界M9化身为灵动的“光影舞者”,以闪耀变幻...
01-31
  光明日报北京1月19日电(记者牛梦笛、张进进)中央广播电视总台《2025年春节联欢晚会》19日举行...
01-22
近期,《白色橄榄树》风靡全网,播出后反响热烈。网友们对这部剧的讨论热度不断攀升,纷纷在各大论坛上展开热议,许多人想了解其中的具体内容和剧情细节。今天将详...
02-19
这里是《21健讯Daily》,欢迎与21世纪经济报道新健康团队共同关注医药健康行业最新事件!政策动向国家药监局发布关于26批次不符合规定化妆品...
02-13
  大众网记者 杨涛报道  近日,在第十六届山东省大学生科技节——山东省大学生消防安全技能大赛中,青岛港湾职业技术学院应急管理学院23级建筑消防技术与应急救援技术专...
01-21
  大众网记者 王一刚 报道  进入大班后,孩子们对探索自己身体秘密的情感越来越强烈。在一次手掌拓印活动中,孩子们对手上的指纹产生了浓厚的兴趣,在好奇心的推动下,孩子...
01-21
  1月21日,在岸人民币对美元汇率延续反弹势头,于日间交易时段最高上涨超过500个基点。专家表示,...
01-22
    2月11日,苹果期货主力2505合约收盘报7036元/吨,涨幅0.17%,日K线录得四连阳。分析人士普遍...
02-13
摩羯座的男性通常被认为是稳重、踏实、有责任感的代表。他们注重事业和目标,对自己和周...
01-22
双鱼座的男生通常都是非常浪漫和敏感的,他们对待爱情充满了幻想和渴望。如果你发现身边...
01-22
穿搭化妆风格? 菲律宾穿搭风格?一、穿搭化妆风格?每个人的气质不同,在穿搭上有很多种风格,所以,妆容方面也是有很多风格的。那么,接下来我们一起来看看妆容有哪些风格吧!感兴趣的朋...
02-07
时尚T台秀上的秘密武器:道具伞的魅力与创意当我走进时尚界的T台秀场,映入眼帘的总是那些色彩斑斓、设计独特的服装,以及为其增光添彩的各种道具。其中,有一种道具常常成为我特别...
02-17
马云回国,首站闲鱼。元宵节前一天,马云突然现身阿里巴巴西溪园区,首先来到了闲鱼办公区,向闲鱼的年轻员工们送上新年问候。期间,马云表示:闲鱼应用AI技术的重点,在于服务年轻用户体...
02-14
外卖大战一触即发。1.京东外卖放大招,商家全年0佣金外卖市场的天,恐怕就要变了。2月11日,京东外卖正式启动“品质堂食餐饮商家”招募,进军外卖市场。同时,京东丢下一颗重磅炸弹:20...
02-18
图源:图虫创意 编者按:春节,中国人心中最传统、最具仪式感的...
02-07
高德地图发力内容化,锚定“一张地图承载吃喝玩乐”。据亿邦动力消息,高德地图正在招募评价视频的内测达人,在用户评价中引入短视频内容形式。达人可以报名的时间为2025年3月6日...
03-09
岁聿云暮,一元复始。过去一年里,金融机构始终聚焦主业,践行社会担当,服务国家战略,发挥“金融+慈善”合力,让温暖得到传递。2025年1月13日至1月16日,由中国银河证券主办的“星善之...
01-23
1月21日,蓝思科技与智元机器人公司在长沙举行了灵犀X1人形机器人套餐交付仪式,成功批量交付灵犀X1人形机器人相关产品。蓝思科技深度参与了灵犀X1机器人的关节模组、DCU控...
01-23
1月29日,暴雪宣布下个月将举办一场《守望先锋2》聚焦活动,旨在这款英雄射击游戏被《漫威对决》压制了约两个月后,公布其 “突破性的改动”。该公告还确认,作为活动...
02-03
近期微软在Windows 11的更新策略上一直备受争议,尤其是在全新安装或首次设置时,系统会强制联网下载并安装更新,这一过程通常需要花费较长时间。 最新的消息显示...
02-12
2月9日,哈尔滨亚冬会速度滑冰男子5000米决赛,中国队包揽金银铜牌。吴宇夺得金牌,刘瀚彬获得银牌,哈那哈提·木哈买提获得铜牌。...
02-09
极目新闻记者 康旭阳2月9日消息,阿里云宣布百炼平台全面上线DeepSeek-V3、DeepSeek-R1、DeepSeek-R1-Distill-Qwen-32B等6款全尺寸模型,1元最高可享受200万tokens,即日起,所有用...
02-09
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮