解决传统架构记忆瓶颈 MiniMax发布新一代模型

6个月前 来源:新京报 观看:129

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。YIr即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。YIr即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。YIr即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”YIr即热新闻——关注每天科技社会生活新变化gihot.com

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。YIr即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。YIr即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。YIr即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”YIr即热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-2-195-0.html解决传统架构记忆瓶颈 MiniMax发布新一代模型

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:深瞳丨AI为药物研发按下“快进键”

下一篇:丝巾变色、火柴变玫瑰 年货节期间淘宝魔术道具销量大增174%

为你推荐
新华社合肥1月20日电(记者徐海涛、陈诺)“998、999、1000……”大屏幕上的数字最终定格在1066,原本安静的控制大厅一片欢呼。1月20日,我国...
01-21
中国探月工程嫦娥五号月球样品目前正在北京天文馆展出,“天文馆问月”吸引了众多大小天文迷前往,人们戏称看了展“四舍五入”也算去了趟月球。人们早...
01-21
  有不少购买机票的消费者在社交平台反映说,自己购买机票准备线上值机选座位的时候却发现能选...
01-21
  据气象部门监测,预计1月26日至27日我省将有一次强降雪、寒潮、大风天气过程,东部地区有大雪(5~10毫米...
01-23
财联社1月21日讯(记者 王宏)昨日晚间离岸人民币兑美元持续拉升,接连收复7.31、7.30、7.29、7.28、7.27关口,日内涨近750点。业内分析指出,当前特朗普对贸易政策的最新表态有所缓...
01-21
  眼下流感等呼吸道传染病正处于季节性流行期。如何正确服用抗流感药物奥司他韦、玛巴洛沙韦?  北京佑安医院感染综合科主任医师 李侗曾:从疗效上来说,其实是一样的。新...
01-21
1 月 24 日消息,华为乾崑智能汽车解决方案官方昨日晚公布了乾崑智驾 1 月升级指南(ADS 软件版本号:ADS Pro V3.2.1),新版本将支持APA 智能泊车中途切换离车泊入等功能。...
01-24
  中国汽车工业协会日前发布数据显示,2024年,我国汽车产销累计完成3128.2万辆和3143.6万辆,同比...
01-27
  苏也菲  微短剧如火如荼,“微短剧+”成为某种趋势。微短剧以其短视频体质、类似高概念电影...
01-22
  《难哄》桑延和温以凡的爱情之路并不顺遂,桑延给足了温以凡偏爱和安全感,才让对方接受自己。《难哄》桑延温以凡什么时候在一起?桑延也曾经被温以凡拒绝过,但他并没有因此...
02-14
21世纪经济报道记者李佳英、季媛媛 广州、上海报道 细胞疗法,作为新一代精准医疗技术的典范,正在推动全球生物制药行业的最新一轮发展和变革...
01-25
这里是《21健讯Daily》,欢迎与21世纪经济报道新健康团队共同关注医药健康行业最新事件!政策动向国家医疗保障局召开2025年全国医疗保障系统...
02-11
  大众网记者 司心鹏 报道  12月24日至12月26日,第三届全国职业技能大赛化学实验室技术赛项山东省选拔赛在山东化工技师学院世界技能大赛化学实验室技术项目中国集训...
01-21
  大众网记者 王一刚 报道  这个冬至,让我们和艺术撞个满怀……  为全面贯彻教育部发布的《关于全面实施学校美育浸润行动的通知》,“以美育浸润学生、以美育浸润教...
01-21
  近日,又有一家消费金融公司收到监管罚单。  根据国家金融监督管理总局四川监管局开出的罚...
01-22
  近年来蛋鸡养殖利润丰厚,养殖户积累了充裕的现金流,加上饲料价格走弱,蛋鸡养殖成本下降,现货价...
01-23
天秤座的男人通常具有温和、善良、浪漫的性格,他们注重平衡和和谐,追求美好的事物。在婚...
01-22
每个人都有自己心目中理想的伴侣类型,而对于狮子座的男生他们通常希望找到一位能够与他...
01-22
魅力与风格并存:男模特如何征服T台走秀当我第一次走上T台,看着千百双眼睛注视着我,那一刻的紧张与兴奋交织在一起。场下的闪光灯、一阵阵掌声、还有设计师们期待的眼光,几乎每一...
02-07
掌握潮流:男士服饰搭配的5个必备技巧在这个追求个性的时代,男士服饰搭配越来越受到关注。作为一名对时尚有追求的男士,我经常会思考如何在众多潮流中找到适合自己的搭配方法。...
02-12
2月7日消息,转转集团数据显示,春节期间,其回收业务、线上App与线下门店订单量分别增长 40%、71%、52%。新春焕新潮带动了二手回收市场的繁荣。转转平台布局了生活家电、乐器玩...
02-08
2月7日消息,震坤行宣布旗下AI产品:AI物料管家已接入DeepSeek V3模型,用户可以在处理海量物料数据清单时自主选择使用,至此将为企业在物料梳理相关工作环节带来更多改善。图源:震...
02-08
2月4日消息,同程旅行发布《2025春节假期旅行消费报告》。报告显示,2025年春节,中国游客通过中转联运等方式开启了更聪明的团圆之旅,为了追求极致性价比,部分游客在返程途中选择在...
02-07
近日,有网友陆续在社交平台发帖称,在专门销售平价商品的两元店里发现一些网红品牌粉扑在售,售价2元左右。而相关产品在品牌官方渠道...
02-21
近来,交易领域的流行语不外乎是“技术”和“创新”。 虽然许多业内人士都在强调尖端解决方案,但本质上真正的进步是远非这些营销炒作所能比的。 名副其实的创新是能为交易者提...
01-21
近日,众钠能源完成由中合投资和黄海金控联合投资的近亿元A1轮融资,本轮融资充分体现了资本市场对硫酸铁钠技术路线及众钠团队产业化能力的高度认可...
02-07
在今早的Xbox开发者直面会上,Xbox在直播过程中发布了《忍者龙剑传2》的发售宣传片,但网友发现直播的Xbox版预告遭到了和谐,本该露出性感女性的画面被无故掐掉,而PS...
01-27
近日在四川内江资中,一名小孩往下水道投放鞭炮,瞬间引发剧烈爆炸。 据国内媒体报道称,四川资中县一男孩将鞭炮扔进下水道引发化粪池内沼气爆燃,事故现场多辆停放在...
02-02
据央视新闻报道,当地时间2月1日,美国联邦选举委员会年底的备案文件显示,埃隆·马斯克在2024年美国大选中的花费超过了2.9亿美元。马斯克 资料图(来源:环球网)文件表明,马斯克在年末...
02-02
2月9日,哈尔滨亚冬会速度滑冰男子5000米决赛,中国队包揽金银铜牌。吴宇夺得金牌,刘瀚彬获得银牌,哈那哈提·木哈买提获得铜牌。...
02-09
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮