解决传统架构记忆瓶颈 MiniMax发布新一代模型

5个月前 来源:新京报 观看:91

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。M8E即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。M8E即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。M8E即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”M8E即热新闻——关注每天科技社会生活新变化gihot.com

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。M8E即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。M8E即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。M8E即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”M8E即热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-2-195-0.html解决传统架构记忆瓶颈 MiniMax发布新一代模型

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:深瞳丨AI为药物研发按下“快进键”

下一篇:丝巾变色、火柴变玫瑰 年货节期间淘宝魔术道具销量大增174%

为你推荐
1月22日,有网友发现国补后iPhone13 128G版本到手价格跌破3000元,降到历史低价。记者在京东平台上看到,iPhone13销售页面显示,指定地区...
01-23
  记者从辽宁省气象台了解到,从2月5日到2月14日,辽宁省西部地区降水量将较常年偏少5成以上,其他地区降水...
02-07
  新华社北京2月13日电题:破百亿元!“哪吒”动画新突围  新华社记者李欢  突破100亿元!2月13...
02-14
>  近日,有网友在12306购票时发现,一些不是那么热门的行程出现了低价票。对此,12306科创中心负责人单杏花介绍,这是铁路在春运期间的一个惠民措施,一些客座率较低的车次票价...
01-21
进入冰雪季,东北三省谁能成为新的“顶流”?它们亮出了不同的数据,各自展示自己的受欢迎程度。比如辽宁,元旦假期接待游客267.2万人次,...
01-21
  近日,据路透社报道,多家中国上市汽车公司有意收购部分计划被关闭的大众德国汽车工厂。大众汽...
01-21
1 月 29 日消息,2025新款比亚迪海豚的实车照今日曝光,展示了不同的前脸设计,采用新造型的大灯,前包围同步进行调整。该车侧面配备隐藏式车门把手,车尾继续采用海洋网家族...
01-30
《难哄》穆承允喜欢女主吗?穆承允有女朋友吗?在《难哄》中,穆承允对女主温以凡有一定好感,但这种好感并未发展成深刻的喜欢。穆承允会关注温以凡的生活,曾询问温...
02-19
在娱乐圈这个光彩夺目的舞台上,何炅不仅凭借其出色的主持能力和温文尔雅的气质赢得了众多粉丝的喜爱,更因卓越的自律和健康的身体状态成为了公众热议的话题。近日,这位年近半百...
02-22
这里是《21健讯Daily》,欢迎与21世纪经济报道新健康团队共同关注医药健康行业最新事件!政策动向国家医保局发函回应赴上海调研集采药品质量...
01-21
这里是《21健讯Daily》,欢迎与21世纪经济报道新健康团队共同关注医药健康行业最新事件!政策动向国家药监局:简化港澳已上市传统口服中成药内...
01-22
据“北京大学招生办”微信公众号消息,2025年1月14日,北京大学电子信息科学类...
01-21
近日,共青团中央、教育部联合印发《关于共建高校“大思政”体系 推动高校共青团工作高质量发展的实施意...
01-22
  近日,河北武强农商银行因关联交易管理不到位,违规办理承接贷款等违法违规行为收百万罚单,5名相...
01-23
    2月11日,苹果期货主力2505合约收盘报7036元/吨,涨幅0.17%,日K线录得四连阳。分析人士普遍...
02-13
摩羯座的人通常比较内敛和保守,他们不太擅长表达自己的情感,因此要让摩羯座主动找你并不...
01-22
狮子座的男生通常都有着强烈的自尊心和自信心,他们很难接受失败或失去某个重要的人。当...
01-22
球衣外套怎么穿搭? 夹克外套男装穿搭?一、球衣外套怎么穿搭?1.对于球衣外套来说,搭配运动配套球裤肯定是最适合的,整体服装首先很协调。2.想休闲运动风的话,就可以搭配万能的牛仔...
02-07
汉族民族服饰:传承与变迁中的华美风采提到汉族服饰,脑海中自然浮现出那华美的旗袍、精致的唐装,让人不禁想探寻这种服饰背后承载的文化、历史与艺术。在这篇文章中,我将与大家分...
02-12
2月9日消息,抖音商城情人节活动日前正式启动,2月8日-14日,抖音电商将投入海量的流量激励和用户补贴,鼓励商家达人赢得春节后业绩的快速恢复和爆发增长。本次大促活动依托平台全...
02-09
赚钱,无孔不入。1.大小品牌挤进爆火直播间一切生意的本质都是流量,在抖音尤是如此。不知道大家有没有发现,从去年开始,大小品牌开始挤进抖音爆火直播间,通过砸钱给主播送礼物,以此...
02-11
新年伊始,知名少儿编程教育机构——童程童美因财务危机爆雷,全国各地多校区陷入经营困境。此前,《消费者报道》曾在1月17日刊发的《...
02-11
2月17日消息,先买后付解决方案提供商Tabby近日宣布完成1.6亿美元E轮融资,由Blue Pool Capital和Hassana Investment Company联合领投,STV和Wellington Management参投。随着E轮...
02-18
【#交银投资等在陕西成立航空航天股权基金# 出资额10亿】天眼查App显示,近日,陕西财金交汇航空航天新动能股权投资产业基金合伙企业(有限合伙)成立,执行事务合伙人为陕西空天宏远...
01-21
近日,华力创科学宣布完成数千万元A+轮融资,本轮融资由金属3D打印领域头部上市公司铂力特独家投资。据披露,本轮融资所募集的资金将专注于深挖高性能光学多模态感知技术,结合金属...
01-24
《原子之心》DLC3“深海迷情(Enchantment Under the Sea)”现已上线,售价10美元,国区售价40元,自带简体中文和中文配音。截止发稿时,该DLC已收录55篇评价,好评率94%,为...
01-31
今日(2月5日),雅达利经典打砖块游戏《Breakout Beyond》Steam页面开放,发行日期待定,游戏暂不支持中文,感兴趣的玩家可以点击此处进入商店页面。 游戏介绍: 《Bre...
02-06
新华社上海2月5日电(记者许东远)F1(世界一级方程式赛车锦标赛)法拉利车队5日宣布,在即将到来的2025赛季,周冠宇将与安东尼奥·吉奥维纳兹共同担任其储备车手。周冠宇通过个人社交...
02-06
随着电影《哪吒之魔童闹海》热映,“哪吒”系列导演饺子也走进了大众视野,大家对这位“半路出家”的“细节控”颇感兴趣,在一些饺子接受媒体采访的视频片段下,总能看到不少网友的...
02-08
SQL Error: select * from ***_ecms_news1 where id in(181,69,257,,16,235,217,210) limit 8
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮