解决传统架构记忆瓶颈 MiniMax发布新一代模型

4个月前 来源:新京报 观看:83

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。8tN即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。8tN即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。8tN即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”8tN即热新闻——关注每天科技社会生活新变化gihot.com

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。8tN即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。8tN即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。8tN即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”8tN即热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-2-195-0.html解决传统架构记忆瓶颈 MiniMax发布新一代模型

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:深瞳丨AI为药物研发按下“快进键”

下一篇:丝巾变色、火柴变玫瑰 年货节期间淘宝魔术道具销量大增174%

为你推荐
昆虫即使在弱光条件下也能表现出极其优秀的敏捷性和反应能力。秘密在于它们的复眼能以惊人的速度和灵敏度检测运动。韩国科学技术院研究人员模仿这...
01-21
中国探月工程嫦娥五号月球样品目前正在北京天文馆展出,“天文馆问月”吸引了众多大小天文迷前往,人们戏称看了展“四舍五入”也算去了趟月球。人们早...
01-21
  为宣传推广我省纺织服装地产品牌,充分展示优质纺织服装实力,日前,由省工信厅、省纺织服装协会、新华集...
01-27
  近日,省财政厅提前下达了2025年省数字经济专项资金1.8亿元,支持我省各领域、各地区的数字经济全面发...
02-05
  中新经纬1月17日电 据商务部网站17日披露,2024年全国吸收外资8262.5亿元人民币。  2024年,全国新设立外商投资企业59080家,同比增长9.9%;实际使用外资金额8262.5亿元人民...
01-21
[本站 资讯] 本期本站的《2025新车大爆料》将为大家带来长安集团的2024年销量回顾以及2025年新产品规划。2024年长安集团旗下众多品牌齐心创造了近七年销量新高,并且...
01-21
1 月 26 日消息,1 月 23 日、24 日,哪吒汽车巴西首店和柬埔寨首店相继开业。根据此前哪吒汽车透露的 2025 年出海战略,计划到 2025 年将海外市场的年度销量实现翻倍增...
01-27
《白色橄榄树》凭借其独特的故事情节、精湛的演员表演和震撼人心的视听效果赢得了广大观众的喜爱。播出后不久,这部剧就在各大热门视频网站上迅速登上了排行...
02-20
最近《树下有片红房子》的讨论度非常高,每一次更新都能引发观众长时间的热议。剧中的各种发展牵动着大家的心,尤其是第11集的剧情。景栖迟参加特训选拔,陈欢尔...
02-21
21世纪经济报道记者武瑛港 实习生张烁 李依浓 房思宇 北京报道近日,有医美业内人士告诉21世纪经济报道记者,1月14日左右已经有医美机构收到...
01-21
21世纪经济报道记者 闫硕 北京报道“国际医疗部的费用真的有点夸张,但体验也真是好。”“国际医疗部的号源相对宽裕,提前1-3天约就可以了。...
02-07
  从初做实验小心翼翼,到省级竞赛崭露头角,再到全国数学、物理专业竞赛多点开花,在物理实验课程...
01-21
  大众网记者 杨涛报道  近日,2024年山东省“技能兴鲁”职业技能大赛暨第五届山东省汽车服务行业职业技能竞赛在青岛港湾职业技术学院成功举行。“技能兴鲁”职业技能...
01-21
  近年来,随着个人消费贷款需求不断增长,不法贷款中介、电信诈骗不法人员盯上了这块“蛋糕”。...
01-24
  摘要  【绝对库存处于低位螺纹钢有望延续上涨】钢材价格自2021年见顶后回落,目前下跌周期...
01-27
狮子座男生通常充满自信、热情和领导力。要想征服他们的心,你需要展现出与他们相匹配的...
01-22
天蝎座的男生通常都是非常专注和冷静的,但当他们爱上一个女生时,他们也会渴望被她撒娇。...
01-22
日本童颜巨星女星? 60岁日本男士穿搭技巧?一、日本童颜巨星女星?一、上户彩上户彩,1985年9月14日出生于日本东京都,演员、歌手。1997年在第7届全日本国民的美少女比赛中获得审查...
02-07
独特魅力:韩国牛仔裤模特精彩T台走秀每年的时尚周总是让人期待不已,尤其是那些展现出独特风格的服装秀。我记得第一次观看韩国牛仔裤模特的T台走秀时,那种体验简直酣畅淋漓。牛...
02-17
拼多多发力商家直播。据亿邦动力,拼多多正在招募在抖音直播的商家入驻多多直播,开启双平台直播。目前,在拼多多双开直播,平台可为商家提供智能中控系统支持,商家不需要招募及配置...
02-20
2月19日消息,小红书电商日前正式启动运营服务商招募,通过运营服务商的专业化能力和经验,为商家提供账号定位、内容打造、直播操盘、店铺运营、投流推广、货盘供应等服务,加速潜...
02-20
2月18日消息,作为赞助商,中国银联将支持境外中国电影节首场落地马耳他。本次电影节上,《封神第一部:朝歌风云》《热辣滚烫》《热烈》《飞驰人生2》等多部影片将轮番上映,生动呈现...
02-19
统一茶里王 图源:统一官网 统一企业(中国)(00220.HK)(下称“统...
03-09
空调界“价格屠夫”要来了。作者 | 笔锋来源 | 投资家(ID:touzijias)空调界“价格屠夫”要来了。12月底,70岁的董明珠在访谈中被问及退休问题时,她意味深长地暗示“明年可能会退...
01-21
【#海尔生物等在天津成立生物医药产业基金# 出资额5600万】天眼查App显示,近日,天津协禾生物医药产业基金合伙企业(有限合伙)成立,执行事务合伙人为天津滨海创投投资管理有限公司...
02-09
玩家们经常将《漫威争锋》与《守望先锋2》相比较,多数人认为《漫威争锋》比《守望先锋2》更有趣好玩。《漫威争锋》上线后,其Steam玩家数不断攀升,而《守望先锋2...
02-03
近日,在接受西班牙媒体Gamereactor采访时,《怪物猎人:荒野》制作人辻本良三和总监德田优也被问及了游戏是否会登陆Switch 2的问题,虽然两人明显没有透露任何有关Sw...
02-13
2025年电影春节档连日来喜报频传。据网络平台数据,截至昨天22时49分,2025春节档总票房(含预售)破74亿元。数据显示,今年春节档在大年初一就创造了新的单日票房和观影人次纪录;大年...
02-03
极目新闻评论员 屈旌2月9日,截至15时,哪吒2票房超78亿,已进入全球影史票房前40,今日或将突破80亿大关。据报道,《哪吒2》片尾出现了138家中国动画公司,导演饺子曾表示,本来寄希望于...
02-09
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮