解决传统架构记忆瓶颈 MiniMax发布新一代模型

8个月前 来源:新京报 观看:173

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。hO5即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。hO5即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。hO5即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”hO5即热新闻——关注每天科技社会生活新变化gihot.com

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。hO5即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。hO5即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。hO5即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”hO5即热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-2-195-0.html解决传统架构记忆瓶颈 MiniMax发布新一代模型

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:深瞳丨AI为药物研发按下“快进键”

下一篇:丝巾变色、火柴变玫瑰 年货节期间淘宝魔术道具销量大增174%

为你推荐
黄仁勋在中国台湾的行程聚焦于先进封装 CoWoS。1月16日,英伟达CEO黄仁勋开启中国台湾行程,首站到访矽品精密并出席揭牌仪式。黄仁勋...
01-21
来自美国亚利桑那大学的天文学家团队使用大型双筒望远镜干涉仪,在红外波段捕捉到了迄今为止最清晰的活动星系核(AGN)图像,并将研究结果发表在最新一期...
01-21
  一场降雪,光顾辽沈大地,“兆丰年”的同时,也为归乡人的安全畅行带来了些许麻烦。辽宁交投高速运营公司...
01-27
  26日起,辽宁多地出现强降雪天气,多部门连夜开始除雪作业。...
01-28
春节临近,年味渐浓。每到除夕前几天,置办年货成了消费者日常生活中的“头等大事”。年货种类繁多,尤其是食品类年货更是多种多样,其中又以四川特产年货最受全国消费者欢迎。从麻...
01-22
  资生堂提价容易增长难    新年涨价已经成为资生堂的惯例。近日,资生堂宣布将在4月对旗下多款产品进行涨价,涨幅在2%―10%不等。2024年2月,资生堂就宣布过一轮涨价。实际...
01-21
  日前,中国汽车流通协会发布的《2024年12月中国汽车保值率报告》(以下简称《报告》)显示,2024...
01-24
2 月 5 日消息,丰田汽车公司(以下简称“丰田”)与上海市政府今日就共同助力中国社会绿色低碳发展相关举措达成合作意向。丰田决定在上海市金山区成立 LEXUS 雷克萨斯纯...
02-05
《树下有片红房子》自播出以来,在各大社交平台上引发了广泛关注和讨论。无论是抖音、微博还是B站,都有观众分享该剧的视频、剧情内容和观后感。下面主要介绍...
02-20
《余烬之上》在哪播出?是翻拍的吗?《余烬之上》于2025年2月8日在腾讯视频播出。‌《余烬之上》不是翻拍剧,而是原创剧本‌。该剧由王子奇和孙阳等人主演,五百担...
02-21
21世纪经济报道记者林昀肖 实习生苏洋 北京报道 2月6日,香雪制药发布《关于被债权人申请预重整的提示性公告》(以下简称《提示性公告》)。其...
02-09
  本报北京2月13日电(记者白剑峰)国家卫生健康委决定2025年在全国卫生健康系统组织实施一批为民服务实事项目,用心用情做好8件为民服务健康实事,让人民群众有更多的获得...
02-14
  大众网记者 司心鹏 报道  12月24日上午,廉洁文化进学校暨“青春·清菏韵泽”廉洁文化馆开馆仪式在菏泽职业学院举行。市委常委、市纪委书记、市监委主任赵永强、市...
01-21
  2024年4月20日,天气很晴朗,我去做“小记者”还体验在银行办业务啦。  这是一场北京银行西安分行与华商网童学会举办的研学活动(室内)。第一部分是学习做小记者,我们先听...
01-21
  内蒙古保险行业协会针对非法“代理退保”猖獗、严重扰乱保险市场秩序的问题,为切实保护消费...
01-21
经济观察网 邢祺欣/文 6月19日,惠誉评级在北京举行的“2024惠誉看中国”会议上,发布《中国主权评级及宏观经济前景展望》报告。对中国政府近期采取的支持经济的措施,惠誉评级中...
02-13
摩羯男和金牛女的配对指数非常高,他们在很多方面都能够互补,形成一个稳定而和谐的关系。...
01-22
天秤男是一个追求平衡和和谐的星座,他们喜欢美丽、优雅的事物。当他们遇到某个特定的星...
01-22
探索君杰潮流服饰:引领时尚的新风潮当我们提到潮流服饰,许多人都会想起那些充满个性和活力的品牌。而在这个竞争激烈的市场中,君杰潮流服饰无疑在众多品牌中脱颖而出。作为一个...
02-07
莆田珠宝产业:从传统手工到现代设计的华丽蜕变提到珠宝,许多人可能会想到璀璨夺目的钻石和繁复精致的手工艺品。然而,若我告诉你,在中国的莆田,这座城市正以其卓越的珠宝产业悄然...
02-07
刘强东:无论京东做多大,都将会把最实惠的价格带给用户。1.京东上线竞价购物玩法刘强东认准一件事情,似乎无论发生什么,都会贯彻到底。自从2022年底京东零售内部大会上,刘强东明确...
02-13
2月19日消息,抖音商城38好物节日前开启商家报名,活动时间为2月27日20:00:00至3月8日23:59:59。图源:抖音电商学习中心本次38大促无预售,全程为现货开卖,平台核心玩法是官方立减15...
02-20
2月16日消息,爱彼迎发布2024年第四季度及全年财务业绩。四季度,爱彼迎收入约25亿美元,同比增长12%;净利润约4.61亿美元,同比扭亏为盈,净利润率达19%;经调整EBITDA(息税折旧及摊销前...
02-17
2月28日消息,蚂蚁集团发布内部通知,宣布对两项薪酬政策进行调整,以提升员工薪酬收入的流动性和激励即时性。根据通知:17级及以下员工取消年底13薪,改为并入到每月基本工资中发放;1...
03-01
第二家站在“镍王”巨人肩膀上的IPO要来了!近日,麦田能源股份有限公司(以下简称“麦田能源”)在浙江证监局办理辅导备案登记,辅导机构国泰君安。而这是...
02-07
近日,绿色动力与发电系统制造商「屹普动力」完成数千万元Pre-A轮融资,由元禾璞华与沃衍资本联合领投,林洋与君基金、常测机电以及银河电子等上市公司...
02-07
1月24日今天,知名动漫IP《新世纪福音战士》官方宣布,EVANGELION:95服饰新品牌正式诞生,今后粉丝可以更加直接的表达对于EVA系列的喜爱。 ·EVANGELION:95的设计...
01-24
为纪念《消逝的光芒》问世十周年,开发商Techland宣布这款后启示录丧尸题材系列迎来重要里程碑:全平台累计玩家数突破4500万。该数据涵盖初代《消逝的光芒》与续...
01-31
央视网消息:中国地震台网正式测定:02月02日15时17分在西藏日喀则市定日县(北纬28.43度,东经87.52度)发生3.2级地震,震源深度10千米。...
02-02
来自2025年综合运输春运工作专班数据显示,2025年2月4日(春运第22日,农历正月初七),全社会跨区域人员流动量预计34611万人次。其中,铁路客运量1690万人次,公路人员流动量32556万人次...
02-04
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮