解决传统架构记忆瓶颈 MiniMax发布新一代模型

5个月前 来源:新京报 观看:108

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。0F6即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。0F6即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。0F6即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”0F6即热新闻——关注每天科技社会生活新变化gihot.com

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。0F6即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。0F6即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。0F6即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”0F6即热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-2-195-0.html解决传统架构记忆瓶颈 MiniMax发布新一代模型

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:深瞳丨AI为药物研发按下“快进键”

下一篇:丝巾变色、火柴变玫瑰 年货节期间淘宝魔术道具销量大增174%

为你推荐
技术进步是降低人工智能应用门槛的关键。这有待加大科研投入,强化自主研发能力,在智能芯片、操作系统等关键领域取得更多突破。夯实算力、算法、数据...
01-27
  从西安市区出发,驱车一个多小时便可来到位于秦岭脚下的鄠邑区栗峪口村。在社交平台上,栗峪口...
02-05
  ◎刘侠本报记者滕继濮  2月4日,正值新春假期。四川自贡的夜空,被一盏盏精美绝伦的彩灯点缀...
02-11
  中新经纬1月20日电 国家能源局网站20日发布2024年全社会用电量等数据。  2024年,全社会用电量98521亿千瓦时,同比增长6.8%,其中规模以上工业发电量为94181亿千瓦时。  ...
01-21
  生物制品跨省、跨境分段生产“松绑”,创新药企利好几何  “当一家生物科技公司(biotech)只拥有一款药,为此盖个工厂,维护成本是不是太高?出厂价是否会因此抬高?”“生物药...
01-21
1 月 21 日消息,奇瑞捷途纵横今日连续发布旗下首款车型预告视频,全新序列将于明日(1 月 22 日)19:00 举行新品发布会。从官方视频可以看到,这款新车采用了硬派 SUV 设计,...
01-21
  近期,国家发展改革委和财政部发布了《关于2025年加力扩围实施大规模设备更新和消费品以旧换...
01-24
  1、《掌心》礼宗旭是坏人,他是十恶不赦的大反派,表面上是大善人,私下里做尽龌龊勾当。  2、礼宗旭因童年目睹母亲被家暴的阴影,而养成了扭曲的心理,被他凌虐荼毒的无辜少...
02-15
近期,演员于适的名誉维权案有了新进展。据其工作室发布的消息,一系列针对名誉权受损的维权行动正在紧锣密鼓地进行中。具体而言,工作室透露,已有7起因涉嫌侵害于适名誉权的案件...
02-22
  11月18日至24日是世界卫生组织确定的“提高抗微生物药物认识周”。当前,抗生素使用情况如何?“新华视点”记者走访多地进行调查...
01-21
这里是《21健讯Daily》,欢迎与21世纪经济报道新健康团队共同关注医药健康行业最新事件!政策动向国家药监局发布关于26批次不符合规定化妆品...
02-13
近期,阜新市第一职专刘艳霞名班主任工作室阶段汇报会在学校一楼礼堂举行。会议由工作室成员冯宇老师主持...
01-21
作者:张宝歌(宁波大学教师教育学院院长、东海研究院教授)近年来,学生评教制度已逐步成为各高校提升课堂教学...
01-22
  春节临近,多家理财公司发售“春节档”理财产品。记者走访北京地区银行网点发现,多家银行已上...
01-22
  2024年年底,成都新易盛通信技术股份有限公司(以下简称“新易盛”)发布公告称,收到公司控股股东...
02-06
在星座学中,双鱼男和天蝎女被认为是非常相配的一对。他们之间的吸引力和默契让人难以忽...
01-22
巨蟹座的男生通常是非常专一和忠诚的,但当他们遇到新欢时,总会有一些迹象透露出来。焖鸡...
01-22
如何穿搭的小技巧?跟街拍达人学穿搭,做一个时尚的酷girls,你会发现更美的自己街拍是一种时尚文化,也是对潮流的诠释。每一位出现在摄影师镜头中的时尚专家都是时尚达人。他们的...
02-17
广州哪里有YSL专柜? ysl圣罗兰的专柜在广州哪里有?广州哪里有YSL专柜?天河区 天河路218号天环广场B1-156号铺 天环广场全部店铺ysl圣罗兰的专柜在广州哪里有?环市东路白云宾馆旁...
02-17
2月4日消息,春节假期,京东联合联通数智智慧足迹,对全国31个城市的线下商圈客流量及消费数据进行了实时动态统计,反映消费者在春节线上线下各场景中的消费趋势。观察显示,西安、哈...
02-07
1月20日消息,猎芯近日与深圳市矽睿半导体有限公司(以下简称:矽睿半导体)达成授权代理合作。矽睿半导体全系列产品已上线至猎芯网平台商城,含磁传感器、电源管理、锂电池保护芯片...
02-07
2月26日消息,2月中旬以来,国内赏花游的热度如春潮般涌动,途牛截至目前最新预订数据显示,樱花、油菜花、桃花、杏花等春季限定赏花主题旅游产品预订热度提升显著。热门客源地方面...
02-27
3月1日消息,同程旅行日前与海南省政府签署战略合作框架协议,标志着同程旅行在海南省的投资布局力度进一步加大,为海南省建设国际旅游消费中心,打造世界一流旅游目的地提供多维度...
03-01
近日,华力创科学宣布完成数千万元A+轮融资,本轮融资由金属3D打印领域头部上市公司铂力特独家投资。据披露,本轮融资所募集的资金将专注于深挖高性能光学多模态感知技术,结合金属...
01-24
近日,华力创科学宣布完成数千万元A+轮融资,本轮融资由金属3D打印领域头部上市公司铂力特独家投资。据披露,本轮融资所募集的资金将专注于深挖高性能光学多模态感知技术,结合金属...
01-24
在今早的Xbox开发者直面会上,Xbox在直播过程中发布了《忍者龙剑传2》的发售宣传片,但网友发现直播的Xbox版预告遭到了和谐,本该露出性感女性的画面被无故掐掉,而PS...
01-27
《流放之路》开发商GGG向初代游戏的粉丝道歉,原因是初代游戏的更新被推迟,需要等《流放之路2》的关键更新上线才能推出。 GGG曾向粉丝承诺,他们将继续更新已运营...
02-01
当地时间2月2日,美国华盛顿消防部门表示,已确定两机相撞事故中55名遇难者的身份。当地时间1月29日,一架美国国内支线客机在罗纳德·里根华盛顿国家机场同一架美军直升机在半空...
02-03
记者当地时间5日获悉,位于美国华盛顿州的西塔科机场当天10时左右发生轻微碰撞事故,一架滑行中的日本航空公司飞机撞到一架停靠的达美航空飞机尾部,碰撞未造成人员受伤。目前事...
02-06
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮