解决传统架构记忆瓶颈 MiniMax发布新一代模型

3个月前 来源:新京报 观看:36

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。fhL即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。fhL即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。fhL即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”fhL即热新闻——关注每天科技社会生活新变化gihot.com

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。fhL即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。fhL即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。fhL即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”fhL即热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-2-195-0.html解决传统架构记忆瓶颈 MiniMax发布新一代模型

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:深瞳丨AI为药物研发按下“快进键”

下一篇:丝巾变色、火柴变玫瑰 年货节期间淘宝魔术道具销量大增174%

为你推荐
图源:图虫创意 业绩连亏多年的梦网科技(002123.SZ)因一则并...
01-21
“国补减去500元,再加上旧手机以旧换新约抵扣600元,最后售价在4000元左右……”在广州某品牌手机销售门店内,店员正在帮消费者计算购...
01-24
锣鼓一响,秧歌上场!锦州新春,喜气洋洋;杀年猪、冬捕鱼,锦州年味儿到底有多热闹?剪纸、撕纸、葫芦烙画冻梨、炸...
01-22
  蓝天白云、繁星闪烁,辽宁“好天儿”更多了。1月23日,记者从省生态环境厅了解到,2024年,我省环境空气质...
01-24
  研究发现,消费券能显著增加交易活跃程度,且对低收入人群增加消费,可以有明显的提振作用。但要让消费券发挥理想的效果,不仅要精准把握发放的时间节点,还要确保民众有稳定...
01-21
原标题:新就业群体“新”在哪、“难”在哪、关爱工作“落”在哪积极回应新就业群体期盼(青年观察·关注新就业群体)——访中央社会工作部副部长赵世堂数据来源:中央社会工作...
01-21
1 月 24 日消息,比亚迪近日宣布,计划于 2025 年首次在日本推出插电式混合动力汽车,以扩大其在日本市场的影响力。该市场长期以来由本土汽车制造商主导。据日经亚洲报道...
01-25
1 月 28 日消息,据日经亚洲报道,日本本田汽车公司计划最早于 2026 年在北美市场推出一款售价低于 3 万美元(备注:当前约 21.8 万元人民币)的小型电动汽车,以加快在纯电动...
01-29
  1、《难哄》不是《偷偷藏不住》的第二季,这两部剧是姊妹篇,都是根据同一个作者的小说改编的。  2、按照时间线来看的话,《难哄》的时间线要在《偷偷藏不住》之前,前者讲...
02-15
在璀璨夺目的娱乐圈内,何炅凭借其出色的主持能力和温文尔雅的气质,早已赢得了众多粉丝的喜爱与尊敬。然而,近日,这位年过半百的知名主持人再度成为话题中心,原因竟是他那令人惊叹...
02-22
  近期,呼吸道传染病进入高发季。中国疾控中心传染病预防控制所所长阚飙表示,目前到医院就诊的、症状类似流感的患者中,流感病毒、鼻病毒、人偏肺病毒和肺炎支原体等病...
01-21
1月22日,沈阳战狼特训营国防教育基地2025年寒假战狼军事冬令营的22名小学生们一起来到抗美援朝老兵李维...
01-23
  大众网记者 王一刚 报道  为进一步贯彻落实济南高新区教育文体部“三美”教师师德专题培训内容,加强师德师风建设,提升教师队伍素质,济南高新区玺悦幼教集团(玺悦园、...
01-21
  摘要  【“双焦”重挫,向下空间有多大?】前期利多预期兑现后,交易逻辑再次回归基本面,预计短...
02-06
  截至2月13日,已有135家险企(不含再保险公司)披露了2024年四季度偿付能力报告,包括60家人身险公...
02-14
摩羯座的男生通常给人一种稳重、务实的印象,他们对感情也是非常认真和专注的。如果你想...
01-22
射手座的男生通常被认为是自由奔放、热情洋溢的人,他们喜欢追求刺激和冒险,对于感情也是...
01-22
秋季黑色长裙搭配鞋子指南:优雅与时尚的完美结合当金黄的秋天悄然来临,很多人开始为自己的衣橱增添新的单品,而黑色长裙无疑是这个季节不可或缺的时尚单品。如何搭配鞋子,使整体...
02-07
特卖语录? 唯品会品牌特卖和季末特卖?特卖语录?分享一段特卖语录:论金银说元宝,这里的商品最最好!走商场逛商场,看见特价要敢抢!特价不是天天有,该出手时就出手!要买要看行动要快,行动...
02-12
微信接入DeepSeek-R1模型,提供微信搜索框的AI搜索。微信正在灰度测试接入DeepSeek-R1,部分用户已获得测试资格。在微信聊天界面顶部进入搜索栏,会出现“AI搜索”入口,点击后出现...
02-17
2月19日消息,阿里云墨西哥数据中心今日正式启用,这是阿里云在拉美区域的第一座数据中心,为中国出海企业及当地客户提供产品及服务。阿里云墨西哥数据中心首批上线的产品涵盖弹...
02-20
2月11日消息,“市象”公众号发文称,美团内部正在进行一场AI“大跃进”。有美团内部员工透露,今年年初定的大OP(目标计划)就是四个All in,分别是海外市场、下沉市场、无人机、AI。...
02-11
2月10日消息,四川省发展改革委(省数据局)公布2024年度四川省数字化转型促进中心名单,共有18家申报单位获得批复认定,四川合纵药易购医药股份有限公司入选名单。这是四川省新修订...
02-11
从学生成长需求出发,用专业研发与科学配比为学生群体提供全方位护航的食用植物油方案——自2024年8月上市以来,中粮福临门学生营养餐专用食用植物调和油在学生油市场中反响热...
01-21
【#国家能源集团等在安徽成立新公司# 注册资本2.1亿】天眼查App显示,近日,国能(太湖)新能源有限责任公司成立,法定代表人为赵冠永,注册资本2.1亿人民币,经营范围含太阳能发电技术服...
01-21
最近日本游戏制作人神谷英树透露,他打造的所有游戏(《猎天使魔女》《鬼泣》《大神》等)都处于同一宇宙中。尽管这些游戏的艺术风格不同,但神谷英树的说法为游戏...
02-03
据网络平台数据显示,截至1月31日11时55分,2025年春节档电影总票房(含预售)破40亿,再创新高。 其中,《哪吒之魔童闹海》、《唐探1900》、《封神第二部:战火西岐》分列...
02-03
新华社上海2月5日电(记者许东远)F1(世界一级方程式赛车锦标赛)法拉利车队5日宣布,在即将到来的2025赛季,周冠宇将与安东尼奥·吉奥维纳兹共同担任其储备车手。周冠宇通过个人社交...
02-06
2月5日傍晚,小米创始人雷军在社交媒体上发文:这是金的。转发的视频里有人介绍,小米SU7 Ultra车标变成了碳纤维+金色,兄弟们这个如何?来源:当事人社交账号今日上午,雷军又连发多条微...
02-06
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮