解决传统架构记忆瓶颈 MiniMax发布新一代模型

9个月前 来源:新京报 观看:180

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。VM4即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。VM4即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。VM4即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”VM4即热新闻——关注每天科技社会生活新变化gihot.com

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。VM4即热新闻——关注每天科技社会生活新变化gihot.com

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。VM4即热新闻——关注每天科技社会生活新变化gihot.com

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。VM4即热新闻——关注每天科技社会生活新变化gihot.com

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”VM4即热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-2-195-0.html解决传统架构记忆瓶颈 MiniMax发布新一代模型

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:深瞳丨AI为药物研发按下“快进键”

下一篇:丝巾变色、火柴变玫瑰 年货节期间淘宝魔术道具销量大增174%

为你推荐
  据国务院国资委8月6日消息,近日,国务院国资委、国家发展改革委印发《关于规范中央企业采购管...
01-21
当下,IP成为了企业品牌发展的主旋律,而创始人IP更是企业品牌营销中常见的一个名词。2024年12月26日至28日,全球创始人IP领袖高峰论坛顺应时势,围绕“创...
01-21
  想办“商转公”贷款的小伙伴儿  沈阳公积金  最新政策调整来了  想提取公积金还房贷的小伙伴...
01-21
  据省交通运输厅预测,今年春节期间,省内自驾车出行量将创历史新高,国网辽宁电动汽车公司预测春节期间将...
01-22
新闻记者 潘锡珩通讯员陈默 龙慧芳近日,武汉市武昌区黄鹤楼街道读书社区的居民代表,为武钢江南燃气公司送上了一面锦旗,上面写着“踏实为民办实事,情暖人心暖寒冬”,以此表达对江...
01-22
  临近过年,记者注意到,在小红书平台上,有不少网友用烟花爆竹炸面粉,制造氛围感,拍成视频上传到平台炫耀。  其中,部分帖子点赞已达上万。有网友分享了“二踢脚炸面粉”的...
01-22
1 月 27 日消息,宁德时代官微今日发文称,今年,宁德时代分别在江苏、上海、海南等地部署移动式充储检一体机器人 —— CharGo 充电狗。根据江苏省交通运输厅和南京市交...
01-28
2 月 4 日消息,赛力斯集团刚刚发布了最新的 2025 年 1 月份产销快报。汇总主要数据如下:赛力斯汽车 1 月产量 17513 辆,同比减少 44.88%;1 月销量 16432 辆,同比减少 47....
02-04
  近来,“C-Drama”(Chinese Drama,中文电视剧)成为海外新热词,讨论日益火爆。  前段时间,由《...
01-22
近日,娱乐圈内一对知名夫妇——刘诗诗与吴奇隆的生活状态,通过圈内人士刘大锤的社交平台分享,再次吸引了公众的广泛关注。此次爆料不仅揭示了两人独特的家庭分工模式,还意外引发...
02-23
21世纪经济报道记者武瑛港 实习生张烁 李依浓 房思宇 北京报道近日,有医美业内人士告诉21世纪经济报道记者,1月14日左右已经有医美机构收到...
01-21
作者:衣晓蕾 上海市第六人民医院超声医学科公益科普支持:广东省二十一世纪教育基金会 “医生,我最近喉咙疼,还发热,是不是甲流啊?我好害怕啊!”“...
02-07
  大众网记者 司心鹏 通讯员 刘振 盛凤娟 报道  近日,2024年职业院校技能大赛各赛项圆满收官,山东水利职业学院在本年度赛事中表现卓越,成绩斐然。在世界职业院校技能大...
01-21
  大众网记者 张明明 报道  11月11日至14日,由教育部高等教育司指导、中国高等教育学会主办的第四届全国高校教师教学创新大赛产教融合赛道全国赛在重庆邮电大学举行...
01-21
  近期,保险资金频繁“扫货”上市公司股票。根据Wind统计,今年以来,包括平安人寿举牌邮储银行H股...
02-11
  截至2月13日,已有135家险企(不含再保险公司)披露了2024年四季度偿付能力报告,包括60家人身险公...
02-14
天秤座男生通常具有温和、友善、善解人意的性格,他们注重平衡和公正,喜欢与人和谐相处。...
01-22
狮子座的男生通常自信、热情和有领导力,因此要打动他们的心并不容易。然而,只要你掌握了...
01-22
双人模特T台走秀:打造完美合拍的魅力瞬间T台是时尚界闪耀的舞台,而模特们的走秀动作更是其中的灵魂所在。当我第一次站在T台上,心中充满了既兴奋又紧张的感觉。不仅要展现个人...
02-07
一米七腿粗男生怎么穿搭?一、一米七腿粗男生怎么穿搭?男的一米七个子是比较矮的,这样的人身材墩实,腿又粗又短,搭配衣服是一件难的事情,我建议应该搭配一些颜色比较浅的衣服,最好是...
02-12
2月4日消息,满载着15吨临猗苹果的冷链运输车近日从山西省运城市临猗县北辛乡卓逸村万华果业基地出发前往青岛港,通过海运至澳大利亚。这是临猗县发展跨境电商业务以来,今年首单...
02-07
2月10日消息,据香港01,小红书近日洽租香港铜锣湾时代广场写字楼,承租一个面积约7000平方英尺(约650平方米)的高层单位,作为香港办公室,成交租金每平方英尺约40港元。以此计算,小红书...
02-11
新春将至,年末大扫除又来了。作为确保家居环境清洁与安全的清洁剂,哪些品牌曾被监管部门抽检出不合格?大家对家居清洁剂的了解有多少...
02-07
2月26日消息,飞猪近日密集新增和更新多个类目的治理规则,进一步优化平台治理。其中包括:针对酒店、门票、租车、包车、签证、接送机等类目新增系列违规处罚场景;针对酒店拒单、...
02-26
1月18日,游族网络2025年会“U-nite U-show——游秀之夜”在上海西岸穹顶艺术中心成功举办。本次年会主题意为“聚在一起,秀出自己”,一方面象征着这是以每位优秀的游族人为主角...
01-21
1月21日,蓝思科技与智元机器人公司在长沙举行了灵犀X1人形机器人套餐交付仪式,成功批量交付灵犀X1人形机器人相关产品。蓝思科技深度参与了灵犀X1机器人的关节模组、DCU控...
01-23
最近颇受好评的英雄射击游戏《漫威争锋》确认,将回归其最原始的形式,由漫威官方发布介绍游戏剧情的正版漫画。 《漫威争锋》本身有着完全原创的故事,实际上,在游戏...
01-22
随着AI的快速发展,部分科学家开始借助AI设计芯片,然而AI设计的部分芯片过于复杂,甚至超出人类的理解范畴。 普林斯顿大学Sengupta实验室的科学家团队主导了这项...
02-10
据网络平台数据截至2月5日13时29分2025年春节档上映新片(含春节档结束后)总票房(含点映及预售)突破100亿!截至2月5日9时2025年春节档总观影人次突破1.87亿超2024年春节档总观影人...
02-05
央视记者获悉,当地时间2月5日,美国一名法官黛博拉·博德曼在马里兰州格林贝尔特举行庭审后发布了初步禁令,阻止特朗普旨在终止“出生公民权”的行政令的实施。美国总统特朗普1...
02-06
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮