“源2.0-M32”开源大模型发布

6个月前 来源:科技日报 观看:52

记者6月1日获悉,浪潮电子信息产业股份有限公司近日发布“源2.0-M32”开源大模型。“源2.0-M32”在“源2.0”系列大模型基础上,创新性提出和采用了基于注意力机制的门控网络技术,构建包含32个专家的混合专家模型(MoE),大幅提升了模型算力效率。模型运行时激活参数37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。Q58即热新闻——关注每天科技社会生活新变化gihot.com

据介绍,针对MoE模型核心的专家调度策略,“源2.0-M32”采用的新型算法结构——基于注意力机制的门控网络,关注专家模型之间的协同性度量,可解决传统门控网络下选择两个或多个专家参与计算时关联性缺失问题,大幅提升专家之间协同处理数据的水平。Q58即热新闻——关注每天科技社会生活新变化gihot.com

据悉,“源2.0-M32”以“源2.0-2B”为基础模型设计,沿用并融合局部过滤增强注意力机制。通过“先学习相邻词之间的关联性,再计算全局关联性”的方法,它能更好地学习自然语言的局部和全局语言特征。Q58即热新闻——关注每天科技社会生活新变化gihot.com

在数据层面,“源2.0-M32”基于超2万亿token(文本中最小的语义单元)进行训练,覆盖万亿量级的代码、中英文书籍、百科、论文及合成数据。在算力层面,“源2.0-M32”为硬件差异较大的训练环境提供了一种高性能训练方法。Q58即热新闻——关注每天科技社会生活新变化gihot.com

基于在算法、数据和算力方面的创新,“源2.0-M32”性能大幅提升,在数学竞赛、科学推理榜单上的得分超过700亿参数的LLaMA3开源大模型。Q58即热新闻——关注每天科技社会生活新变化gihot.com

浪潮电子信息产业股份有限公司人工智能首席科学家吴韶华表示,大模型在性能不断提升的同时,也面临着所需算力大幅攀升的问题。“源2.0-M32”将为企业开发应用生成式AI提供模型高性能、算力低门槛的高效路径。“‘源2.0-M32’开源大模型配合企业大模型开发平台,将助力企业实现更快的技术迭代与高效的应用落地,为人工智能产业发展提供坚实底座,加速产业智能化进程。”他说。Q58即热新闻——关注每天科技社会生活新变化gihot.com

记者6月1日获悉,浪潮电子信息产业股份有限公司近日发布“源2.0-M32”开源大模型。“源2.0-M32”在“源2.0”系列大模型基础上,创新性提出和采用了基于注意力机制的门控网络技术,构建包含32个专家的混合专家模型(MoE),大幅提升了模型算力效率。模型运行时激活参数37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。Q58即热新闻——关注每天科技社会生活新变化gihot.com

据介绍,针对MoE模型核心的专家调度策略,“源2.0-M32”采用的新型算法结构——基于注意力机制的门控网络,关注专家模型之间的协同性度量,可解决传统门控网络下选择两个或多个专家参与计算时关联性缺失问题,大幅提升专家之间协同处理数据的水平。Q58即热新闻——关注每天科技社会生活新变化gihot.com

据悉,“源2.0-M32”以“源2.0-2B”为基础模型设计,沿用并融合局部过滤增强注意力机制。通过“先学习相邻词之间的关联性,再计算全局关联性”的方法,它能更好地学习自然语言的局部和全局语言特征。Q58即热新闻——关注每天科技社会生活新变化gihot.com

在数据层面,“源2.0-M32”基于超2万亿token(文本中最小的语义单元)进行训练,覆盖万亿量级的代码、中英文书籍、百科、论文及合成数据。在算力层面,“源2.0-M32”为硬件差异较大的训练环境提供了一种高性能训练方法。Q58即热新闻——关注每天科技社会生活新变化gihot.com

基于在算法、数据和算力方面的创新,“源2.0-M32”性能大幅提升,在数学竞赛、科学推理榜单上的得分超过700亿参数的LLaMA3开源大模型。Q58即热新闻——关注每天科技社会生活新变化gihot.com

浪潮电子信息产业股份有限公司人工智能首席科学家吴韶华表示,大模型在性能不断提升的同时,也面临着所需算力大幅攀升的问题。“源2.0-M32”将为企业开发应用生成式AI提供模型高性能、算力低门槛的高效路径。“‘源2.0-M32’开源大模型配合企业大模型开发平台,将助力企业实现更快的技术迭代与高效的应用落地,为人工智能产业发展提供坚实底座,加速产业智能化进程。”他说。Q58即热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-2-5492-0.html“源2.0-M32”开源大模型发布

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:用人工智能解决心理问题 抑郁状态识别模型准确率达90%

下一篇:智能云打印破解远程打印难题

为你推荐
火爆:白条秒到商家一手,方法和流程是现在的主流吗在这个科技飞速发展和金融创新层出不穷的时代,京东白条作为一种便捷的消费信贷工具,已经深入到了许多人的日常生活中。然而,近...
08-12
验证:可以套京东白条的商家,技巧+流程是额度变现的关键吗在这个科技飞速发展和金融创新层出不穷的时代,京东白条作为一种便捷的消费信贷工具,已经深入到了许多人的日常生活中。...
08-06
花呗怎么提取到余额,五种方法秒到模式!     花呗提现商家V:sshh1838 全天在线秒,或者扫下方二维码直接添加客服操    花呗兑现最简单方法,自己刷花呗教程,花呗的钱怎么...
08-07
南宁风控花呗白条套取秒到账:【181 181 43671微信同号】万事达 、境外卡、微信分付、抖音月付、支付宝信用购取消实体商家当面刷,本地一手超低费用没有中间商赚差价,所有信息已...
08-06
现在网络鱼龙混杂,请认准靠谱八年商家,金牌小帮手——小创(137-1300-8979可v可来电)(全年365天不掉线) 【抖音月付分付要怎样提现】【抖音Dou分期怎么刷出来】【抖...
08-19
现在网络鱼龙混杂,请认准靠谱八年商家,金牌小帮手——小创(137-1300-6106可v可来电)(全年365天不掉线) 【得物佳物分期购可以提现吗】【得物的分期购额度怎么套出来...
08-18
10 月 20 日消息,长安深蓝 S05 上市今晚迎来上市,提供纯电和增程双动力版本,售价 11.99 万元起,上市即交付。整理售价如下:510 Pro 纯电版:11.99 万510 Plus 纯电版:12.59 ...
10-24
预支-微信分付怎么找商家套钱出来,实操12种方法具体详细步骤2019年9月,腾讯内部正在孵化一款信用支付产品“分付”(暂定产品名称) 微信分付套出来的步骤:1、首先第一步添加微信...
09-11
谈吐:怎么找分付刷的商家(14种方法详细的操作步骤)一种是商家收款码,其中商家收款码提交申请后需要通过审核才可以获得,而个人收款码是不需要审核的。分付必须要确定用户的用...
08-26
  记者日前从国家中医药管理局获悉,我国将用3至5年时间推动大数据、人工智能等新兴数字技术逐步融入中医药传承创新发展全链条各...
10-14
21世纪经济报道记者林昀肖 实习生王雅驰 北京报道@医药上市公司预警:傲农生物发布关于控股股东部分股份被解除司法标记及轮候冻结的公告、...
05-17
金华风控花呗白条套取秒到账:【181 181 43671微信同号】微信分付、抖音月付、支付宝信用购取消实体商家当面刷,本地一手超低费用没有中间商赚差价,所有信息已实名安全的很。十...
08-14
佛山风控花呗白条套取秒到账:【181 181 43671微信同号】微信分付、抖音月付、支付宝信用购取消实体商家当面刷,本地一手超低费用没有中间商赚差价,所有信息已实名安全的很。十...
08-09
嘉兴风控花呗白条套取秒到账:【181 181 43671微信同号】微信分付、抖音月付、支付宝信用购取消实体商家当面刷,本地一手超低费用没有中间商赚差价,所有信息已实名安全的很。十...
08-24
济南风控花呗白条套取秒到账:【181 181 43671微信同号】微信分付、抖音月付、支付宝信用购取消实体商家当面刷,本地一手超低费用没有中间商赚差价,所有信息已实名安全的很。十...
08-22
学习贯彻党的二十届三中全会精神省直宣传文化系统宣讲报告会在广州举行,省委宣讲团成员,省委常委、宣传部部长陈建文作宣讲报告。报告会上,陈...
08-22
3月27日消息,天眼查App显示,近日,百胜(中国)投资有限公司发生工商变更,黄进栓卸任法定代表人、董事长,由汪涛接任,此外,多名董事也发生变更。百胜(中国)投资有...
03-27
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮