浪潮信息发布千亿级开源大模型“源2.0” 助力AIGC商业化进程

1年前 来源:科技日报 观看:278

11月27日,浪潮电子信息产业股份有限公司(简称浪潮信息)发布千亿级开源大模型“源2.0”。“源2.0”创新采用局部注意力过滤增强机制LFA (Localized Filtering-based Attention),可以有效捕捉局部信息和短依赖信息,使得模型能够更精准地掌握上下文之间的强语义关联,学习人类语言习惯范式本质,实现数理逻辑、数学计算、代码生成能力实现大幅提升。KOR即热新闻——关注每天科技社会生活新变化gihot.com

KOR即热新闻——关注每天科技社会生活新变化gihot.com

作为最早布局大模型的企业之一,浪潮信息于2021年9月在业界率先推出中文AI巨量模型“源1.0”,参数规模高达2457亿。浪潮信息人工智能软件研发总监吴韶华介绍道,“源2.0”在算法、数据、计算等方面都实现了极大创新。在算法上,“源2.0”首次提出具备有效捕捉局部信息和短依赖信息能力的LFA模型结构,使得模型能够更精准地学习人类语言范式本质。在数据处理方面,“源2.0”通过使用中英文书籍、百科、论文等资料,结合高效的数据清洗流程,可以更加高效地获取高质量数据集,提高训练效率。在计算方面,“源2.0”采用非均匀流水并行策略可有效缓解流水线头部与尾部的内存瓶颈,优化器参数并行则可以进一步降低流水线每个阶段的参数量。KOR即热新闻——关注每天科技社会生活新变化gihot.com

更重要的是,浪潮信息宣布,“源2.0”实行全面开源,即模型全开源、免费可商用、无需申请授权。事实上,浪潮信息此前已推出“源1.0”开源开放计划,源开发者社区已汇聚了近万名高水平开发者,孵化出众多创新应用。KOR即热新闻——关注每天科技社会生活新变化gihot.com

“Meta公司的LLaMA大模型开源之后,迅速吸引了大量开发者。”浪潮信息高级副总裁刘军表示,在国内,开源开放是促进AI技术发展和商业落地的重要手段,大模型的开源开放可以使不同的模型之间共享底层数据、算法和代码,有利于打破大模型孤岛,促进模型之间协作和更新迭代,并推动AI开发变得更加灵活和高效。KOR即热新闻——关注每天科技社会生活新变化gihot.com

“只有把AIGC这块蛋糕做大,大家才能共享发展机遇,所以现在国内大模型厂商谈不上竞争,我们是合作关系。”刘军认为,开源开放有利于推进“技术+行业”的闭环,以更丰富的高质量行业数据反哺模型,打造更强的技术产品,加速商业化进程。KOR即热新闻——关注每天科技社会生活新变化gihot.com

刘军透露,未来,依托浪潮信息在AI算力平台、OGAI智算软件栈等方面的长期技术积累,“源2.0”将持续为大模型创业者和开发者提供更加丰富、全面的助力和更加开放的技术创新空间。KOR即热新闻——关注每天科技社会生活新变化gihot.com

(浪潮信息供图)KOR即热新闻——关注每天科技社会生活新变化gihot.com

11月27日,浪潮电子信息产业股份有限公司(简称浪潮信息)发布千亿级开源大模型“源2.0”。“源2.0”创新采用局部注意力过滤增强机制LFA (Localized Filtering-based Attention),可以有效捕捉局部信息和短依赖信息,使得模型能够更精准地掌握上下文之间的强语义关联,学习人类语言习惯范式本质,实现数理逻辑、数学计算、代码生成能力实现大幅提升。KOR即热新闻——关注每天科技社会生活新变化gihot.com

KOR即热新闻——关注每天科技社会生活新变化gihot.com

作为最早布局大模型的企业之一,浪潮信息于2021年9月在业界率先推出中文AI巨量模型“源1.0”,参数规模高达2457亿。浪潮信息人工智能软件研发总监吴韶华介绍道,“源2.0”在算法、数据、计算等方面都实现了极大创新。在算法上,“源2.0”首次提出具备有效捕捉局部信息和短依赖信息能力的LFA模型结构,使得模型能够更精准地学习人类语言范式本质。在数据处理方面,“源2.0”通过使用中英文书籍、百科、论文等资料,结合高效的数据清洗流程,可以更加高效地获取高质量数据集,提高训练效率。在计算方面,“源2.0”采用非均匀流水并行策略可有效缓解流水线头部与尾部的内存瓶颈,优化器参数并行则可以进一步降低流水线每个阶段的参数量。KOR即热新闻——关注每天科技社会生活新变化gihot.com

更重要的是,浪潮信息宣布,“源2.0”实行全面开源,即模型全开源、免费可商用、无需申请授权。事实上,浪潮信息此前已推出“源1.0”开源开放计划,源开发者社区已汇聚了近万名高水平开发者,孵化出众多创新应用。KOR即热新闻——关注每天科技社会生活新变化gihot.com

“Meta公司的LLaMA大模型开源之后,迅速吸引了大量开发者。”浪潮信息高级副总裁刘军表示,在国内,开源开放是促进AI技术发展和商业落地的重要手段,大模型的开源开放可以使不同的模型之间共享底层数据、算法和代码,有利于打破大模型孤岛,促进模型之间协作和更新迭代,并推动AI开发变得更加灵活和高效。KOR即热新闻——关注每天科技社会生活新变化gihot.com

“只有把AIGC这块蛋糕做大,大家才能共享发展机遇,所以现在国内大模型厂商谈不上竞争,我们是合作关系。”刘军认为,开源开放有利于推进“技术+行业”的闭环,以更丰富的高质量行业数据反哺模型,打造更强的技术产品,加速商业化进程。KOR即热新闻——关注每天科技社会生活新变化gihot.com

刘军透露,未来,依托浪潮信息在AI算力平台、OGAI智算软件栈等方面的长期技术积累,“源2.0”将持续为大模型创业者和开发者提供更加丰富、全面的助力和更加开放的技术创新空间。KOR即热新闻——关注每天科技社会生活新变化gihot.com

(浪潮信息供图)KOR即热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-2-44-0.html浪潮信息发布千亿级开源大模型“源2.0” 助力AIGC商业化进程

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:动物实验表明限制摄入一种氨基酸有助延寿

下一篇:美日计划明年发射首颗木制外壳卫星

为你推荐
厦门海沧区当面套VISA境外卡花呗白条分付【微电:150 0062 3958】全天在线欢迎打电话,当面办理安全靠谱!京东白条作为消费金融的主力军,具有连接用户、商户、场景的天然优势,是京...
07-31
南京玄武区本地当面套花呗京东白条VISA信用卡分付本地一手商家秒到账:【138 1874 5895 微信同号】一手当面靠谱!白条怎么套出来,大家在急用钱的时候肯定会想到京东白条或者京东...
07-30
实用招数:白条秒到怎么套,京东白条提现的两种方法。京东白条和蚂蚁花呗的功能基本一样,都是在所在平台消费时可以代替现金,在约定的还款期限正常还款即可,而且白条内的额度也都...
08-06
我们都知道白条是京东金融旗下的消费信贷产品,功能是给我们消费购物使用,先用后还,这种模式比较适合大部分的消费者,不仅缓解了压力,也为广大用户提供了便捷,那么我们该如何合理...
08-06
现在网络鱼龙混杂,请认准靠谱八年商家,金牌小帮手——小创(137-1300-6106可v可来电)(全年365天不掉线) 【白条加油额度怎么套出来】【教你京东C店套白条】【京东信...
09-24
  2024年8月,必胜客WOW首次进入西南区域,并快速在西南地区核心商圈布局,短短几周内,开出了5家必胜客WOW。自1990年在北京开出中国大陆第一家餐厅以来,百胜中国旗下必胜客品牌已...
09-23
预支-微信分付怎么套出来的步骤,实用教程与心得分享随着移动支付的普及,微信成为了人们日常生活中不可或缺的工具。而在日常生活中,我们也难免会遇到一些紧急情况需要借钱。这...
09-09
苹果id贷款微信放款,苹果id贷款口子2024苹果14Pro 经常用苹果手机申请贷款的朋友都发现了,现在分期的网贷口子比之前两年,已经不是很容易下款了。有朋友说就想找有iphone手机...
09-02
澎湃新闻(www.thepaper.cn)从清华大学获悉,4月24日,欧洲科学院网站信息显示,清华...
04-26
佛山风控花呗白条套取秒到账:【181 181 43671微信同号】微信分付、抖音月付、支付宝信用购取消实体商家当面刷,本地一手超低费用没有中间商赚差价,所有信息已实名安全的很。十...
08-30
嘉兴风控花呗白条套取秒到账:【181 181 43671微信同号】微信分付、抖音月付、支付宝信用购取消实体商家当面刷,本地一手超低费用没有中间商赚差价,所有信息已实名安全的很。十...
08-26
青岛风控花呗白条套取秒到账:【181 181 43671微信同号】微信分付、抖音月付、支付宝信用购取消实体商家当面刷,本地一手超低费用没有中间商赚差价,所有信息已实名安全的很。十...
08-27
昆明风控花呗白条套取秒到账:【181 181 43671微信同号】微信分付、抖音月付、支付宝信用购取消实体商家当面刷,本地一手超低费用没有中间商赚差价,所有信息已实名安全的很。十...
08-14
  这个夏天,中国奥运健儿在巴黎奥运会赛场上奋力拼搏、挥洒汗水,创造一个个新的纪录,实现一个个新的突破...
08-11
  新华社北京6月27日电 题:把蕴藏的巨大消费潜力释放出来——国家发展改革委解读《关于打造消费新场景...
06-28
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮