开源助推AI技术落地

5个月前 来源:科技日报 观看:148

近日,浪潮电子信息产业股份有限公司(以下简称浪潮信息)发布千亿级开源大模型“源2.0”。“源2.0”创新采用局部注意力过滤增强机制(LFA),可以有效捕捉局部信息和短依赖信息,使模型能够更精准地掌握上下文之间的强语义关联,学习人类语言习惯范式本质,大幅提升数理逻辑、数学计算、代码生成能力。bwm极热新闻——关注每天科技社会生活新变化gihot.com

浪潮信息于2021年9月在业界率先推出了中文人工智能(AI)巨量模型“源1.0”,参数规模高达2457亿。浪潮信息人工智能软件研发总监吴韶华介绍,比起“源1.0”,“源2.0”在算法、数据、计算等方面都实现了创新。在算法上,该模型基于LFA。有别于传统Transformer模型结构擅长捕捉全局信息和长依赖信息能力的特点,LFA具备有效捕捉局部信息和短依赖信息的能力,可确保模型更精准地学习人类语言范式本质。bwm极热新闻——关注每天科技社会生活新变化gihot.com

在数据处理方面,“源2.0”通过使用中英文书籍、论文等资料,结合高效的数据清洗流程,为大模型训练提供了高质量的学科专业数据集和逻辑推理数据集。除此之外,浪潮信息提出基于单元测试的数据清洗方法,可更高效地获取高质量数据集,提高训练效率。“有限的算力资源下,训练数据的质量直接决定了模型的性能。”吴韶华说,“‘源1.0’绝大部分的数据来源于网页,虽然我们花费了很大力气清洗,但数据质量确实需要进一步提高。‘源2.0’减少了网页数据,增加了书籍、期刊等的数据,并引入代码和数学数据,使模型数理逻辑能力进一步增强。”bwm极热新闻——关注每天科技社会生活新变化gihot.com

不仅如此,“源2.0”还将实行全面开源(模型全开源、免费可商用、无需申请授权)。对此,浪潮信息高级副总裁刘军表示,从计算机科学与人工智能的发展历程来看,开源始终对软件技术乃至IT技术的发展有巨大的推动作用。“Meta公司的LLaMA大模型开源之后,迅速吸引了大量开发者。”刘军说,在国内,开源开放是促进AI技术发展和商业落地的重要手段,大模型的开源开放可以使不同的模型之间共享底层数据、算法和代码,有利于打破大模型孤岛,促进模型之间的协作和更新迭代,推动AI开发更加灵活高效。bwm极热新闻——关注每天科技社会生活新变化gihot.com

刘军认为,开源开放有利于推进“技术+行业”的闭环,以更丰富的高质量行业数据反哺模型,打造更强的技术产品,并加速其商业化进程。bwm极热新闻——关注每天科技社会生活新变化gihot.com

刘军透露,未来,依托浪潮信息在AI算力平台等方面的长期技术积累,“源2.0”将持续为大模型创业者和开发者提供更加丰富、全面的助力和更加开放的技术创新空间。bwm极热新闻——关注每天科技社会生活新变化gihot.com

 bwm极热新闻——关注每天科技社会生活新变化gihot.com

近日,浪潮电子信息产业股份有限公司(以下简称浪潮信息)发布千亿级开源大模型“源2.0”。“源2.0”创新采用局部注意力过滤增强机制(LFA),可以有效捕捉局部信息和短依赖信息,使模型能够更精准地掌握上下文之间的强语义关联,学习人类语言习惯范式本质,大幅提升数理逻辑、数学计算、代码生成能力。bwm极热新闻——关注每天科技社会生活新变化gihot.com

浪潮信息于2021年9月在业界率先推出了中文人工智能(AI)巨量模型“源1.0”,参数规模高达2457亿。浪潮信息人工智能软件研发总监吴韶华介绍,比起“源1.0”,“源2.0”在算法、数据、计算等方面都实现了创新。在算法上,该模型基于LFA。有别于传统Transformer模型结构擅长捕捉全局信息和长依赖信息能力的特点,LFA具备有效捕捉局部信息和短依赖信息的能力,可确保模型更精准地学习人类语言范式本质。bwm极热新闻——关注每天科技社会生活新变化gihot.com

在数据处理方面,“源2.0”通过使用中英文书籍、论文等资料,结合高效的数据清洗流程,为大模型训练提供了高质量的学科专业数据集和逻辑推理数据集。除此之外,浪潮信息提出基于单元测试的数据清洗方法,可更高效地获取高质量数据集,提高训练效率。“有限的算力资源下,训练数据的质量直接决定了模型的性能。”吴韶华说,“‘源1.0’绝大部分的数据来源于网页,虽然我们花费了很大力气清洗,但数据质量确实需要进一步提高。‘源2.0’减少了网页数据,增加了书籍、期刊等的数据,并引入代码和数学数据,使模型数理逻辑能力进一步增强。”bwm极热新闻——关注每天科技社会生活新变化gihot.com

不仅如此,“源2.0”还将实行全面开源(模型全开源、免费可商用、无需申请授权)。对此,浪潮信息高级副总裁刘军表示,从计算机科学与人工智能的发展历程来看,开源始终对软件技术乃至IT技术的发展有巨大的推动作用。“Meta公司的LLaMA大模型开源之后,迅速吸引了大量开发者。”刘军说,在国内,开源开放是促进AI技术发展和商业落地的重要手段,大模型的开源开放可以使不同的模型之间共享底层数据、算法和代码,有利于打破大模型孤岛,促进模型之间的协作和更新迭代,推动AI开发更加灵活高效。bwm极热新闻——关注每天科技社会生活新变化gihot.com

刘军认为,开源开放有利于推进“技术+行业”的闭环,以更丰富的高质量行业数据反哺模型,打造更强的技术产品,并加速其商业化进程。bwm极热新闻——关注每天科技社会生活新变化gihot.com

刘军透露,未来,依托浪潮信息在AI算力平台等方面的长期技术积累,“源2.0”将持续为大模型创业者和开发者提供更加丰富、全面的助力和更加开放的技术创新空间。bwm极热新闻——关注每天科技社会生活新变化gihot.com

 bwm极热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-2-136-0.html开源助推AI技术落地

声明:本网页内容旨在传播知识,不代表本站观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:“技术升级+一站构建”助大模型降本增效

下一篇:人工智能辅助科研要从可用走向可信

为你推荐
对于科研工作者来说,检索、阅读文献是一项费时费力的工作。在大模型发展如火如荼的今天,以其为代表的人工智能正渗透进人们工作生活的各个角落,科研领...
12-04
据物理学家组织网12月9日报道,经过36个小时艰难谈判,欧洲议会、欧盟委员会和27个成员国的谈判代表8日晚就《人工智能法案》达成协议。该法案将成为全...
12-12
标题:高速上车故障怎么报位置?别慌,这样做就对了!导语:在高速公路上行驶时,突然遇到车辆故障怎么办?如何快速、准确地报告车辆故障位置,确保自己和他人的安全?本文将为您提供高速上车...
12-01
什么牌子古筝好,不同牌子古筝有何特点? 现在古筝牌子确实多,从地域上讲,主要出自上海、扬州、西安、兰考。每个地方的古筝各有其特点。 就所有古筝牌子来讲,只要品质没问题,价格公...
12-02
  南非全国性限电“卷土重来”  中新社约翰内斯堡11月30日电 (记者 王曦)在南非政府宣布该国供电情况渡过“最艰难时刻”仅一个多月后,南非全国性限电“卷土重来”。当地...
12-01
  “每年大几千万税” 不能成为企业排污底气  多少税收都不是排污的理由和底气。任何发展都不能以牺牲环境作为代价,这也应该成为一种底线思维  “我们基本上每年要交...
12-01
12 月 3 日消息,据央视新闻报道,工业和信息化部的最新信息显示,今年以来,我国氢燃料电池汽车保持良好发展态势,产业进入发展提速的关键期。氢燃料电池车是使氢与空气中的...
12-03
12 月 12 日消息,蔚来智能驾驶研发副总裁任少卿今日公布了蔚来智能驾驶的最新进展。在即将全量推送的 Banyan 2.3.0 版本中,蔚来增强领航辅助 NOP + 正式更名为“全域...
12-12
◎唐山“你无需对父母感到歉意,你有超能力,因为他们在你还是婴儿时,给你注射了五号化合物。”刚热播完的科幻剧《V世代》的第一季中,同学劝解女主角莫瑞的话,令人久难忘怀。莫瑞...
12-04
  唐 尧 马骋怡  2017年,改编自小说《大江东去》的电视剧《大江大河》(第一部)剧本创作启动;2023年初,《大江大河》(第三部)剧本正式画上句号。7年时间,150多万字,让我们刻骨...
12-05
21CC(cancercare),我们关注与癌症相关的一切!21世纪新健康研究院创新资讯栏目——21CC肿瘤情报,梳理一周肿瘤资讯,全面聚焦癌症防治,早发现早诊...
12-05
11月29日,国家药监局官网显示,京新药业申报的1类创新药地达西尼胶囊上市,用于失眠障碍患者的短期治疗。数据显示,中国有近3亿失眠症患者,但治疗药品寥寥。自2...
12-10
  为关爱农村教育,助力乡村振兴,11月30日下午,“关爱农村教育·助力乡村振兴”捐赠活动暨奖励金发放仪式在济南市历城区刘姑店小学举行。  山东省社会组织总会党委书记...
12-05
  大众网记者 秦瑾 通讯员 佀惠霞 报道  为宣传贯彻《中华人民共和国家庭教育促进法》,落实《教育部等十三部门关于健全学校家庭社会协同育人机制的意见》(教基〔2022...
12-06
12月1日,在2023年“读懂中国”国际会议(广州)现场,奥地利前总理沃尔夫冈·许塞尔在接受南方+记者采访时表示,在国际冲突、紧张局势加剧的大背景...
12-02
大鹏之动,非一羽之轻;骐骥之速,非一足之力。距离2023年结束还有不到一个月时间,来自徐州的恩华药业便早早公布了2023全年净利润预增10%至30%的喜讯。而在恩华药...
12-02
SQL Error: select * from ***_ecms_news1 where id in(16,192,160,141,70,122,268,) limit 8
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮