如何在算力紧缺的背景下提升大模型训练和推理的效率，并降低成本？这已成为一众大模型企业不得不面对的难题之一。
日前，腾讯披露，腾讯混元大模型背后的自研机器学习框架Angel再次升级。“自研机器学习框架升级后，腾讯大模型训练效率可提升至主流开源框架的2.6倍，用该框架训练千亿级大模型可节省50%算力成本，大模型推理速度提高了1.3倍。”11月30日，腾讯机器学习平台部总监陶阳宇向科技日报记者表示。
不只是腾讯，在提升大模型训练效率、加速大模型落地应用方面，一批中国企业交出了自己的“答卷”。
双管齐下节约算力成本
在大型模型训练和推理过程中，需要消耗大量算力资源。因此，提高硬件资源利用率，对国产大模型技术的发展至关重要。
陶阳宇介绍，面向大模型训练，腾讯自研了机器学习框架Angel。该框架针对预训练、模型精调和强化学习等全流程进行了加速和优化。据悉，它采用FP8混合精度训练技术，并深度优化了4D混合并行训练策略，还在ZeROCache技术基础上减少了冗余模型存储和内存碎片，提升了内存的利用率。同时，该框架还可兼容适配多款国产化硬件。
而据媒体披露，除了提高硬件资源利用率，针对通信策略、AI框架、模型编译等进行系统级优化，亦可大幅节约训练调优和算力成本。
此外，随着模型参数的增大，大模型推理的成本也随之攀升。陶阳宇介绍，腾讯自研的大模型机器学习框架Angel通过扩展并行、向量数据库、批处理等多种优化手段，提高了吞吐能力，达到了更快的推理性能，降低了成本。
不只是腾讯，在第二十届中国计算机大会上，百度首席技术官王海峰就公开透露，文心大模型4.0从今年3月发布至今，其训练算法效率已提升3.6倍；通过百度飞桨与文心大模型的协同优化，文心大模型周均训练有效率超过98%，推理性能提升50倍。
此外，据公开资料显示，阿里云通义大模型则聚焦于规模定理，基于小模型数据分布、规则和配比，研究大规模参数规模下如何提升模型能力，并通过对底层集群的优化，将模型训练效率提升了30%，训练稳定性提升了15%。
让大模型“开箱即用”成为可能
不难看出，调整和优化模型的训练和推理方式，其最终目的都指向使模型更好地适应实际应用场景、降低在终端应用中的额外成本。“大模型的应用和研发同样重要。”腾讯机器学习平台专家工程师姚军说，只有提供方便、强大的接入平台，才能让大模型真正走向应用。
百度创始人、董事长兼首席执行官李彦宏也曾表示，大模型本身是不直接产生价值的，基于大模型开发出来的应用才是大模型存在的意义。然而，很多大模型落地的难度很大，因为一个大模型往往会对应着很多不同种类的应用，这需要大量的接口和流量支持。
如何破解这道难题？据悉，基于自研机器学习框架Angel，腾讯打造了大模型接入和应用开发的一站式平台，让针对业务场景的数据处理、模型微调、评测部署和应用构建等多个环节，从以往“散装”的多团队协作方式，转化成流水线平台上自动化生产方式，让大模型的“开箱即用”成为可能。“开箱即用”的关键在于预训练基础模型的泛化能力，高性能框架提供的微调或扩展工程能力，以及应用平台的灵活构建能力等支撑。据媒体披露，目前腾讯会议、腾讯新闻、腾讯视频等超过300个腾讯产品及场景均已接入腾讯混元大模型进行内测，数量相比10月份翻了一倍，覆盖文本总结、摘要、创作、翻译、代码等多个场景。比如，腾讯混元大模型就可支持智能化的广告素材创作，满足“千人千面”的需求。
《北京市人工智能行业大模型创新应用白皮书（2023年）》数据显示，截至2023年10月，我国10亿参数规模以上的大模型厂商及高校院所共计254家，分布于20余个省市/地区。
“未来大模型产品的发展趋势可能是通用大模型与垂直领域细分模型的结合。”中国人民大学数字经济研究中心主任李三希此前表示，这不仅需要具备坚实的技术基础，如大规模、高质量、多样化的语料库，创新的大模型算法，自研的机器学习框架和强大的算力基础设施等，也需要大模型产品具有坚实的基于场景的应用。未来，从实践中来，到实践中去的“实用级”大模型将成为趋势。
如何在算力紧缺的背景下提升大模型训练和推理的效率，并降低成本？这已成为一众大模型企业不得不面对的难题之一。
日前，腾讯披露，腾讯混元大模型背后的自研机器学习框架Angel再次升级。“自研机器学习框架升级后，腾讯大模型训练效率可提升至主流开源框架的2.6倍，用该框架训练千亿级大模型可节省50%算力成本，大模型推理速度提高了1.3倍。”11月30日，腾讯机器学习平台部总监陶阳宇向科技日报记者表示。
不只是腾讯，在提升大模型训练效率、加速大模型落地应用方面，一批中国企业交出了自己的“答卷”。
双管齐下节约算力成本
在大型模型训练和推理过程中，需要消耗大量算力资源。因此，提高硬件资源利用率，对国产大模型技术的发展至关重要。
陶阳宇介绍，面向大模型训练，腾讯自研了机器学习框架Angel。该框架针对预训练、模型精调和强化学习等全流程进行了加速和优化。据悉，它采用FP8混合精度训练技术，并深度优化了4D混合并行训练策略，还在ZeROCache技术基础上减少了冗余模型存储和内存碎片，提升了内存的利用率。同时，该框架还可兼容适配多款国产化硬件。
而据媒体披露，除了提高硬件资源利用率，针对通信策略、AI框架、模型编译等进行系统级优化，亦可大幅节约训练调优和算力成本。
此外，随着模型参数的增大，大模型推理的成本也随之攀升。陶阳宇介绍，腾讯自研的大模型机器学习框架Angel通过扩展并行、向量数据库、批处理等多种优化手段，提高了吞吐能力，达到了更快的推理性能，降低了成本。
不只是腾讯，在第二十届中国计算机大会上，百度首席技术官王海峰就公开透露，文心大模型4.0从今年3月发布至今，其训练算法效率已提升3.6倍；通过百度飞桨与文心大模型的协同优化，文心大模型周均训练有效率超过98%，推理性能提升50倍。
此外，据公开资料显示，阿里云通义大模型则聚焦于规模定理，基于小模型数据分布、规则和配比，研究大规模参数规模下如何提升模型能力，并通过对底层集群的优化，将模型训练效率提升了30%，训练稳定性提升了15%。
让大模型“开箱即用”成为可能
不难看出，调整和优化模型的训练和推理方式，其最终目的都指向使模型更好地适应实际应用场景、降低在终端应用中的额外成本。“大模型的应用和研发同样重要。”腾讯机器学习平台专家工程师姚军说，只有提供方便、强大的接入平台，才能让大模型真正走向应用。
百度创始人、董事长兼首席执行官李彦宏也曾表示，大模型本身是不直接产生价值的，基于大模型开发出来的应用才是大模型存在的意义。然而，很多大模型落地的难度很大，因为一个大模型往往会对应着很多不同种类的应用，这需要大量的接口和流量支持。
如何破解这道难题？据悉，基于自研机器学习框架Angel，腾讯打造了大模型接入和应用开发的一站式平台，让针对业务场景的数据处理、模型微调、评测部署和应用构建等多个环节，从以往“散装”的多团队协作方式，转化成流水线平台上自动化生产方式，让大模型的“开箱即用”成为可能。“开箱即用”的关键在于预训练基础模型的泛化能力，高性能框架提供的微调或扩展工程能力，以及应用平台的灵活构建能力等支撑。据媒体披露，目前腾讯会议、腾讯新闻、腾讯视频等超过300个腾讯产品及场景均已接入腾讯混元大模型进行内测，数量相比10月份翻了一倍，覆盖文本总结、摘要、创作、翻译、代码等多个场景。比如，腾讯混元大模型就可支持智能化的广告素材创作，满足“千人千面”的需求。
《北京市人工智能行业大模型创新应用白皮书（2023年）》数据显示，截至2023年10月，我国10亿参数规模以上的大模型厂商及高校院所共计254家，分布于20余个省市/地区。
“未来大模型产品的发展趋势可能是通用大模型与垂直领域细分模型的结合。”中国人民大学数字经济研究中心主任李三希此前表示，这不仅需要具备坚实的技术基础，如大规模、高质量、多样化的语料库，创新的大模型算法，自研的机器学习框架和强大的算力基础设施等，也需要大模型产品具有坚实的基于场景的应用。未来，从实践中来，到实践中去的“实用级”大模型将成为趋势。
本文链接：http://www.gihot.com/news-2-135-0.html“技术升级+一站构建”助大模型降本增效
声明：本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
下一篇：开源助推AI技术落地
点击右上角
微信好友
朋友圈
点击浏览器下方“
”分享微信好友Safari浏览器请点击“
”按钮
点击右上角
QQ
点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮
