华为8月12日正式发布AI推理创新技术UCM(推理记忆数据管理器)。据了解,作为一款以KV Cache为中心的推理加速套件,UCM融合了多类型缓存加速算法工具,分级管理推理过程中产生的KV Cache记忆数据,可扩大推理上下文窗口,实现高吞吐、低时延的推理体验,降低每Token推理成本。华为计划于2025年9月正式开源UCM,届时将在魔擎社区首发,后续逐步贡献给业界主流推理引擎社区,并共享给业内所有Share Everything(共享架构)存储厂商和生态伙伴。
本文链接:http://www.gihot.com/news-14-11683-0.html华为正式发布AI推理创新技术UCM 计划于9月正式开源
声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇:商务部:对原产于加拿大的进口豌豆淀粉进行反倾销立案调查
下一篇:又一省拟组建农商银行!
点击右上角微信好友
朋友圈
点击浏览器下方“”分享微信好友Safari浏览器请点击“
”按钮
点击右上角QQ
点击浏览器下方“”分享QQ好友Safari浏览器请点击“
”按钮