2025年11月05日 15:31:24
华为UCM推理记忆管理技术正式开源
财联社11月5日电,近日,华为针对AI推理加速的关键技术——UCM(Unified Cache Manager)推理记忆数据管理正式宣布开源。UCM以KV Cache多级缓存和推理记忆管理为中心,通过推理框架、算力、存储的三层协同,破解长序列推理效率低、成本高的难题,为企业提供更优的AI推理体验。
收藏
249.18W
我要评论
图片
欢迎您发表有价值的评论,发布广告和不和谐的评论都将会被删除,您的账号将禁止评论。
发表评论
关联话题
5.85W 人关注
2.27W 人关注
4.94W 人关注
1.47W 人关注