半小时即可生成数字人分身 苹果最新AI“黑科技”HUGS曝光
原创
2023-12-20 16:10 星期三
科创板日报 邱思雨
①HUGS仅仅需要约50-100帧的原始视频,这相当于2到4秒24fps的视频。
②目前HUGS经过训练,可以在约30分钟内生成数字人类分身。据称,这比NeuMan、Vid2Avatar在内的其他方式要快约100倍。

《科创板日报》12月20日讯(编辑 邱思雨) 据Apple Insider最新报道,苹果公司发布了一篇研究论文,讨论了其正在研究的生成式AI技术——HUGS。

image

HUGS,全称Human Gaussian Splats。据介绍,HUGS能够在约30分钟内从一个简短视频中生成数字人类分身。

苹果研究员兼HUGS论文作者之一的Anurag Ranjan在X平台上发布了有关该技术应用的最新视频。

image

在其发布的视频中可以看到,画面右方的三个数字分身正在草坪上跳舞。

image

image

苹果表示,当前的神经渲染技术相比早期有了显著的进步,但该技术仍然最适合应用在静态场景中,而不是动态场景中自由移动的人类。

而HUGS则建立在3DGS(3D Gaussian Splatting)和SMPL身体模型技术的基础上,来创建人类数字分身。Ranjan介绍道,HUGS仅仅需要约50-100帧的原始视频,这相当于2到4秒24fps的视频。

但是,目前该技术无法捕捉每个细节。对于未能捕捉并建模的细节元素,HUGS会自动填充。

目前HUGS经过训练,可以在约30分钟内生成数字人类分身。据称,这比NeuMan、Vid2Avatar在内的其他方式要快约100倍。

事实上,苹果公司一直致力于有关数字分身的研究。例如在其最新MR头显Vision Pro里,该设备能够通过前置摄像头扫描用户面部信息,并基于机器学习技术和编码神经网络,为用户生成一个数字分身。当用户使用FaceTime通话时,数字分身便可以模仿用户的面部及手部动作。

自以ChatGPT为代表的生成式AI大模型爆火后,苹果公司在AI技术上开发进度和商业布局一度被市场所诟病。对此,Apple Insider的报道指出,苹果并没有在生成式AI方面停滞不前,让人类数字分身跳舞就是证明。

收藏
101.34W
我要评论
欢迎您发表有价值的评论,发布广告和不和谐的评论都将会被删除,您的账号将禁止评论。
发表评论
要闻
股市
关联话题
1.68W 人关注
4W 人关注
8846 人关注
1.52W 人关注
7902 人关注