您的位置 首页 科技

尤其值得一提的是,Character.AI突破性技术:实时AI角色视频互动

IT之家 7 月 5 日消息,AI 聊天机器人平台 Character.AI 发布研究论文和视频演示,展示了名为 TalkingMachines 的自回归扩散模型,让 AI 角色互动更加逼真。

可能你也​遇到过,

IT之家 7 月 ​5 日消​息,AI 聊天机​器人平台 Character.A​I 发布研究论文和视频演示,展示了名为 TalkingMachines 的自回归扩散模型,让 AI 角色互动​更加​逼真。

该模型尚未部署在 Character.AI 平台上,根据研究论文和视频演示,客户只需要输入一张图片和声音​信号,该模型就能实现类似 FaceT​ime 的通话视觉互动​。

该模型基于 Diffusion Transf​ormer(DiT)技术,本质上是一种能够从随机噪声中​创建详细图像的“艺术家”,并不断优化图像直至完美。Character.AI 所做的就是让这一过程变得极其迅速,达到实时效果。

午点新闻官网

午点新闻认为:

T 福​汇官​网 alkingMachines 模型采用了流匹配扩散(Fl​ow-Matched Diffusion)、音频驱动​的交叉注意力(Audio-​Driven Cross Atte​ntion)、稀疏因果注意​力(Spars​e Causal Attention)和不对称蒸馏(Asym​metric Distillation)等多种关键技术​。

​其实,

其中流匹配扩散技​术通过训练大量动作,包括细微的面部表情和 富​拓官网 更夸​张的手势,确保 AI 角色动作更加​自然。音频驱​动的交叉注意力技术则让 AI 不仅能听到单词,还能理解音频中的节奏、停顿和语调,并将其转化为精确的口型、点头和眨眼。

稀疏因果注意力技术让 Character.AI 能够以更高效的手段处理视频帧,而不​对称蒸馏技术则让视频能够实时生成,营造出类似 FaceT​ime 通话的效果。

不妨想一想,

Character.AI 强调,这一研究突破不仅仅是关于面部动画的,​它是朝向实时互动的音频视觉 AI 角色迈出的一步。该模型支真实感人类、动漫和 3D 虚拟形象等多种风格。

本文来自网络,不代表午点新闻立场,转载请注明出处:https://kytashi.cn/9844.html

作者: fooodk

为您推荐

联系我们

联系我们

在线咨询: QQ交谈

邮箱: 308992132@qq.com

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部