谷歌推出AI视频对口型技术:根据翻译语言改变人物说话方式,但不开放使用
在 2023 I / O 开发者大会上,谷歌宣布正在开发一项名为 Universal Translator的实验技术。
顾名思义,该工具旨在将视频从一种语言翻译成另一种语言,同时保留整体基调和氛围。这意味着该技术不仅可以将音频从一种语言翻译成另一种语言,还可以模仿说话者的声音、语气和面部表情,人物说话视频会根据目标语言的发音同步改变口型。

如上图所示,Universal Translator 首先检测单词并进行翻译。然后,它会检查说话者的语气以及他们强调的内容。结合这两个方面后,它会生成目标语言的语音。最后,它会根据 AI 生成的语音的发音同步视频中说话者的口型。

考虑到此工具可能被滥用来创建虚假视频,谷歌表示将限制对 Universal Translator 的访问。因此,只有谷歌授权合作伙伴才能将其用于建设性项目,而普通用户无法使用。
相关推荐
-
比HuggingFace快24倍!伯克利神级LLM推理系统开源,碾压SOTA,让GPU砍半
过去2个月,来自UC伯克利的研究人员给大语言模型们安排了一个擂台——Chatbot Arena。 GPT-4等大语言模型玩家打起了「排位赛」,通过随机battle,根据Elo得分来…
2023年 7月 3日 -
自动驾驶的研究方向是不是错误了?
1 感知方案:纯视觉 VS 多传感器融合 汽车实现自动驾驶首先需要能够“看见”周围环境,并对环境内的各种静态、动态物体有一定的认知,这个过程便是自动驾驶的“感知”,感知需要依赖安装…
2023年 7月 25日 -
李开复筹组零一万物 选择自研模型之路
大语言模型为代表的AI2.0迎来大爆发,在创新工场董事长兼CEO李开复博士看来,AI大语言模型是中国不能错过的历史机遇。通过发展AI大模型,能够让中国在人工智能领域保持技术引领地位…
2023年 7月 4日 -
谷歌DeepMind推出SIMA模型:打造更贴近人类的游戏智能队友
【Aigcmore.com】3月14日消息,谷歌旗下的DeepMind团队近日推出了名为SIMA的全新模型,该模型在游戏技能的学习和训练方面取得了显著进展,其整体操作风格更加贴近人…
2024年 3月 20日 -
AI开发的不公平,科技巨头只会变得更强
《AI 哨所》北京时间 4 月 20 日消息,人工智能 (AI) 的造价是昂贵的,它背后的数据模型需要密集开发,借助复杂而强大的计算才能把它训练出来。 好消息是,构建这些数据模型的…
2023年 4月 21日 -
GPT-4 开始内测 32000 输入长度的版本了!你收到邀请了吗?
夕小瑶科技说 原创 作者 | 小戏、ZenMoore 要说现在 GPT-4 最大的问题是什么?可能除了一时拿他没有办法的机器幻觉,就是卡死的输入长度了吧。尽管…
2023年 5月 12日 -
微软宣布 Microsoft Store 将引入人工智能生成的应用评价摘要
5 月 24 日消息,微软今日宣布对 Microsoft Store进行一项重大的人工智能改进:人工智能生成的应用评价摘要将开始出现在 Microsoft Store中,除了通常的…
2023年 5月 31日 -
为什么说ChatGPT,是企业的网络威胁?
近日,国际网络安全专家解释了人工智能聊天机器人背后的危险,并分享了如何保持安全的建议。 随着人工智能聊天机器人的兴起,企业必须意识到使用ChatGPT技术的风险。这对企业来说可能是…
2023年 5月 16日 -
谷歌开放 MusicLM:经过 28 万小时音频数据培训、可根据文本生成 5 分钟歌曲
谷歌于今年 1 月推出了 MusicLM 模型,可以根据用户输入的文本要求,自动生成音乐作品。谷歌在今天发布的博文中,宣布面向所有用户开放 MusicLM 模型。 用户可以通过 A…
2023年 5月 11日 -
联合国秘书长称支持建立全球人工智能监管机构
6 月 13 日消息,据路透社报道,联合国秘书长安东尼奥・古特雷斯昨日称,一些 AI 企业高管曾提出建立类似国际原子能机构(IAEA)的全球性 AI 监管机构,他对此表示支持。 古…
2023年 6月 25日
